2023 年 9 月，我们与 OpenAI 共同推出了 ChatGPT 语音模式。当 OpenAI 发布新功能时，我们也发布了 LiveKit Agents，这是一个开源框架，使开发人员能够轻松构建自己的语音 AI 代理。

当时语音 AI 还没有兴起——我们与投资者讨论 A 轮融资时，大多数人都说 AI 模型的语音界面“还需要 3-5 年”。然后 GPT-4o 发布会举行了。LiveKit Agents 被用于每一个演示中，语音 AI 似乎在一夜之间变成了一个行业。

现在有许多团队使用 LiveKit Agents 来开发语音驱动的 AI 产品、服务和界面。Hello Patient 构建了一个语音代理来管理众多的医院工作流程，Salient 在汽车行业使用语音代理进行贷款服务，Podium 在组织内部部署 AI 员工以进行销售、日程安排、营销和客户支持。

LiveKit Cloud 是我们的超低延迟边缘网络，语音代理使用它与用户交换音频数据，其增长显著。该基础设施支持超过 100,000 名开发人员，总共每年处理超过 30 亿次通话。

语音将成为我们与计算机交互的默认方式，LiveKit 定位为这场范式转变的支柱。

LiveKit Agents 1.0 简介

Agents 1.0 标志着我们在为开发人员提供构建高质量、语音驱动 AI 应用程序所需的一切方面迈出了关键一步。除了 管道节点、同步字幕和客户端-代理 RPC 等众多新功能外，我们还有一些重大更新。

工作流程

与数百名构建语音代理的开发人员交谈后，我们了解到有两种主要类型：开放式和闭环代理。

与开放式语音代理的对话可以漫无目的，涵盖广泛的主题，没有特定的顺序。代理只需要基本工具，如函数调用或 RAG。例子包括 ChatGPT 高级语音模式（AVM）和 Character Voice，用于沉浸式语言学习的 Speak，以及用于 约会建议的 Tinder。

闭环语音代理的运作方式不同。此类代理主要针对在确定性业务流程中取代 IVR 系统或人工操作员——其中 80% 是通过电话访问的——例如客户支持、医院患者入院、债务催收、贷款资格或发货计划。在 工作流程之前，实现闭环代理的开发人员可能会尝试在冗长的 LLM 系统提示中描述业务流程，并配以一些函数工具。不幸的是，这效果不佳。LLM 是概率计算机，尚不能可靠地执行多步工作流程。

LiveKit Agents 1.0 使构建闭环语音代理变得容易得多。我们重新设计了整个框架，使其具有更低的层次和更大的灵活性，允许开发人员协调多代理工作流程，将原本复杂的系统提示分解为离散的子任务。

多语言语义轮次检测

几个月前，我们推出了我们的第一个开源模型，经过内部训练以提高轮次检测的准确性：这是语音 AI 中最难的问题之一。该模型仅用书面英语进行训练，因此只能对英语对话进行轮次结束预测。

今天，我们正在发布一个新的、更大的具有多语言能力的语义轮次检测模型。它在 CPU 上运行推理，对于 100 个令牌的上下文，推理时间不到 25 毫秒，支持 13 种语言：中文、荷兰语、英语、法语、德语、印度尼西亚语、意大利语、日语、韩语、葡萄牙语、俄语、西班牙语和土耳其语。它甚至可以用于混合语言对话——其中最终用户或代理在一次对话中切换多种语言。

Telephony 1.0

早在 2023 年 9 月，在最初的 ChatGPT 语音模式发布后，我们就开始着手开发我们的 开源 SIP 电话堆栈。我们的预测是，语音 AI 将在电信业中迅速普及，这是一个唯一界面是语音的行业。从那时起，我们不断改进 SIP 的可靠性和性能，并增加了高清音频、DTMF、冷热转移以及自动降噪等功能。

LiveKit 的电话堆栈现在可以随时处理数千个并发呼叫。甚至美国四分之一的 911 紧急调度中心都使用 LiveKit——这有助于每周至少挽救一条生命。基于此，我们将 SIP 升级到 1.0 版本，以体现其成熟度和健壮性。

云代理

就在您阅读本文的这一秒，有数十万个语音代理正在 LiveKit Cloud 上运行，与世界各地的最终用户进行对话。要支持这种级别的规模，需要与用于无状态 Web 应用程序的方法有所不同。

语音代理是有状态的——它在 GPU 上同时运行推理，同时不断听您说话，并判断您是否已表达完想法，或者它是否应该打断。对话的长度不规则，就像大多数人一样，语音代理不能同时进行多次对话。

管理代理的生命周期——位置感知弹性配置、负载平衡、健康检查、透明故障转移、上下文迁移——很难高效地完成，这也是我们帮助 OpenAI 为语音模式解决的问题。自从推出 Agents 框架以来，开发人员就要求我们提供一个开箱即用的解决方案来处理代理部署和扩展。

今天，我们正在启动我们的代理部署和扩展解决方案的封闭测试：LiveKit Cloud Agents。Vercel 之于 NextJS，就如同 Cloud Agents 之于 LiveKit 的 Agents 框架。我们将您的代理代码托管在一个安全容器中，将其部署到 LiveKit Cloud 在世界各地的数据中心网络中，并为您管理整个开发运维生命周期——配置、负载平衡、日志记录、版本控制、回滚等。我们一直在内部对 Cloud Agents 进行“吃狗粮”测试，用于我们自己的代理，发现它显著加快了生产部署过程。我们迫不及待地想让您试用并听取您的反馈。

如果您想加入 Cloud Agents 封闭测试，请填写此表格。

LiveKit 的 B 轮融资

仅仅三年前，LiveKit 还是一个开源项目，旨在让人们在疫情期间更轻松地相互联系。从那时起，我们已经发展成为比我们想象的更大、更有影响力的事物，但摆在我们面前的建设工作比已经完成的更多。

考虑到这一点，我们很自豪地宣布我们又获得了 4500 万美元的融资，使我们的融资总额达到 8300 万美元。我们的 A 轮领投方 Altimeter 的 Jamin 和 Brad 早在其他人之前就看到了从键盘和鼠标转向摄像头和麦克风的转变。他们决定加倍下注，领投 LiveKit 的 B 轮融资。我们也很荣幸能邀请到传奇的基础设施投资者和运营商 Mike Volpi 加入本轮融资，这是他从 Hanabi Capital 出来后的第一笔投资。

我们计划利用这笔资金来扩大我们的团队，并进一步推进我们的目标，即提供一个一站式平台，用于构建能像我们一样看、听和说的 AI 代理。

这篇文章如果不向使用和贡献 LiveKit 的 开发者社区表达深切的感谢，就不算完整。你们使用这个堆栈构建的所有惊人的事物一直并将继续在日复一日、周复一周、月复一月、年复一年的时间里激励着我们。我们在这里是为了你们，也因为有你们。