C 轮融资：迈向语音驱动的计算时代 今天，我很荣幸地宣布 LiveKit 的 C 轮融资。通过本轮融资，我们达到了一个重要的里程碑：估值达到 10 亿美元。Index Ventures 领投了这笔 1 亿美元的投资，Salesforce Ventures、Hanabi Capital 以及我们的长期支持者 Altimeter 和 Redpoint Ventures 参与其中。致我们的客户、用户，
LiveKit ESP32 SDK：将语音 AI 引入嵌入式设备 自从 LiveKit Agents 框架发布以来，我们看到开发人员在网页、移动应用，甚至像 Raspberry Pi Zero 2W 这样的嵌入式 Linux 设备上构建语音 AI 体验。但我们不断被问到：LiveKit 能否在 ESP32 这样更小的微控制器上运行？您能构建
与 xAI 合作推出 Grok 语音代理 API 每天，全球数百万人通过第一方应用程序和特斯拉汽车与 Grok 进行交流。使 Grok 栩栩如生的底层模型是一个语音到语音模型，它理解人类语音的表达范围，并能生成相应的富有表现力的响应；它可以笑、可以低语，并且
改进的轮次结束模型将语音 AI 中断减少 39% 我们很高兴发布我们基于 Transformer 的轮次结束检测模型 v0.4.1-intl 的新迭代，它推动了准确性和响应性的界限。此更新侧重于检测结构化输入的语音完成情况以及在不同语言中的更好泛化。最新的 MultilingualModel 已部署到运行中的代理上
宣布推出 Agent Builder：通往代码的途径 今天，我们推出了 Agent Builder，这是一种基于浏览器的体验，让您可以在几分钟内创建、测试和部署生产级 LiveKit 语音代理，无需任何本地设置。这些不是原型或沙盒玩具。您在 Agent Builder 中构建的每个代理都是在 LiveKit 上运行的真实、功能齐全的 LiveKit 代理
推出 LiveKit 电话号码：60 秒内从零到响铃 今天，我们推出了 LiveKit 电话号码，这是我们的第一方电话服务，可让您在几分钟内将语音代理直接连接到电话网络，无需第三方 SIP 中继。直接从 LiveKit Cloud 仪表板或 CLI 购买美国本地或免费电话号码，将调度规则附加到您的
使用 Agent Observability 简化故障排除 您的语音代理感觉很慢。一位用户报告说它在句子中间打断了他们。另一位用户说它未能完成任务。您知道出了问题，但要弄清楚问题所在需要您在 LLM 提供商的仪表板、转录服务的日志以及您自己的服务器日志之间来回切换，试图关联
推出 LiveKit 推理服务：面向语音 AI 的统一模型接口 我们很高兴推出 LiveKit Inference，这是一个专为语音 AI 构建的低延迟模型网关。只需您的 LiveKit API 密钥，您就可以使用性能最佳的语音转文本 (STT)、大型语言模型 (LLM) 和文本转语音 (TTS) 模型。您不再需要创建和管理多个提供商账户和集成。我们
在 LiveKit Cloud 上部署和扩展代理 在过去两年中，随着越来越多的团队将 LiveKit 语音代理投入生产，同样的问题不断出现：* 我应该为我的代理池分配多少 CPU 和内存？* 如何处理突然的流量高峰？* 如何跨会话检测和优化性能？我们的代理
将 AI 头像引入语音代理 推出与 Tavus 的集成 视频头像不再是噱头——它们已成为开发人员和企业真正想要的实用工具。我们从客户那里听到了很多这样的声音，尤其是在教育、医疗保健、心理健康和营销领域。每个人似乎都热衷于将他们的语音交互
LiveKit 的 B 轮融资：构建语音 AI 代理的一站式平台 2023 年 9 月，我们与 OpenAI 共同推出了 ChatGPT 语音模式。当 OpenAI 推出新功能时，我们也发布了 LiveKit Agents，这是一个开源框架，使开发人员能够轻松构建自己的语音 AI 代理。当时语音 AI 还没有流行起来——我们接触的大多数投资者都
向改进的 Cloud 分析问好 当我们最初推出 LiveKit Cloud 时，我们也推出了一款实时分析和遥测产品，旨在让您深入了解用户如何与您的 LiveKit 应用程序互动。在过去两年中，LiveKit Cloud 显着增长，为从 AI 助手到机器人打桩机等实时应用程序提供支持
使用 Transformer 改进回合结束检测 目前，语音 AI 应用程序最难解决的问题之一是回合结束检测。在对话 AI 的背景下，回合检测是确定用户何时说完以及 AI 模型何时可以在不意外打断用户的情况下做出响应的任务。目前，最
是的，但是它能运行《毁灭战士》（DOOM）吗？ 这个无所不在的问题是几年前我在 LiveKit 的第一次黑客马拉松上问自己的。我可以在 LiveKit 上玩 DOOM 吗？对于一个 24 小时竞赛来说，这可能雄心勃勃，但我必须解决这个成人礼。所以，我与我们的 WebRTC 专家 Raja 合作，并且
迈向面向未来的定价模式 LiveKit Cloud 的定价模式不同于行业标准。您只为您使用的资源付费：1. 计算：您的用户连接到我们服务器的时间 2. 带宽：您的应用程序通过 LiveKit 网络传输的数据 为了简单起见，我们选择嵌入成本
实时多模态 AI 的开源堆栈 要跟上 AI 领域发生的一切似乎是不可能的。几乎每周都有新的突破。尽管我们不会在 2024 年实现 AGI，但思考当我们实现 AGI 时世界会是什么样子是很有趣的。特别是，LiveKit 团队一直在
两种协议的故事：比较 WebRTC 与 HLS 的直播流媒体传输 你还记得上一次观看 WWDC 主题演讲吗？你是实时观看的吗？你是否读到过一些你还没看到但却感到好奇的推文？答案是，苹果使用 HLS 直播这些活动，就像大多数其他流媒体视频服务一样，包括
使用 WebRTC 和 React 从画布流式传输视频 使用 WebRTC，您可以从画布实时流式传输视频。本文是一篇分步指南，向您展示如何操作。我们使用 LiveKit 的 WebRTC 堆栈来构建一个用于发送画布视频的实时应用程序。查看完整代码。很多人都知道 WebRTC 是这项技术，它
使用 React 和 WebAudio 通过 WebRTC 流式传输音乐 借助内置在每个现代网络浏览器中的技术，您只需使用 URL 即可将音频实时流式传输给其他人。本文是一篇分步指南，向您展示如何操作。我们使用 WebAudio 和 LiveKit 的 WebRTC 堆栈来构建一个与朋友一起听音乐的实时应用程序。
使用 WebRTC + React + WebAudio 创建空间音频 实时音频是我们现代数字生活中至关重要的一部分。它使我们能够与世界上任何地方的人建立联系。实时社交应用程序最近的一个大趋势是空间音频（有时称为位置音频）。0:00 /0:30 1× 虽然
迷你教程：设置 LiveKit Cloud 项目 LiveKit 是一个开源的 WebRTC SFU 和适用于所有主要平台的客户端库集。由于 LiveKit 是开源的，您可以轻松地自己运行服务器。运行 LiveKit 服务器非常容易，但使用 LiveKit Cloud 及其慷慨的免费套餐则更容易。创建
使用 ChatGPT 和 WebRTC 进行 AI 实时对话 贾维斯 (Jarvis)。萨曼莎 (Samantha)。乔伊 (Joi)。哈尔 (HAL)。科幻小说长期以来一直梦想着拟人化的 AI。在 GPT、Claude、Bard 和其他 LLM 之间，这似乎即将成为现实。虽然我们喜欢与 ChatGPT 互发短信，但 LiveKit 团队认为看到它会更有趣
Decentraland 的 Catalyst：使用 WebRTC 在元宇宙中进行交互 每个去中心化平台构建者都面临着这个问题：哪些组件应该去中心化，去中心化的程度如何？当元宇宙项目 Decentraland 的原始点对点消息传输遇到性能瓶颈时，他们解决了这个问题，这限制了用户实时聊天和交互的能力。在这篇文章中，我们将逐步介绍
