每天，全球有数百万人通过第一方应用和特斯拉汽车与Grok交谈。Grok背后的模型是一个语音转语音模型，它能理解人类语音的表达范围，并能生成相应富有表现力的回应；它能笑、能低语、能叹息。

该模型之所以能够做到这一点，是因为它在内部、在一个模型中处理语音（包括副语言线索）并生成富有表现力的语音输出的方式。这种方法的另一个好处是减少了延迟。通过在一个模型中处理语音输入和输出，Grok能够可靠地在不到700毫秒内做出回应。最终的效果是，人工智能在交互时感觉更自然、更像人类。

我们很高兴地宣布，通过与xAI合作，您现在可以在自己的语音AI应用中利用为Grok语音体验提供支持的相同技术栈。

将LiveKit与xAI的Grok语音代理API结合使用

Grok语音代理API现已作为新的插件在LiveKit Agents for Python中提供，未来计划支持Node。只需一行代码，您就可以创建一个具有与Grok语音模式相同表现力和速度的自定义语音代理。

from livekit.agents import AgentServer, AgentSession, Agent
from livekit.plugins import xai

from dotenv import load_dotenv
load_dotenv()

class GrokAssistant(Agent):
    def __init__(self) -> None:
        super().__init__(
            instructions="""You are a helpful voice AI assistant built.
            You were created by xAI and LiveKit.""",
        )

server = AgentServer()

@server.rtc_session()
async def request_handler(req: agents.JobContext):
	session = AgentSession(
		llm=xai.realtime.RealtimeModel(),
	)
	await session.start(room=req.room, agent=GrokAssistant())
	await session.generate_reply(instructions="Greet the user and offer to help.")

if __name__ == "__main__":
    agents.cli.run_app(server)

在此基础上，假设您有一个LiveKit Cloud账户并设置了项目，您可以直接从命令行运行并与该代理对话。

uv run agent.py console

或者，使用CLI将其部署到LiveKit Cloud，并让您的代理前端连接到它。

lk agent create

LiveKit针对Grok语音代理API的插件包括少数语音选项，支持自定义工具调用，以及可以根据您的特定用例配置的集成轮次检测。值得注意的是，xAI提供预构建工具，允许您的语音代理在网络、X帖子和自定义文档/文件集合中执行搜索。使用此API构建的语音代理也适用于LiveKit生态系统的其余部分——您可以通过将代理与我们的客户端ESP32 SDK配对来赋予玩具生命，或者获取一个电话号码，人们可以使用该号码呼叫您的代理。

Grok语音代理API使用案例

Grok语音代理在处理人类语音细微差别并做出适当回应方面的能力使其在众多应用中具有变革性，包括：

• 客户服务： Grok已通过特斯拉和星链支持热线大规模与客户互动。您的语音代理现在也可以以相似的同理心和理解力处理您的客户咨询，检测来电者语气中的挫败感或满意度，并即时调整回应。
  
• 医疗保健和治疗： 语音代理可以提供陪伴、指导、心理健康支持或患者入院访谈，在这些场景中情感背景和语气至关重要。
  
• 教育和辅导： 语音代理可以根据学生的参与度、困惑或兴奋程度调整其教学风格。这在语言学习应用中特别有用，其中文化元素与特定语言的说话方式交织在一起。
  
• 销售和招聘： 您的语音GTM（市场推广）代理可以进行初始销售电话或面试，并通过理解对话意图带来的说服力和建立融洽关系的能力来筛选潜在客户或候选人。

我们很高兴看到您使用LiveKit和新的Grok语音代理API构建出什么。如果您需要任何帮助，请通过我们的Slack社区和/或在X上联系我们 @livekit。