产品发布
法国 AI 公司 Mistral 于 3 月 26 日发布了一款新的开源文本转语音模型 Voxtral TTS，可用于语音 AI 助手或企业用例（如客户支持）。该模型让企业能够为销售和客户服务构建语音代理，使 Mistral 与 ElevenLabs、Deepgram 和 OpenAI 等公司直接竞争。
技术规格
语言支持
Voxtral TTS 支持 9 种语言：
- 英语
- 法语
- 德语
- 西班牙语
- 荷兰语
- 葡萄牙语
- 意大利语
- 印地语
- 阿拉伯语
模型特点
根据 Mistral AI 科学运营副总裁 Pierre Stock 在电话采访中的介绍：
- 基础模型：基于 Ministral 3B 构建
- 模型规模：小型语音模型，可适应智能手表、智能手机、笔记本电脑或其他边缘设备
- 成本优势：成本仅为市场上任何其他产品的一小部分，但提供最先进的性能
语音适应能力
- 快速适配：可使用不到 5 秒的样本定制语音
- 细节捕捉：能够捕捉微妙的口音、语调、声调变化和语音流动中的不规则性
- 多语言切换：可在不同语言之间轻松切换，同时不失去语音特征，适用于配音或实时翻译等用例
Stock 表示，公司希望模型听起来像人类，而不是机器人。
实时性能
该模型专为实时性能而构建：
| 指标 | 数值 | 说明 |
|---|---|---|
| TTFA | 90ms | 首次音频时间，模型接收输入后开始"说话"的时间（10 秒样本，500 字符） |
| RTF | 6x | 实时因子，渲染 10 秒片段约需 1.6 秒 |
产品战略
端到端平台
今年早些时候，Mistral 推出了 两款转录模型，一款用于大批量处理，另一款用于低延迟实时用例。通过新的语音模型，公司旨在为企业提供完整的语音产品套件。
"我们计划拥有一个端到端平台，可以处理多模态输入流，包括音频、文本和图像，以及输出。这样做的主要好处是，通过支持音频作为输入或输出的端到端代理系统，你可以获得更多信息，"Stock 说。
开源策略
Mistral 的定位是，其开源和定制化功能将帮助企业采用其语音模型而非竞争对手的产品，因为他们可以按需调整模型。
竞争格局
语音 AI 市场主要参与者：
| 公司 | 产品 | 定位 |
|---|---|---|
| ElevenLabs | 语音合成平台 | 高质量语音生成 |
| Deepgram | 语音 API | 企业级解决方案 |
| OpenAI | TTS 服务 | 集成 ChatGPT 生态 |
| Mistral | Voxtral TTS | 开源 + 边缘部署 |
边缘计算优势
Voxtral TTS 的核心优势在于其可在边缘设备上运行：
- 智能手表：超低延迟，本地处理
- 智能手机：无需云端连接
- 笔记本电脑：离线语音助手
- IoT 设备：低功耗语音交互
这使得 Mistral 在隐私敏感和延迟敏感的应用场景中具有独特优势。