前 Facebook 和 Apple 高管 Brett Levenson 创立的 AI 内容审核公司 Moonbounce 宣布完成 1200 万美元融资,本轮由 Amplify Partners 和 StepStone Group 联合领投。该公司致力于解决 AI 时代的内容审核挑战,为平台和 AI 公司提供实时安全防护层。
公司背景
创始团队
Brett Levenson(CEO):
- 前 Facebook 商业诚信负责人
- 前 Apple 员工
- 亲历 Cambridge Analytica 事件后的内容审核改革
Ash Bhardwaj(联合创始人):
- 前 Apple 同事
- 曾构建大规模云和 AI 基础设施
- 负责 iPhone 核心服务的云架构
创立初衷
Levenson 在 Facebook 期间发现内容审核系统存在严重问题:
- 人类审核员需记忆 40 页政策文档(机器翻译版本)
- 每条 flagged 内容仅约 30 秒决策时间
- 准确率"仅比 50% 稍好",如同抛硬币
- 伤害发生数天后才进行处理
这种延迟、被动的响应方式在面对资金充足、反应迅速的对手时不可持续。AI 聊天机器人的兴起进一步加剧了问题,导致多起高调事故,如聊天机器人为青少年提供自残指导、AI 生成图像绕过安全过滤器等。
产品与技术
核心理念
"Policy as Code"(政策即代码):
将静态政策文档转化为可执行、可更新的逻辑,与执行紧密耦合。
技术架构
工作流程:
-
政策解析:
- 训练专属 LLM 读取客户政策文档
- 将政策转化为可执行逻辑
- 支持实时更新
-
实时评估:
- 在内容生成时进行评估(用户或 AI 生成)
- 300 毫秒内提供响应
- 运行时执行,不依赖聊天上下文
-
执行行动:
- 根据客户偏好采取行动
- 可减缓分发等待人工审核
- 可即时阻止高风险内容
服务场景
三大垂直领域:
-
用户生成内容平台:
- 约会应用
- 社交平台
- 评论系统
-
AI 伴侣公司:
- Channel AI
- Dippy AI
- Moescape
-
AI 图像生成器:
- Civitai
- 视频生成平台
业务数据
运营指标
平台规模:
- 每日审核量:4000 万 +
- 日活跃用户:1 亿 +
- 团队规模:12 人
客户案例
Tinder:
- 使用 LLM 驱动的内容审核服务
- 检测准确率提升 10 倍
- 将安全作为产品差异化优势
AI 伴侣平台:
- 应对自残指导等安全风险
- 满足法律和声誉压力
- 第三方安全基础设施需求增长
技术创新
迭代引导(Iterative Steering)
针对 2024 年佛罗里达 14 岁男孩因沉迷 Character AI 聊天机器人自杀事件,Moonbounce 开发了"迭代引导"功能:
- 拦截对话:当有害话题出现时介入
- 重定向:实时修改提示词
- 积极引导:推动聊天机器人提供更支持性响应
- 不只是拒绝:从简单拒绝转为积极引导
Levenson 表示:"我们希望能够修改用户的提示词,强制聊天机器人不仅成为共情的倾听者,更成为有帮助的倾听者。"
市场定位
第三方优势
相比内置安全系统,Moonbounce 作为第三方具有独特优势:
- 专注执行:仅关注运行时规则执行
- 无上下文负担:不必处理数万个 token 的聊天历史
- 客观性:独立于聊天机器人本身
- 快速响应:300 毫秒内完成评估
安全即产品优势
"安全实际上可以成为产品优势,"Levenson 表示,"但它从未成为优势,因为它总是事后发生,而不是可以构建到产品中的功能。我们的客户正在发现真正有趣和创新的方式,利用我们的技术使安全成为差异化因素和产品故事的一部分。"
投资方观点
Amplify Partners 普通合伙人 Lenny Pruss 表示:
"内容审核一直是困扰大型在线平台的问题,但现在随着 LLM 成为每个应用的核心,这一挑战更加艰巨。我们投资 Moonbounce 是因为我们设想一个世界,客观、实时的防护措施成为每个 AI 中介应用的支撑 backbone。"
未来展望
收购可能性
当被问及退出策略是否涉及被 Meta 等公司收购时,Levenson 表示:
- 承认 Moonbounce 很适合 Meta 的技术栈
- 但希望技术能被更多公司使用
- "我的投资者会杀了我这么说,但我不希望有人买下我们然后限制技术使用"
行业趋势
AI 公司面临越来越大的法律和声誉压力:
- 聊天机器人被指控推动青少年自杀
- 图像生成器被用于创建非自愿裸体图像
- 内部安全防护明显失效
- 越来越多公司寻求外部安全基础设施帮助
Moonbounce 代表了 AI 安全基础设施的新方向:将安全从被动响应转为主动防护,从事后审核转为实时干预,从成本中心转为产品差异化优势。
