Cloudflare CEO Matthew Prince 在本周 SXSW 大会上接受采访时表示，随着人工智能的快速发展，AI 机器人流量将在 2027 年超过人类网络流量。
流量增长趋势
历史对比
在生成式 AI 时代之前：
- 机器人流量占比：约 20%
- 主要来源：Google 网页爬虫等合法爬虫
- 其他机器人：主要是诈骗者和恶意行为者
当前变化
Prince 指出，生成式 AI 技术的兴起导致机器人网络使用量大幅增加：
"如果一个人类要完成一项任务——比如购买数码相机——你可能会访问 5 个网站。而执行相同任务的机器人通常会访问 1000 倍数量的网站，也就是 5000 个网站。"
这种差异源于 AI 代理的工作方式：
- AI 代理需要访问更多网站获取答案
- 每个用户查询可能触发数千次网页访问
- 这是真实的流量和负载，所有网站都需要应对
基础设施挑战
技术需求
Prince 预测，这种流量变化将需要开发新技术：
- AI 代理沙盒：可以即时启动并在任务完成后销毁
- 动态代码执行：像打开浏览器标签页一样简单地创建新代码实例
- 大规模并发：每秒可能需要创建数百万个这样的沙盒
物理基础设施
除了软件技术，还需要物理基础设施支持：
- 数据中心：更多服务器和存储
- 网络带宽：处理激增的流量
- 冷却系统：应对更高的能耗
Prince 回忆了疫情期间互联网流量的快速增长：
"在新冠期间，互联网流量增长如此之快，特别是 YouTube、Disney 和 Netflix 等视频流媒体，互联网的某些部分几乎承受不住压力。"
"这种增长更加渐进，但与疫情不同的是，我们看到互联网流量持续增长，看不到任何减缓或停止的迹象。"
平台转变
Prince 强调，AI 代表了一个平台转变：
"我认为人们没有意识到的是，AI 是一个平台转变……就像从桌面到移动的转变一样。AI 是另一个平台转变……你消费信息的方式完全不同。"
Cloudflare 的应对
作为服务于全球五分之一网站的基础设施公司，Cloudflare 正在开发相应解决方案：
现有服务
- CDN：内容分发网络
- 安全防护：DDoS 保护和安全服务
- Always Online：服务器故障时提供缓存版本
- AI 机器人拦截：帮助企业阻止不需要的 AI 爬虫
未来方向
Cloudflare 的规模使其能够观察互联网的持续演变和生成式 AI 时代面临的挑战，正在开发：
- AI 代理基础设施：支持大规模代理运行
- 流量管理：优化机器人流量处理
- 安全机制：防止恶意机器人滥用
行业影响
这一趋势对互联网行业的影响：
网站运营者
- 需要应对更高的流量负载
- 可能需要调整服务器容量
- 关注机器人流量管理策略
AI 公司
- 优化代理访问效率
- 考虑缓存和去重机制
- 平衡数据获取和道德规范
基础设施提供商
- 投资数据中心扩展
- 开发新的流量管理技术
- 提供 AI 代理专用服务
时间线
根据 Prince 的预测：
- 2024 年：机器人流量占比约 30-40%
- 2025 年：占比继续增长
- 2026 年：接近人类流量水平
- 2027 年：首次超过人类流量
这一里程碑标志着互联网使用模式的根本性转变，AI 代理将成为网络流量的主要来源。
结论
Cloudflare 的预测揭示了 AI 技术对互联网基础设施的深远影响。随着 AI 代理的普及，整个互联网行业需要为这一历史性转变做好准备，从技术架构到商业模式都可能需要重新思考。