AI
Workers AI
在 220+ 城市运行 100+ 开源模型(Llama、Gemma、Whisper、FLUX 等),提供 OpenAI 兼容的 API。
Workers AI
它解决什么问题
AI 应用的推理请求如果跨洲往返,延迟会直接影响体验。Workers AI 把推理放在靠近用户的节点上运行,同时省去了自己维护 GPU 集群的麻烦。
组合用法
- Workers AI + Vectorize:向量库与推理在同一网络内,RAG 链路更短。
- AI Gateway:加上缓存、限流、模型回退和调用观测,也能代理 OpenAI、Anthropic 等外部模型。
- Agents SDK:构建带记忆、调度和工具调用的状态化智能体。
需要注意
- 模型覆盖范围以开源模型为主,需要 GPT 级别能力时要走 AI Gateway 代理外部模型。
- 推理按用量计费,高并发场景要先估算成本。
- 数据驻留与合规要求需要提前确认,尤其是涉及个人信息时。