模型与路由
为每个 agent 和对话提供统一的模型层。
云端、平台和 on-device 模型的统一目录、带自动 fallback 的具名 router,以及保管你的密钥并计量用量的服务端 gateway。
统一模型目录
带上你自己的云端密钥、使用平台默认值,或注册 on-device 模型 — 全部集中在一个 org 范围的目录中。
Fallback router
用有序的目标列表为 router 命名;当某个目标被 rate-limit、出错或离线时,下一个会自动接管。
保管密钥的 gateway
OpenAI 兼容的 gateway 在服务端运行云端调用 — 你的密钥绝不会到达 agent 或设备 — 并按 org 和模型计量 token。
按 agent 选择
在安装时为每个 agent 选择模型来源:直连提供商的你自己的密钥,或带 fallback 的 router。云端 agent 和设备 agent 使用同一个选择器。
感知 host 的解析
同一个 router 会根据 host 解析:云端 agent 经由 gateway;设备先尝试本地模型,再通过 gateway 回退到云端 — 密钥绝不会离开平台。在一个组织内,一台设备甚至可以把自己的 on-device 模型提供给其他设备。