モデルとルーティング
すべてのagentと会話のための単一のモデルレイヤー。
クラウド、プラットフォーム、on-deviceモデルの統合カタログ、自動fallback付きの名前付きrouter、そしてキーを保管し利用状況を計測するサーバーサイドのgateway。
統合モデルカタログ
自分のクラウドキーを持ち込み、プラットフォームのデフォルトを使い、またはon-deviceモデルを登録 — すべてを単一のorgスコープのカタログに。
Fallback router
順序付きのターゲット一覧でrouterに名前を付けます。あるターゲットがrate-limit、障害、オフラインになると、次のターゲットが自動的に引き継ぎます。
キーを保管するgateway
OpenAI互換のgatewayがクラウド呼び出しをサーバーサイドで実行 — キーがagentやデバイスに届くことはありません — そしてtokenをorgとモデルごとに計測します。
agentごとの選択
インストール時にagentごとにモデルソースを選択。プロバイダーへ直結する自分のキー、またはfallback付きのrouter。クラウドagentとデバイスagentで同じセレクター。
host対応の解決
同じrouterがhostに応じて解決します。クラウドagentはgatewayを経由し、デバイスはまずローカルモデルを試し、その後gateway経由でクラウドにfallbackします — キーがプラットフォームから出ることはありません。組織内では、あるデバイスが自身のon-deviceモデルを他のデバイスに提供することさえできます。