Единый слой моделей для каждого agent'а и диалога.
Единый каталог облачных, платформенных и on-device моделей, именованные router'ы с автоматическим fallback и серверный gateway, который хранит ваши ключи и измеряет использование.
Единый каталог моделей
Принесите свои облачные ключи, используйте значения по умолчанию платформы или зарегистрируйте on-device модели — всё в одном каталоге уровня org.
Fallback router'ы
Задайте router с упорядоченным списком целей; если одна попадает под rate-limit, отказывает или уходит в офлайн, следующая автоматически берёт на себя.
Gateway с хранением ключей
Совместимый с OpenAI gateway выполняет облачные вызовы на стороне сервера — ваши ключи никогда не доходят до agent'а или устройства — и измеряет token'ы по org и модели.
Выбор для каждого agent'а
Выбирайте источник модели для каждого agent'а при установке: свой ключ напрямую к провайдеру или router с fallback. Один и тот же селектор для облачных и устройственных agent'ов.
Разрешение с учётом host'а
Один и тот же router разрешается в зависимости от host'а: облачный agent проходит через gateway; устройство сначала пробует свою локальную модель, затем переходит к облаку через gateway — ключи никогда не покидают платформу. Внутри организации одно устройство может даже предоставлять свою on-device модель другим.