Встраиваем модель в продукт, а не рядом с ним

Для типового запроса с контекстом в 2–3 тысячи токенов и ответом на 500 токенов цена на облачных моделях среднего размера составляет доли рубля. Точная величина зависит от выбранной модели, длины контекста и объёма выходного текста. Мы всегда считаем стоимость на реальном профиле нагрузки: средний запрос, тяжёлый запрос и пиковый период, — потому что бюджет определяет пик, а не среднее.

Да, и это нужно делать сразу. Технически устанавливаются лимиты на пользователя, на сценарий и на сутки в целом; запросы сверх лимита отклоняются с понятным сообщением. Дополнительно ограничивается длина контекста и ответа, включается кэширование повторяющихся запросов. Алерт на резкий рост расхода настраивается отдельно: обычно это признак либо аномального использования, либо ошибки в коде интеграции.

Используем комбинацию мер: повторные попытки с нарастающей задержкой, переключение на резервную модель другого провайдера и упрощённый сценарий без генерации. Критичные функции проектируем так, чтобы их отказ не блокировал основной процесс: например, автоматическая категоризация заявки при недоступности модели заменяется правилом по ключевым словам, а заявка всё равно попадает в систему.

Хранить нужно метаданные: идентификатор запроса, версию промпта и модели, расход токенов, задержку и результат проверки. Полные тексты сохраняются в зависимости от политики: они полезны для разбора инцидентов и накопления примеров для улучшения, но могут содержать персональные данные. Компромисс — хранить полные тексты ограниченный срок в обезличенном виде, а долгосрочно оставлять только выборку, отобранную для анализа качества.