«Большая модель справится сама»
Универсальная модель не знает вашей номенклатуры, внутренних регламентов и профессионального жаргона. Без адаптации она даёт правдоподобные, но неверные ответы в узкой предметной области.
Нейросети и дообучение
Дообучаем модель на вашем домене, а не подстраиваемся под общую
Подбираем открытую модель под задачу, дообучаем её на ваших данных, ускоряем инференс квантизацией и батчингом. Результат — предсказуемое качество, контролируемая задержка и понятная стоимость одного запроса.
Или сразу: +7 (962) 368-39-51 Telegram
LoRA
дообучение без полного пересчёта весов
INT8
квантизация для ускорения инференса
vLLM
непрерывный батчинг запросов
holdout
оценка на данных, не видевших обучение
Где ожидания расходятся с реальностью
Типичные заблуждения о нейросетях, которые приводят к перерасходу бюджета и разочарованию.
Дообучение путают с добавлением знаний
Fine-tuning учит формату и стилю ответа, а не заучивает факты. Попытка «вложить» в модель базу документов через дообучение даёт галлюцинации вместо точных цитат.
GPU-ресурсы планируют наугад
Обучение на одной видеокарте может занять месяцы, а инференс не уложиться в нужную задержку. Требования к железу считаются заранее, а не после первых экспериментов.
Качество оценивают на обучающих данных
Модель, показавшая прекрасный результат на тех же примерах, где училась, в реальной работе разочаровывает. Нужна строго отложенная выборка, собранная в другое время.
Забывание ранее усвоенного
При дообучении на узкой задаче модель теряет общие способности и начинает хуже справляться с остальными запросами. Это классический catastrophic forgetting.
Стоимость инференса не считают заранее
Цена одного запроса к большой модели может выглядеть приемлемо, но при миллионе запросов в месяц бюджет уходит в разы. Расчёт делается до выбора архитектуры.
Наши задачи в работе с моделями
От выбора архитектуры до оптимизации инференса на конкретном железе.
Подбор архитектуры и бенчмарк
Сравниваем несколько открытых моделей разного размера на вашей задаче и выбираем минимальную достаточную — она дешевле и быстрее.
- Сравнение моделей на едином наборе тестовых запросов
- Оценка не только качества, но и задержки, и стоимости
- Проверка поддержки русского языка и домена
- Выбор между открытой моделью и API внешнего провайдера
Дообучение и адаптация
Готовим датасет в формате инструкций или пар «вопрос — ответ» и дообучаем модель, сохраняя её общие способности.
- Подготовка и разметка обучающих пар под целевую задачу
- LoRA и QLoRA вместо полного дообучения — быстрее и дешевле
- Контроль катастрофического забывания на общих запросах
- Сравнение дообученной модели с few-shot промптом на той же выборке
Ускорение инференса
Оптимизируем выдачу так, чтобы сервис выдерживал нагрузку на доступном оборудовании.
- Квантизация в INT8 и 4-битные форматы с контролем деградации
- Непрерывный батчинг запросов через vLLM или TGI
- Кэширование префиксов и повторяющихся системных промптов
- Экспорт в ONNX и TensorRT для узких задач
Оценка качества и регресс-тесты
Каждое изменение модели проверяется на фиксированном наборе, чтобы улучшение одной задачи не сломало другую.
- Набор тестовых запросов с эталонными ответами
- Автоматические метрики плюс выборочная оценка людьми
- Проверка на устойчивость к опечаткам и перефразировкам
- Контроль отказов: доля ответов «не знаю» вместо выдумки
Этапы работы
Первый этап почти всегда показывает, что часть задач решается без дообучения — это экономит бюджет.
-
01 1–2 недели
Постановка и базовый уровень
Формулируем задачу в терминах входов и выходов, собираем набор тестовых примеров и измеряем качество готовых моделей без адаптации.
-
02 2–4 недели
Данные для обучения
Готовим датасет: собираем примеры, чистим, приводим к единому формату, разделяем на обучающую и отложенную части.
-
03 2–3 недели
Обучение и сравнение
Дообучаем модель, сравниваем с few-shot и базовым уровнем на отложенной выборке, проверяем на устойчивость.
-
04 3–4 недели
Оптимизация и внедрение
Сжимаем и ускоряем модель, разворачиваем инференс на целевом железе, настраиваем мониторинг и регламент обновления.
Fine-tuning или few-shot: как выбрать
Few-shot — это передача модели нескольких примеров прямо в запросе. Он не требует обучения, запускается за день и легко меняется: добавили пример — изменили поведение. Ограничения тоже понятны: каждый запрос несёт дополнительные токены, а значит, дороже; поведение менее стабильно при длинных и нестандартных входах.
Fine-tuning переносит обучение на этап подготовки: модель получает устойчивый стиль и формат ответа, а запрос становится компактнее. Он оправдан, когда задача узкая, объём запросов большой и требуется единообразие. Часто оптимален гибрид: дообучение под формат и терминологию, few-shot — под конкретные исключения, которые меняются часто.
Что даёт LoRA и когда обходиться без неё
LoRA (low-rank adaptation) обучает не все веса модели, а небольшие дополнительные матрицы. Это снижает требования к видеопамяти на порядок: дообучение модели на несколько миллиардов параметров становится возможным на одной потребительской карте, а хранить приходится лишь небольшой файл адаптера.
Практическое следствие — возможность держать несколько адаптеров под разные задачи и переключать их на лету, используя одну базовую модель. Ограничение в том, что LoRA хорошо усваивает стиль и формат, но хуже — принципиально новые знания. Если задача требует запоминания большого объёма фактов, правильнее использовать поиск по документам, а не дообучение.
Квантизация: экономия на инференсе с оговорками
Квантизация уменьшает разрядность весов модели: вместо 16 бит на параметр используется 8 или 4. Это сокращает объём памяти, ускоряет вычисления и позволяет запускать более крупные модели на имеющемся оборудовании. Для многих задач потери качества при переходе к 8 битам практически незаметны.
При 4-битной квантизации деградация уже возможна, и её обязательно нужно измерять на вашем наборе тестов, а не полагаться на общие заверения. Особенно чувствительны задачи, требующие точных вычислений и длинных рассуждений. Мы всегда сравниваем квантизованную модель с полной на одном наборе запросов и принимаем решение по фактическим метрикам.
Частые вопросы
Технически можно, но это плохой путь: дообучение не даёт надёжного цитирования источников, факты смешиваются, а обновление знаний требует нового цикла обучения. Для работы с документами используется поиск по векторному индексу с подачей найденных фрагментов в контекст — так модель отвечает по актуальным данным и ссылается на источник. Дообучение в такой схеме решает другую задачу: учит формату ответа и терминологии.
Для настройки формата и стиля достаточно 500–2000 качественных примеров. Для освоения узкой терминологии — от двух-трёх тысяч. Ключевой фактор не объём, а однородность и правильность разметки: тысяча согласованных примеров даст больше, чем десять тысяч противоречивых. Если данных мало, начинаем с few-shot и накапливаем примеры из реальной эксплуатации.
Зависит от размера модели и требований к задержке. Модель на 7–8 миллиардов параметров в 4-битной квантизации работает на одной видеокарте с 16 ГБ памяти и обслуживает десятки одновременных запросов при батчинге. Модели на 70 миллиардов требуют нескольких карт или серверных ускорителей. Для пакетной обработки без требований к задержке подходит и CPU-инференс, но пропускная способность будет в разы ниже.
Только на отложенной выборке, собранной независимо и в другое время. Мы сравниваем три варианта на одном наборе: базовую модель без адаптации, модель с few-shot и дообученную. Метрики подбираются под задачу: точность формата ответа, доля корректных извлечений, устойчивость к перефразировкам, доля отказов вместо выдуманных ответов. Отдельно проверяется, не ухудшилась ли модель на общих запросах, не относящихся к целевой задаче.
Разработка AI-решений: другие направления
Смежные задачи, которые обычно решаются в одном проекте с этой.
Нужна модель, которая понимает ваш домен?
Пришлите 50–100 типовых запросов и ожидаемых ответов — проверим, нужна ли дообучение вообще, и оценим достижимое качество.