Что такое LLM простыми словами

LLM простыми словами: модель, которая угадывает следующее слово

LLM расшифровывается как Large Language Model - большая языковая модель. Это нейросеть, которая прочитала огромный объем текстов и научилась предсказывать, какой фрагмент должен идти дальше.

Звучит скромно, но из этого вырастают полезные навыки. Чтобы правильно продолжить фразу «Ответ клиенту, который просит перенести доставку:», модели нужно понять просьбу, вежливый тон и логику ответа.

1. Текст режется на токены - кусочки слов. Из них считается и длина запроса, и цена. Подробнее - в статье про токены в нейросети.
2. Модель смотрит на весь запрос и оценивает, какой токен вероятнее всего следующий.
3. Ответ собирается по одному токену, пока модель не решит, что ответ закончен.

После основного обучения модель дополнительно учат вести диалог и следовать инструкциям. Поэтому с ней можно разговаривать, а не только продолжать текст.

Что LLM умеет в компании и чего не умеет

Модель хорошо работает с текстом, но у нее есть предсказуемые слабые места. Их лучше знать до внедрения.

Умеет

• Отвечать клиентам в чате, если дать ей базу ответов.
• Пересказывать длинные документы и расшифровки звонков.
• Вытаскивать поля из писем, заявок и договоров.
• Писать черновики писем, описаний, постов.
• Раскладывать обращения по темам и срочности.

Не умеет без доработки

• Знать ваши данные. Прайса и регламентов в ее обучении не было. Их подключают через поиск по документам, это называется RAG.
• Не ошибаться. Когда ответа нет, модель может уверенно его придумать. Это называют галлюцинациями.
• Видеть свежие события. Знания модели ограничены датой обучения.
• Действовать сама. Чтобы модель создавала сделки или отправляла письма, вокруг нее строят ИИ-агента с доступом к системам.

Какие LLM доступны в России: сравнение по контексту, цене и хранению данных

Для бизнеса важны три вещи: сколько текста модель примет за раз, как считается цена и где окажутся данные. Сводим основные варианты в одну таблицу.

Точные лимиты контекста и тарифы меняются несколько раз в год. Мы сверяем их с документацией поставщика в момент проекта, а не переносим из старых таблиц.

Что такое контекст и почему он важен

Контекст, или окно контекста, - объем текста, который модель учитывает за один запрос. В него входит ваш вопрос, приложенный документ и сам ответ. Если договор не помещается в окно, его режут на части или ищут в нем только нужные фрагменты.

Как выбрать по хранению данных

• Есть персональные данные клиентов - российская модель или локальная. Согласия и порядок хранения оформляются по 152-ФЗ.
• Коммерческая тайна и документы, которые нельзя выносить, - открытая модель на своем сервере.
• Обезличенные тексты, маркетинг, черновики - подойдет любая доступная модель.

Как три популярные модели справляются с одинаковыми задачами, мы проверили в сравнении GigaChat, YandexGPT и ChatGPT.

Что такое LLM API и как модель подключают к боту или CRM

LLM API - программный вход в модель. Чат-окно нужно человеку, а API - другой программе: боту, CRM, таблице, сервису автоматизации. Подробнее о самом понятии - в статье что такое API нейросети.

Как это выглядит на практике, если клиент пишет в Telegram-бота:

1. Бот получает сообщение клиента.
2. Находит в базе знаний подходящие фрагменты прайса и правил.
3. Отправляет в модель через API вопрос, найденные фрагменты и инструкцию, как отвечать.
4. Получает ответ и отправляет клиенту, а в CRM записывает суть обращения.

Оплата через API обычно идет за объем токенов, а не за подписку на человека. При потоке в сотни диалогов в день вы платите за фактический объем текста, а не за места сотрудников. Как получить доступ и во что это обходится, разобрано в материалах про GigaChat API и YandexGPT API.

LLM, нейросеть, генеративный ИИ: как не запутаться

Подробнее о соседних понятиях - в статьях про машинное обучение и генеративный ИИ.

Как выбрать LLM: тест на 20-30 ваших задачах

1. Соберите 20-30 реальных задач. Вопросы клиентов из переписки, фрагменты договоров, расшифровки звонков.
2. Решите вопрос с данными. Есть ли в задачах персональные данные или коммерческая тайна. Это сразу сужает выбор.
3. Прогоните задачи через 2-3 модели. Сравните точность, тон и то, как модель ведет себя, если не знает ответа.
4. Посчитайте стоимость на месяц. Умножьте средний объем запроса на число запросов по тарифу поставщика.
5. Проверьте, как модель подключается к вашим системам. CRM, мессенджерам, почте.

Часто оказывается, что для ответов клиентам хватает недорогой версии, а мощная нужна только для разбора длинных документов. Как оценить такой пилот в деньгах, рассказано в статье про выбор первого процесса для ИИ.