Риски внедрения ИИ: что может сломаться и как это предусмотреть

Риски внедрения искусственного интеллекта для малого бизнеса: карта

У небольшой компании нет отдела безопасности и юриста на каждый вопрос. Поэтому риски полезно разложить заранее и для каждого назначить одну понятную меру. Таблица ниже - отправная точка, подробности по каждой строке дальше.

Почти все меры из таблицы стоят дешевле, чем последствия. Журнал действий, ручное подтверждение и регламент на одну страницу собираются за несколько дней. А одна громкая ошибка с клиентом может закрыть тему ИИ в компании на год.

Ошибки ИИ: выдумка модели и честный пересказ неверных данных

Ошибки ИИ бывают двух видов, и лечатся они по-разному.

Модель придумала

Нейросеть уверенно называет цену, срок или условие, которых нет в ваших материалах. Это называют галлюцинацией. Почему так происходит и какие настройки помогают, разобрано в словаре: галлюцинации нейросети.

Цена такой ошибки бывает конкретной. В отделе продаж производителя пластиковых изделий модель дописала в КП пресс-форму, которой у цеха нет, и это стоило заказа (кейс производства пластика). На складе профхимии в Саранске ИИ приписал щелочному концентрату свойства, которых у него нет. После этого отдел месяц сравнивал два способа работы с моделью (кейс склада профхимии).

Модель права, а данные нет

Этот вид опаснее, потому что его не видно по тексту ответа. В наших проектах встречались такие ситуации:

• в карточке клиента осталось старое условие оплаты, хотя к договору давно подписано дополнительное соглашение, и агент отправил письмо по старому сроку;
• после обновления учетной программы перестала приходить банковская выписка, и агент пять суток работал по старым данным: восемь клиентов получили письма о долге, который уже оплатили (кейс оптового склада канцтоваров);
• в карточке МоегоСклада у простыни стояла чужая высота борта, агент честно отвечал покупателям по ней, и 9 простыней вернулись (кейс селлера белья);
• отчет забирал из CRM только первую страницу заказов и молча показывал неполную картину;
• бот прочитал размеры с фотографии планировки и посчитал кухню не той длины.

Во всех случаях модель сделала ровно то, что ей дали. Ошибка сидела в источнике.

Как снизить

• Человек в контуре. Все, что касается денег, скидок, отгрузок без оплаты и писем должникам, на старте идет через кнопку «подтвердить».
• Проверка свежести. Перед запуском агент смотрит дату последней загрузки. Нет данных за прошлый день - он не действует и пишет ответственному.
• Строка сверки. В каждом отчете указано, сколько записей в системе и сколько попало в отчет. Если числа разные, отчет помечается.
• Переспрос вместо догадки. Если цифра пришла с фото или голосом, бот уточняет ее у клиента, а не подставляет.
• Тест на опасных вопросах. Перед запуском и после каждого изменения решение прогоняют по набору провокаций: скидка, которой нет, срок для чужого города, просьба отменить заказ, вопрос вне темы.

Утечки и персональные данные: что требует 152-ФЗ

Персональные данные - это любая информация, по которой можно определить человека. Имя с телефоном, запись звонка, фото паспорта, история заказов с адресом доставки. Почти любой ИИ-процесс с клиентами работает с ними.

Где обычно возникает риск

• Теневое использование. Сотрудник сам вставляет выгрузку клиентов или договор в бесплатный чат-бот. Компания об этом не знает.
• Зарубежный сервис. Передача данных на серверы за рубежом считается трансграничной. О ней по закону уведомляют Роскомнадзор, а для части стран нужны дополнительные условия.
• Нет основания. Клиент давал согласие на обработку для записи на услугу, а данные пошли еще и в аналитику.
• Лишние поля. В модель отправляется вся карточка клиента, хотя для ответа нужен только номер заказа.

Насколько распространено теневое использование, показывают анонимные анкеты. В центре реабилитации в Чебоксарах данные пациентов в публичные чат-боты вставляли все 15 сотрудников, хотя именная анкета до этого нашла только четверых. Через месяц после обучения и регламента таких не осталось (кейс центра реабилитации). Как обошлись без запрета: анонимная анкета, маскирование до запроса и регламент на одну страницу, разобрано в статье о персональных данных в нейросети.

Как снизить

• Выбрать модель, которая работает в России по договору, например через GigaChat или YandexGPT, либо локальное решение.
• Отправлять в модель минимум полей. Где можно, заменять имена и телефоны метками.
• Проверить формулировку согласия и политику обработки. Если ИИ-обработка в них не упомянута, обновить документы с юристом.
• Записать в регламент, какие данные нельзя вставлять в публичные нейросети вообще.
• Хранить журнал: какой запрос ушел в модель и что она ответила. Он нужен и для разбора ошибок, и для ответа на запрос клиента о его данных.

Требования к конкретному процессу лучше сверить с юристом. Мы со своей стороны фиксируем в договоре, где хранятся записи и тексты и у кого остается доступ.

Зависимость от подрядчика и от модели

Через полгода после запуска выясняется, что промпты, сценарии и ключи доступа лежат в кабинете исполнителя. Подрядчик занят другим проектом, а у бота поменялся прайс. Второй вариант: поставщик модели поднял цену или снял старую версию с поддержки, и ответы стали другими.

Что попросить до подписания договора

• Учетные записи в сервисах автоматизации, ключи API и аккаунт модели оформлены на вашу компанию.
• Схема процесса, тексты инструкций для модели и список интеграций передаются вам в виде документа.
• Тестовый набор вопросов или документов остается у вас. С ним любой исполнитель проверит решение после смены модели.
• Понятно, как отключить решение за один шаг и вернуться к ручной работе.
• Ежемесячные расходы на модель идут напрямую поставщику по его тарифам, без скрытой наценки.

Привязку к одной модели снижает простое правило: логика процесса не должна зависеть от особенностей конкретной нейросети. Если решение собрано на n8n или Make, модель меняется в одном узле, а тестовый набор показывает, не стало ли хуже. Сравнение моделей для русского языка есть на странице GigaChat, YandexGPT и ChatGPT.

Риски внедрения ИИ-агентов: когда нейросеть не только пишет, но и действует

Бот отвечает клиенту, и ошибку видно в переписке. ИИ-агент меняет статусы в CRM, отправляет письма, ставит задачи и держит отгрузки. Его ошибка повторяется на десятках записей, пока кто-то не заметит.

Типичные сбои агентов

• Масштаб. Агент напоминает о долге по каждой накладной отдельно, и постоянный клиент получает несколько писем за неделю. У оптового склада красок в Майкопе первая версия агента писала тем, кто уже заплатил, и за две недели не сдвинула просрочку. Вторая сначала разносит выписку и только потом пишет, просрочка снизилась с 4 112 до 1 848 тыс. руб. (кейс склада красок).
• Слепой режим. Обмен с банком или складом сломался, а агент работает по старым остаткам.
• Широкие права. У агента доступ на удаление и изменение всех сделок, хотя ему нужно одно поле.
• Решение по неполным данным. Половина заявок без источника, и агент советует отключить рабочую рекламную кампанию.

Как снизить

Отдельный риск - обещания от имени компании. ИИ-агент селлера игрушек на WB пообещал покупателю дослать детали конструктора, хотя такого правила у магазина нет. После этого у агента появился список запрещенных обещаний, и ответ за 3 часа приходит на 82% вопросов вместо 13% (кейс селлера игрушек).

Отличия агента от бота и где какой нужен, сравнили отдельно: ИИ-агент или чат-бот.

Сопротивление сотрудников и обход системы

Открытое сопротивление встречается реже, чем тихий обход. Решение запущено, отчеты приходят, а люди нашли способ работать по-старому.

• Администратор в пиковые часы просит клиента оставить заявку на сайте, и разговор не попадает под оценку. Заявки при этом уходят на почту, которую в выходные никто не открывает.
• Сотрудники кухни продолжают пользоваться распечатанным листком, потому что телефон с мокрыми руками неудобен.
• Менеджер договаривается с клиентом в личном мессенджере, и агент не видит договоренности.

Каждый такой обход выглядит как работающая система с плохими цифрами. У таможенного брокера в Липецке первая версия обучения, один общий воркшоп, за две недели не изменила ничего: юрист и двое декларантов решили, что безопаснее не пользоваться, корпоративных аккаунтов не было. После обучения на документах самого брокера с ИИ работают семь человек из семи, типовой документ занимает 23 минуты вместо 51 (кейс таможенного брокера).

Как снизить

• Объяснить, какую работу снимает ИИ и что человек получает взамен. Страх «меня заменят» лучше снимать до запуска.
• Правила для ИИ писать вместе с сотрудником, у которого получается лучше всех. Так в системе оказывается его опыт, а не устаревший регламент.
• Первые недели не штрафовать по оценкам ИИ. Оценки используются для разбора, а не для премии.
• Добавить служебные признаки обхода: звонок закончился отправкой на сайт, договоренность есть в переписке, но не в CRM. Такие случаи руководитель смотрит первыми.
• Оставить людям удобный путь там, где он работает. Если бумага на раздаче нужна, ее печатает система из актуальных данных.

Риски автоматизации бизнес-процессов: неверный процесс и скрытые расходы

Неверный выбор процесса

Самый дорогой риск на старте. Признаки, что процесс пока не готов к ИИ: правила существуют только в голове одного сотрудника, операция случается пару раз в месяц, ошибка стоит клиента или штрафа, данные разбросаны по личным таблицам. Как выбрать первый процесс по эффекту, готовности и риску, разобрано в плане внедрения ИИ на 90 дней.

Полезно заранее посчитать порог окупаемости и честно сверить его с фактом. Склад арматуры в Абакане рассчитывал, что агенту закупок нужно 9 заказов в месяц сверх сезона, вышло 5. Зато пустых ячеек среди ходовых позиций осталось 3 из 40, а со стеллажей ушли залежи на 286 400 руб. (кейс склада арматуры).

Скрытые расходы

Разовая настройка - только часть бюджета. Проверьте, что в расчете есть все строки.

Поддержка ИИ-агента в нашем каталоге стоит от 7 900 ₽/мес. Расходы на модель мы считаем до старта на ваших объемах. Как заложить их в окупаемость и не ошибиться в расчете, показано в статье как оценить ИИ-пилот.

Юридические риски: ответ бота как слово компании

Для клиента бот на сайте или в мессенджере говорит от имени компании. Если он подтвердил скидку или срок доставки, клиент будет требовать именно это.

• Обещания и условия. Цена, возврат, сроки и состав услуги должны совпадать с офертой и прайсом.
• Реклама. Сравнения «лучший» и «самый дешевый» без подтверждения нарушают закон о рекламе, кто бы их ни написал.
• Чувствительные темы. Медицинский бот не ставит диагнозы и не дает рекомендаций по лечению. Юридический помощник не называет нормы по памяти.
• Запись разговоров. Клиента предупреждают о записи звонка, а порядок хранения записей описан в документах.
• Права на контент. Изображения и тексты для карточек проверяют на чужие товарные знаки и узнаваемых людей.

Мера простая: стоп-лист тем, на которые ИИ не отвечает сам, и передача таких вопросов сотруднику с историей диалога. Ответы бота сверяются с актуальным прайсом после каждого его изменения.

Регламент работы с ИИ на одну страницу

Длинную политику никто не читает. Достаточно одной страницы, которую подписывает каждый сотрудник, работающий с ИИ.

1. Разрешенные сервисы. Список нейросетей и ботов, которыми можно пользоваться в работе.
2. Запрещенные данные. Что нельзя вставлять в публичные сервисы: базы клиентов, паспорта, договоры с реквизитами, записи звонков.
3. Обязательная проверка. Какие результаты ИИ человек проверяет всегда: суммы, даты, условия, тексты для клиентов.
4. Владелец процесса. Кто отвечает за каждое решение и к кому идти, если ИИ ошибся.
5. Журнал и разбор. Где фиксируются ошибки и как часто их разбирают.
6. Кнопка остановки. Кто и как отключает решение и переводит процесс на ручную работу.

Пустой шаблон такого регламента можно собрать за час. Сложнее всего второй пункт: его стоит согласовать с тем, кто в компании отвечает за персональные данные.