Как распознать рукописный текст с помощью ИИ

Как распознать рукописный текст: три способа под разный объем

Выбор инструмента зависит от того, сколько страниц у вас в месяц и что дальше происходит с текстом. Прочитать открытку от бабушки и разобрать 400 анкет клиентов - разные задачи.

Одна-две страницы: телефон или нейросеть в чате

1. Сфотографируйте лист при дневном свете, сверху, без тени от руки и телефона.
2. Обрежьте фото по краям листа, чтобы в кадре не было стола и других бумаг.
3. Откройте функцию распознавания текста с камеры, например Google Объектив или камеру в приложении Яндекса, и скопируйте результат.
4. Если почерк сложный, загрузите фото в нейросеть, которая принимает изображения, и попросите переписать текст дословно.
5. Добавьте в запрос правило: неразборчивые слова не угадывать, а помечать как [?]. Так вы увидите слабые места.
6. Сверьте результат с оригиналом глазами, особенно имена, даты и цифры.

Документы с персональными данными не загружайте в зарубежные чат-сервисы. Доступ к ChatGPT в России к тому же ограничен, для таких задач лучше российские модели или локальные решения.

Пачка документов: облачный OCR с моделью для рукописи

У облачных сервисов распознавания есть отдельные модели для рукописного текста. Например, в Yandex Vision OCR можно выбрать модель для рукописи. Поддерживаемые языки и ограничения проверьте в документации сервиса. Результат приходит текстом с координатами строк, дальше его нужно разложить по полям.

Поток бланков: распознавание плюс извлечение полей

Если анкеты, заявки или акты идут каждый день, одного текста мало. Нужно понять, где на бланке фамилия, где телефон, проверить формат и выгрузить строку в таблицу или CRM. Это уже задача распознавания документов с ИИ, а не просто OCR.

Почему рукописный текст распознается хуже печатного

У печатного текста есть шрифт, и машина видит одни и те же формы букв. У рукописи каждый человек сам себе шрифт, а один человек пишет по-разному в начале и в конце анкеты.

• Слитные буквы. «и», «ш», «л» и «м» в быстром письме выглядят как одна волна.
• Похожие цифры. 1 и 7, 4 и 9, 0 и 6, 3 и 8 путаются чаще всего, особенно в телефонах и суммах.
• Исправления. Зачеркнутую цифру и написанную поверх новую система может прочитать как обе сразу.
• Выход за рамки. Адрес не влез в строку и уехал на поле «Комментарий». Для машины это два разных поля.
• Сокращения. «ул. Сов. д. 5 кв 12» человек поймет, а система запишет как есть или раскроет неверно.
• Скан и фото. Синяя ручка на желтом бланке, тень, заломы и копия с копии режут качество сильнее, чем почерк.

Главная ловушка нейросетей

Классический OCR на плохом почерке выдает мусор, и это сразу видно. Нейросеть, наоборот, достраивает правдоподобный вариант: «Кузьмина» вместо «Кузмина», существующую улицу вместо неразборчивой. Ошибка выглядит как нормальное значение. Подробнее в словаре: галлюцинации нейросети.

Поэтому для рукописи мало высокой точности, нужна честная оценка уверенности. Хорошая схема говорит «не уверен в этом поле», а не молча подставляет похожее слово.

Тест на ваших бланках: ошибки по типам полей

Средняя точность по документу мало что говорит. Бланк может быть распознан почти целиком, но с ошибкой в телефоне, и заявка потеряна. Считайте ошибки отдельно по каждому полю.

Как провести тест за один день

1. Возьмите 30-50 реальных заполненных бланков от разных людей. Не выбирайте самые аккуратные.
2. Вручную перепишите значения всех полей в таблицу. Это эталон.
3. Прогоните те же сканы через выбранный инструмент и положите результат в соседние столбцы.
4. По каждому полю отметьте тип результата: совпало, пропуск, замена символа, правдоподобная подмена, поле не найдено.
5. Посчитайте для каждого поля, сколько значений из 50 совпали с эталоном без правок.

Чего ждать от разных полей

Ниже типичная картина для рукописных анкет и заявок. Цифры в вашем тесте будут свои, но порядок полей по сложности обычно похожий.

Как читать результат теста. Если поле почти всегда совпадает с эталоном, оставьте выборочную проверку. Если ошибки регулярные, поле всегда уходит человеку или меняется сам бланк. Часто дешевле перепечатать форму с клетками для цифр, чем бороться с почерком.

Схема ручной проверки, чтобы ошибки не попали в базу

Цель проверки - чтобы человек смотрел только на сомнительные поля, а не перепечатывал весь бланк. Рабочая схема выглядит так.

1. Распознавание с оценкой уверенности. Для каждого поля система отдает значение и степень уверенности.
2. Автоматические проверки. В телефоне 11 цифр, дата существует, сумма цифрами совпадает с суммой прописью, ИНН проходит проверку контрольного числа.
3. Ручная очередь. Поле с низкой уверенностью или проваленной проверкой попадает оператору.
4. Фрагмент рядом со значением. Оператор видит вырезанный кусок скана и распознанный текст в одном окне и правит за секунды.
5. Журнал правок. Каждое исправление сохраняется: кто, когда, было и стало.
6. Разбор раз в неделю. Смотрите, какие поля правят чаще всего, и меняйте либо правила, либо бланк.

Как упростить жизнь распознаванию еще до сканера

• Клетки для каждой цифры телефона, даты и суммы.
• Образец заполнения на обороте или сверху бланка.
• Поля с запасом места для адреса и ФИО.
• Сканирование в цвете и с разрешением не ниже 300 точек на дюйм, а не фото под лампой.

Анкеты почти всегда содержат персональные данные. По 152-ФЗ нужно согласие человека на обработку и понятный порядок хранения. Выбирайте сервисы с обработкой в России, а для чувствительных бланков рассмотрите закрытый контур на своих серверах.

Когда хватит бесплатного инструмента, а когда нужна настройка

Для потока бланков у нас есть пилот за 19 900 ₽: один стабильный тип документа, до 15 полей, тест до 50 страниц и выгрузка в Excel. Если сомневаетесь, что ваш почерк вообще читается, начните с диагностики на 30 документах за 7 900 ₽. По ее итогам вы получите разбор ошибок по полям, как в таблице выше.

Похожая логика работает и для печатных документов с рукописными вставками, например распознавание паспорта с подписью и отметками от руки.