FineReader сканирование. Исправление ошибок сканирования в ABBYY Finereader Сохранение без распознавания страницы в finereader

Перевод текста в цифровой формат — довольно распространенная задача для тех, кто работает с документами. Программа Abbyy Finereader поможет сохранить немало времени, автоматически переводя надписи из растровых картинок или «читалок» в редактируемый текст.

В данной статье рассмотрим, как использовать Abbyy Finereader для распознавания текстов.

Как распознать текст с картинки при помощи Abbyy Finereader

Для того, чтобы распознать текст на растровом изображении, достаточно просто загрузить его в программу, и Abbyy Finereader автоматически распознает текст. Вам остается только редактировать его, выделив нужное и сохранить в требуемом формате или скопировать в текстовый редактор.

Распознать текст можно прямо с подключенного сканера.

Более подробно читайте на нашем сайте.

Как создать документ PDF и FB2 при помощи Abbyy Finereader

Программа Abbyy Finereader позволяет конвертировать изображения в универсальный формат PDF и формат FB2 для чтения на электронных книгах и планшетах.

Процесс создания таких документов схож.

1. В главном меню программы выберите раздел E-Book и нажмите FB2. Выберите тип исходного документа — сканирование, документ или фотография.

2. Найдите и откройте требуемый документ. Он загрузится в программу постранично (это может занять некоторое время).

3. Когда процесс распознавания завершится, программа предложит выбрать формат для сохранения. Выбираем FB2. При необходимости, заходим в «Опции» и вводим дополнительную информацию (автор, название, ключевые слова, описание).

После сохранения можно остаться в режиме редактирования текста и перевести его в формат Word или PDF.

Особенности редактирования текста в Abbyy Finereader

Для текста, который распознал Abbyy Finereader предусмотрено несколько опций.

В исходом документе сохраните картинки и колонтитулы, чтобы они перенеслись в новый документ.

Проведите анализ документа, чтобы знать какие ошибки и проблемы могут возникнуть в процессе преобразования.

Редактируйте изображение страницы. Доступны опции кадрирования, фотокоррекции, изменения разрешения.

Вот мы и рассказали как пользоваться Abbyy Finereader. Он обладает довольно широкими возможностями редактирования и конвертирования текстов. Пусть эта программа поможет в создании любых нужных вам документов.

Один из популярнейших функционалов по работе со сканированием и обработкой файлов различного типа - Файн Ридер. Функционал программного продукта был разработан российской компанией ABBYY, он позволяет не только распознавать, но и обрабатывать документы (переводить, менять форматы и другое). Многие пользователи могут только установить, а как пользоваться ABBYY FineReader, сразу разобраться не могут. На многие вопросы вы сможете найти ответы в этой статье.

Программа позволяет сканировать и распознавать текст — и не только

Чтобы подробно разобраться, что это за программа ABBYY FineReader 12, необходимо подробно рассмотреть все её возможности. Первой и самой простой функцией является сканирование документа. Существует два варианта сканирования: с распознаванием и без него. В случае обычного сканирования печатного листа вы получите изображение, которое сканировали в указанной папке на вашем компьютерном устройстве.

ВНИМАНИЕ. Лист нужно класть на сканирующую часть принтера ровно, по указанным на принтере контурам. Не допускайте заламывания исходника, это может привести к плохому качеству итогового скана.

Вы должны самостоятельно решить, для чего нужен FineReader именно вам, так как утилита имеет значительный функционал, например, вы можете самостоятельно выбрать в каком цвете хотите получить изображение, есть возможность перевести все фото в чёрно-белый . В чёрно-белом цвете распознавание происходит быстрее, качество обработки возрастает.

Если же вас интересует функция распознавания текста ABBYY FineReader, перед сканированием вам нужно нажать специальную кнопку. В этом случае есть несколько вариантов получения информации. Стандартно на ваш экран выведется распознанный кусок листа, который вы сможете скопировать или отредактировать вручную.

Если вы выберите другие функции, то сможете сразу получить файл Word-документом или Excel-таблицей . Выбирать функции очень просто, меню интуитивно понятно, легко настраивается благодаря тому, что все нужные вам кнопки перед глазами.

ВАЖНО. Перед тем как распознать текст ABBYY FineReader, вам необходимо точно подобрать язык обработки. Несмотря на то, что утилита работает полностью автоматически, бывает, что низкое качество исходника не позволяет понять, что за язык был в исходнике. Это сильно снижает качество итоговых результатов работы приложения.

Несколько режимов работы

Чтобы полностью разобраться, как пользоваться ABBYY FineReader 12, необходимо попробовать два режима работы «Тщательный» и «Быстрое распознавание». Второй режим подходит для высококачественных изображений , а первый - для низкокачественных файлов. Режим «Тщательный» в 3–5 раз дольше обрабатывает файлы.

На иллюстрации показан результат работы программы — распознавание текста с изображения

Какие ещё есть функции?

Распознавание текста в программе ABBYY FineReader не единственная полезная функция. Для большего удобства пользователей имеется возможность переводить документ в необходимые пользователю форматы (pdf, doc, xls и др.).

Изменение текста

Чтобы понять, как в Файн Ридере изменить текст, пользователю необходимо открыть вкладку «Сервис» - «Проверка». После этого откроется окно, которое позволит редактировать шрифт, менять символы, цвета и др. Если вы редактируете изображение, то стоит открыть «Редактор изображений», он практически полностью соответствует простой рисовалке Paint, но сделать минимальные правки позволит.

ВНИМАНИЕ. Если вы так и не смогли разобраться, как продуктивно пользоваться ABBYY FineReader, вы можете прочесть раздел «Помощь», который можно найти в окне приложения, во вкладке «О программе».

Теперь вы знаете, для каких целей служит программа FineReader, и сможете правильно её применять у себя дома или в офисе. Функционал приложения огромен, воспользуйтесь им и вы сможете убедиться в незаменимости этого программного продукта при обработке документов и файлов во время офисной работы.

История Abbyy FineReader насчитывает уже более 20 лет. Юбилейный 2013 г. компания отметила выпуском полновесного (по сравнению с Express Edition от 2009 г.) Abbyy FineReader Pro для Mac, а через пару месяцев, в феврале 2014 г., свой «подарок» получили и пользователи Windows - Abbyy FineReader 12 Professional и Corporate. Напомню, что предыдущая версия появилась еще в 2011 г. , а два с половиной года срок немалый - давайте разбираться, насколько существенны изменения.

Общая информация

Системные требования для новой версии совершенно не изменились. Платформой может служить Windows или Windows Server начиная от XP и 2003 соответственно. Аппаратные запросы по нынешним временам и подавно скромны: процессор любой разрядности с частотой от 1 ГГц, оперативной памяти не менее 1 ГБ плюс по 512 МБ на каждое вычислительное ядро и т. п. Несколько увеличилась только потребность в дисковом пространстве - теперь для установки требуется не 700, а 850 МБ (плюс, по-прежнему, еще 700 МБ для рабочих файлов).

Естественно, речь идет о минимальных требованиях; полностью возможности Abbyy FineReader 12 Professional раскроются только на сравнительно современных системах. В частности, напомню, что программа умеет эффективно распараллеливать обработку отдельных страниц, задействует при этом все процессорные ядра и загружает любой процессор почти на 100%. А вот к оперативной памяти она действительно не жадная, и даже остается 32-разрядной.

Не претерпела изменений и процедура установки: минимум вопросов и опций. В комплекте с Abbyy FineReader 12 Professional по-прежнему идет Abbyy Screenshot Reader, который становится работоспособным только после регистрации пользователя.

После этого также откроется доступ к техподдержке.

Даже на основе этой скромной информации можно предположить, что перед нами результат эволюции. Соответственно, в дальнейшем я сосредоточусь на описании изменений по сравнению с предыдущей версией, которые условно можно разделить на две основные группы: работа с программой (интерфейс, вспомогательные инструменты, удобство использования) и OCR (качество и производительность собственно распознавания).

Работа с программой

Abbyy FineReader 12 Professional демонстрирует некоторые доработки в части пользовательского интерфейса. Это сразу же заметно на окне Задачи, которое по умолчанию открывается при запуске программы. Оно, очевидно, имитирует концепцию плиток Windows 8.x и адаптировано для управления пальцами, тем более, что в программе также поддерживаются и основные жесты вроде прокрутки и масштабирования. На деле же, изменения коснулись только «фасада», да и то отчасти - рядом с плитками соседствуют обычные элементы управления и в процессе настройки любого сценария придется иметь дело со стандартными диалоговыми окнами. Работать с ними пальцами довольно проблематично, особенно на экранах 8-10″, которые становятся популярными у Windows-планшетов.

Представить же, что пользователь такого планшета, оснащенного камерой, может захотеть быстро «на ходу» ввести какой-то печатный документ, действительно несложно. Между тем вся история Windows, начиная с первой редакции Tablet PC, подтверждает бессмысленность адаптации к сенсорному управлению стандартного настольного интерфейса. По-видимому, для этих целей гораздо правильнее создавать специальную оболочку, соответствующую всем канонам Metro, но использующую тот же «движок». Примером подобного решения служит Internet Explorer из Windows 8.x. К тому же, у Abbyy даже имеется некий задел в виде Abbyy FineReader Touch для Windows 8, который использует облачный сервис компании.

Если же отвлечься от сенсорного ввода, то найдутся еще изменения данного класса - от вполне ожидаемого обновления окон открытия/сохранения документов, которые, среди прочего, обеспечивают простой доступ к облачным хранилищам (при наличии в системе соответствующего агента и его папки), до нескольких более важных и полезных.

Обработка страниц в Abbyy FineReader 12 Professional теперь выполняется в фоновом режиме. Это подразумевает отсутствие прежнего модального окна со статусом операций (теперь данную роль играет строка статуса внизу экрана) и, соответственно, наличие доступа к интерфейсу. Таким образом пользователь имеет возможность работать с программой параллельно процессу распознавания (если он, конечно достаточно длительный), к примеру, копировать фрагменты полученного текста или даже корректировать разметку страниц - последние при этом будут поставлены в очередь и обработаны заново.

В отличие от прежней версии, также не происходит перелистывания страниц по мере распознавания или при начальной загрузке документа, если автоматическое распознавание отключено. В Abbyy FineReader 12 Professional документ загружается и разбивается на страницы практически мгновенно, а их эскизы строятся только по мере ручного пролистывания в левой панели. Кроме всего прочего, тем самым экономятся вычислительные ресурсы, причем, довольно ощутимо на больших многостраничных документах.

Остальные изменения данного класса не столь интересны, хотя и могут пригодиться в каких-то сценариях, поэтому о них кратко.

Если нужно не обработать документ целиком, а лишь процитировать отдельные места, то можно отключить все автоматические операции и выбирать необходимые фрагменты любых типов, сразу же копируя их в буфер обмена - при этом анализ и распознавание будут выполняться на лету.

Для получения результата с более простой структурой, чем у оригинала, можно отключать воссоздание колонтитулов, сносок и других элементов макета. Это может пригодиться, к примеру, при подготовке электронных книг.

Продолжая об электронных книгах - в Abbyy FineReader 12 Professional поддерживаются форматы EPUB 2.0.1 и 3.0.

Расширены параметры преобразования в XLSX, к примеру, появилась возможность очищать форматирование или сохранять картинки.

При сохранении результирующих документов в PDF с текстовым слоем теперь можно воспользоваться новой технологией Abbyy Precise Scan, которая заключается в сглаживании символов на оригинальных изображениях страниц. Доступна она, кстати, только в цветном режиме.

Эффект от ее работы достаточно заметен, хотя и не всегда, скажем так, «академичен». Впрочем, читабельность сглаженных символов в любом случае должна быть выше, а в данном примере оригинал действительно очень низкого качества.

OCR

Теперь давайте разберемся, какие улучшения произошли в механизмах собственно распознавания.

Разработчики сообщают об очередном этапе совершенствования технологии ADRT, которая, напомню , анализирует и воссоздает логическую структуру документа. Декларируется, что она стала работать гораздо точнее, особенно с таблицами, списками, диаграммами. Продемонстрировать это адекватными примерами не так просто, но не невозможно. Вот, к примеру, результаты распознавания (с настройками по умолчанию) одной и той же страницы в Abbyy FineReader 11 Professional (вверху) и Abbyy FineReader 12 Professional (внизу).

Старая версия выделила и обработала только основной текстовый блок, возможно, из-за низкого качества оригинала сочтя остальные элементы «мусором». Новая, напротив, корректно опознала список и попыталась его воссоздать. Результат, правда, не идеален: то что распознаны не все маркеры можно, опять же, отнести на качество изображения, но программа, по-видимому, все же не поняла, что перед ней содержание, иначе не интерпретировала бы цифры как буквы. Тем не менее, прогресс налицо и на более качественных оригиналах подобных претензий, возможно, не было бы.

А вот как обрабатывается «неявная» таблица без разделительных линий - Abbyy FineReader 11 Professional (вверху) и Abbyy FineReader 12 Professional (внизу).

Хорошо видно, что старая версия, в отличие от новой, вообще не увидела здесь табличной структуры и ограничилась набором несвязанных между собой текстовых блоков. Не поленитесь щелкнуть на изображениях и сравнить результаты распознавания - у Abbyy FineReader 12 Professional он близок к идеалу.

К сожалению, так происходит не всегда и уже на соседних страницах Abbyy FineReader 12 Professional показал результаты, аналогичные Abbyy FineReader 11 Professional. Хотя именно ADRT должна была бы отследить одинаковые «шапки» и понять, что перед ней своеобразная перетекающая таблица.

Но все равно хорошо заметно, что обновленные алгоритмы обращают внимание на большее количество деталей чем ранее. В процессе тестирования Abbyy FineReader 12 Professional наблюдалась, к примеру, даже попытка интерпретировать как таблицу картинку с упорядоченным размещением на нем текстовой информации. Гораздо чаще также новая версия пытается воссоздавать различные диаграммы и схемы на основе фонового рисунка, а не из отдельных графических и текстовых блоков.

Есть еще несколько новинок, призванных повысить в Abbyy FineReader 12 Professional качество распознавания. Как известно, одной из предпосылок для этого является качество оригинала, особенно если он получен с помощью не сканера, а фотокамеры. Именно поэтому в свое время в FineReader появились средства предварительной обработки оригиналов. В новой версии их список расширен, добавились обрезка по краям страниц, осветление и выравнивание яркости фона, удаление цветных элементов. Последнее может пригодиться, к примеру, для обработки документов с печатями и штампами. Кроме того, теперь пользователь может подключать различные методы индивидуально.

Улучшена также языковая поддержка. Во-первых, появился русский алфавит с ударениями, во-вторых, декларируется повышение качества распознавания китайского, японского и корейского (до 20%), арабского (до 60%), иврита (до 10%) - достигнуто это, по-видимому, за счет совершенствования и дополнительной тренировки классификаторов .

Ну и наконец, один из наиболее животрепещущих вопросов для многих читателей: выросла ли скорость работы программы? Аргументированно ответить на этот вопрос, тем более с цифрами, не так-то просто - слишком много языков, каждый из которых имеет свои нюансы; слишком велико разнообразие оригиналов; слишком много неизвестных нам факторов влияния на работу алгоритмов. Поэтому даже сами разработчики достаточно сдержанно говорят о росте производительности Abbyy FineReader 12 Professional на 10-15%.

Подобные цифры обычно получаются по результатам обработки достаточно больших массивов документов и, соответственно, представляют собой нечто вроде «средней температуры по больнице». Поэтому полезно подробнее изучить какие-нибудь показательные частные случаи, к примеру, подобные двум следующим:

• отсканированные в цвете с разрешением 300 dpi 10 страниц полноцветного буклета формата A4. Качество хорошее, языки русский и английский, макет сложный;
• PDF с графическими изображениями 138 страниц книги, содержащей небольшое количество цветных и черно-белых иллюстраций, несколько таблиц. Качество низкое (начиная, по-видимому, со «слепой» печати в бумажной книге), языки украинский и русский, макет простой.

Оба документа распознавались в цветном режиме, а второй также и в черно-белом, что имело целью имитировать процесс подготовки электронной книги. Все настройки по умолчанию оставлялись без изменений, за исключением набора языков и, соответственно, режимов работы. В качестве тестового полигона использовался ПК с процессором i5-3450 и 8 ГБ памяти. Результаты представлены в следующей таблице:

Как видно, для PDF ускорение даже превышает обещанные 15% - возможно, это как раз один из особых случаев, хорошо подходящих для последних оптимизаций в алгоритмах распознавания. При этом надо иметь в виду, что программы, вообще говоря, проделали разный объем работы. Взгляните хотя бы на иллюстрации выше к обработке таблиц - трудно сказать, какой из версий пришлось сложнее.

Что касается количества ошибок, то оно у обеих версий практически совпадало, хотя было заметно, что иногда сомнения вызывают разные фрагменты и символы - это, по-видимому, является свидетельством тренировки алгоритмов. В любом случае, большинство неуверенно распознанных символов абсолютно корректно идентифицировалось с помощью словарей, а «грубые» ошибки (некорректная интерпретация специальных и декоративных символов, текста на графике и пр.) совпадали. Так что разницу и вовсе можно считать исчезающей.

Другой вопрос, насколько подобное повышение производительности вообще имеет значение? По-видимому, выигрыш в полминуты на 138 страницах, которые все равно нужно проверять и, возможно, корректировать, немногого стоит. Если работы, подобные тестовым заданиям, предполагается выполнять от случая к случаю, то о производительности можно точно не переживать. Другое дело, если речь идет об автономной обработке больших объемов документов, которая доступна в Abbyy FineReader 12 Corporate. В таком случае экономия 15% времени уже вполне ощутима.

Резюме

Несмотря на то, что новый Abbyy FineReader 12 Professional не обещал ничего революционного, по крайней мере несколько изменений в нем заслуживают всяческой похвалы. Прежде всего, это усовершенствования технологии ADRT в части распознавания таблиц, диаграмм и вообще логической структуры страниц, что в некоторых случаях позволяет получать кардинально лучшие результаты, а также фоновый режим обработки, который открывает новые возможности для интерактивной работы с большими документами.

Других изменений также немало, хотя они и менее значимы. Движение в сторону поддержки сенсорного управления сегодня безусловно оправдано, однако путь выбран порочный - обеспечить в одном интерфейсе одинаково удобную работу мышью и пальцами вряд ли возможно. Впрочем, пока Windows-планшеты только пытаются пробиться на рынок, и у разработчиков из Abbyy еще есть время.

Цены на Abbyy FineReader 12 Professional:

• коробочная версия: 4990 руб.;
• версия для скачивания: 4490 руб.;
• обновление: 2690 руб.

Как обычно, ответ на вопрос «стоит ли менять старую версию на новую?» зависит от ситуации. В любом случае стоит учитывать, что жизненный цикл у FineReader достаточно продолжительный, и если какое-то из описанных улучшений играет для вас сколько-нибудь существенную роль, то за 2-3 года затраты на обновление наверняка окупятся - если не материально, то морально. Решить же для себя этот вопрос окончательно поможет .

В этот раз расскажу как превращать бумажные документы в электронный вид формата PDF, а также, как бумажный документ перекинуть в компьютер с целью изменить текст. Итак начнем.
У меня на руках бумажный документ.

СКАНИРОВАНИЕ в PDF

Задача: перекинуть в компьютер (перевести в электронный вид) этот документ. Притом нужно сделать именно в таком виде чтобы нельзя было его в будущем изменить (грубо говоря надо сделать фото документа). Потом этот электронный документ нужно переслать по почте на электронный адрес. Притом клиент просит именно в формате pdf.

По этапам:
1) пропускаю документ через сканер
2) сохраняю полученный отпечаток в формате pdf на свой компьютер
3) пересылаю полученный файл по почте
В своей работе я использую для решения такой задачи 2 программы:
Foxit Phantom или ABBYY FineReader. Для понятности прикладываю скриншоты:
В Foxit Phantom при включенном сканере необходимо в главном меню выбрать ФАЙЛ-СОЗДАТЬ PDF-СО СКАНЕРА…
Произойдет сканирование и появится предложение сохранить файл. Выбираем место, пишем название файла и сохраняем.

В ABBYY FineReader в панели инструментов есть огромные кнопки. Одна из них называется СКАНИРОВАТЬ в PDF. Её и используем.

Если же надо отсканировать многостраничный документ то, по этапам:
1) Нажимаем кнопку под номером 1 СКАНИРОВАНИЕ

Получаем отсканированный документ

Также сканируем ещё одну страницу (нажимаем ещё раз кнопку под номером 1 СКАНИРОВАНИЕ).
2) Сохраняем в PDF

В итоге получаем готовый многостраничный документ в виде файла в формате PDF.

Теперь данный файл можно отправлять по электронной почте.

РАСПОЗНАВАНИЕ ТЕКСТА

Задача: перевести бумажный документ в электронный вид (в компьютер)

По этапам:
1) Сканирование (кнопка 1 СКАНИРОВАНИЕ)

2) Распознавание (кнопка 2 РАСПОЗНАТЬ ВСЕ)

Распознавание нужно понимать как процесс перевода фотографии (картинки) в текст (буквы, цифры, знаки). Если Вы сфотографировали текстовую страницу, то после распознавания 99% текста с бумаги превратиться в текст электронный. Электронный текст уже можно на компьютере менять (редактировать) так, как Вам захочется.

3) Сохранение в текстовый редактор (кнопка 4 Сохранить)
Советую выбирать ПЕРЕДАТЬ ВСЕ СТРАНИЦЫ В-MICROSOFT WORD

Получаем

Хотелось бы указать на важные моменты при процедуре РАСПОЗНАВАНИЯ. Есть нюансы при работе.
Сразу после распознавания советую поглядеть на результат. Особенно на блоки, которые создает программа FineReader.

Это области выделенные в прямоугольные рамки. Рамки эти разного цвета. Если красного цвета-то этот блок распознался как КАРТИНКА. Если черного цвета - то ТЕКСТ. Блоки бывают разного типа. Тип блока можно узнать щелкнув на блоке ПРАВОЙ клавишей мыши и выбрав ИЗМЕНИТЬ ТИП БЛОКА.

Маленькая хитрость: можно выделить произвольную область и пометить любым типом блок. Например выделим ту часть текста, которая плохо распознается, при помощи левой клавиши мыши (нажимает, удерживаем и тянем, рамка меняет размер).

В итоге документ в Word-е будет иметь блок текста и блок картинка. Блок картинка будет иметь абсолютно неизменный вид. Данный способ я использую при сохранении печатей, нестандартных шрифтов, картинок, фотографий.

ЗЫ: Знания и умения работать с PDF, сканировать и распознавать документы очень часто выручают в офисной работе. Знание - экономит Ваше время!

Хотя авансы, выданные искусственному интеллекту (ИИ) за последние 50 лет, ни на йоту не приблизили «умные» машины к когнитивным возможностям человека, полностью отрицать успехи в данном направлении было бы несправедливо. Наиболее очевидный и яркий пример - шахматы (не говоря уже о более простых играх). Компьютер пока не может имитировать наше мышление, но он вполне способен компенсировать данный пробел большим объемом специализированной памяти и скоростью перебора. Владимир Крамник охарактеризовал игру победившей его в 2006 г. программы Deep Fritz как «нечеловеческую» в том смысле, что она зачастую противоречила устоявшимся (человеческим) правилам стратегии и тактики.

А чуть более года назад очередное детище IBM, в свое время положившей начало триумфальным шахматным победам компьютеров (знаменитый Deep Blue), под названием Watson совершило новый прорыв, с большим отрывом победив сразу двух чемпионов популярной американской викторины Jeopardy. Показательно, однако, что хотя Watson самостоятельно озвучивал ответы, вопросы ему все же передавались в текстовом виде. Это говорит о том, что успехи во многих сферах приложения ИИ - распознавании речи и образов, машинном переводе - достаточно скромны, хотя это и не мешает нам уже сегодня применять их на практике. Наибольшие же успехи, пожалуй, демонстрируют системы оптического распознавания символов (OCR, Optical Character Recognition), с которыми наверняка так или иначе знакомы почти все пользователи ПК. Тем более, что российские разработки в данной области занимают достойное место в мире - я имею в виду ABBYY FineReader.

Немного истории

Текущая версия ABBYY FineReader имеет номер 11, т. е. приложение прошло достаточно долгий путь развития, и даже история этого процесса представляет определенный интерес. Не претендуя на исчерпывающую летопись, приведу лишь основные вехи за последнее десятилетие, в течение которого я более-менее следил за FineReader:

Естественно, за это же время в FineReader расширялась поддержка форматов документов, совершенствовались встроенные инструменты и интерфейс, улучшалось воссоздание структуры оригиналов и т. п. Однако выделенные моменты непосредственно связаны с технологиями OCR и неплохо демонстрируют скачкообразный процесс развития, характерный для сложных наукоемких систем, когда после очередного «прорыва» следует некоторый период «затишья», необходимый для совершенствования новых алгоритмов. Они-то и представляют главную ценность любой OCR-программы, и поэтому сколько-нибудь подробная информация о них крайне редко доходит до пользователей. Однако компания ABBYY любезно согласилась приоткрыть завесу тайны, и сегодня мы имеем возможность заглянуть в святая святых FineReader.

Базовые принципы

Итак, поскольку OCR относится к области ИИ, вполне логично, что разработчики стремятся хоть в какой-то степени имитировать деятельность нашего мозга. Конечно, устройство нашей зрительной системы невероятно сложно, но базовые «крупноблочные» принципы ее функционирования достаточно изучены, обычно их выделяют три:

1. Целостность (integrity) - объект рассматривается как совокупность своих частей и (для зрительных образов) пространственных отношений между ними. В свою очередь и части получают толкования только в составе всего объекта. Этот принцип помогает строить и уточнять гипотезы, быстро отсекая маловероятные.
2. Целенаправленность (purposefulness) - поскольку любая интерпретация данных преследует определенную цель, то и распознавание представляет собой процесс выдвижения гипотез об объекте и целенаправленной их проверки. Система, действующая в соответствии с этим принципом, будет не только экономнее расходовать вычислительные мощности, но и реже ошибаться.
3. Адаптивность (adaptability) - система сохраняет накопленную в процессе работы информацию и использует ее повторно, т. е. самообучается. Этот принцип позволяет создавать и накапливать новые знания и избегать повторного решения одних и тех же задач.

FineReader - единственная в мире OCR-система, которая действует в соответствии с вышеописанными принципами на всех этапах обработки документа. Соответствующая технология носит название IPA - по первым буквам английских терминов. К примеру, согласно принципу целостности, фрагмент изображения будет интерпретироваться как символ, только если в нем присутствуют все структурные части подобных объектов, причем находящиеся в определенных взаимоотношениях. Это помогает заменить перебор большого числа эталонов (в поисках более-менее подходящего) целенаправленной проверкой разумного количества гипотез, причем опираясь на накопленные ранее сведения о возможных начертаниях символа в распознаваемом документе.

Однако принципы IPA применяются при анализе не только фрагментов, соответствующих (предположительно) отдельным символам, но и всего исходного изображения страницы. Большинство OCR-систем основываются на распознавании иерархической структуры документа, т. е. страница разбивается на основные структурные элементы, такие как таблицы, изображения, блоки текста, которые, в свою очередь, разделяются на другие характерные объекты - ячейки, абзацы - и так далее, вплоть до отдельных символов.

Такой анализ может проводиться двумя основными способами: сверху-вниз, т. е. от составных элементов к отдельным символам, или, наоборот, снизу-вверх. Чаще всего применяется один из них, но в ABBYY разработали специальный алгоритм MDA (multilevel document analysis, многоуровневый анализ документа), который сочетает оба. Вкратце он выглядит следующим образом: структура страницы анализируется методом сверху-вниз, а воссоздание электронного документа по окончании распознавания происходит снизу-вверх, однако на всех уровнях дополнительно действует механизм обратной связи. В результате резко снижается вероятность грубых ошибок, связанных с неверным распознаванием высокоуровневых объектов.

ADRT

Исторически OCR-системы развивались от распознавания отдельных символов. Эта задача и до сих пор является важнейшей и самой трудной, именно с ней связаны наиболее сложные алгоритмы. Однако вскоре стало понятно, что в ее решении может помочь более высокоуровневая информация (к примеру, о языке документа и правильности написания распознанных слов) - так появились контекстная и словарная проверки. Затем стремление сохранять форматирование и воссоздавать физическую структуру (т. е. взаимное расположение различных объектов) документа привело к необходимости подробного анализа целой страницы. Понятно, что это также заметно влияет на общее качество распознавания, поскольку помогает корректно обрабатывать многоколоночную верстку, таблицы и другие приемы «нелинейного» расположения текста.

Большинство современных OCR действуют именно на этих трех уровнях - символов, слов, страниц, - практикуя, как уже было сказано, подходы сверху-вниз или снизу-вверх. Однако ABBYY, в соответствии с принципами IPA, ввела в FineReader еще один уровень - всего многостраничного документа. Прежде всего это понадобилось для корректного воспроизведения логической структуры, которая в современных документах становится все сложнее. Но есть и дополнительные бонусы: повышение точности и ускорение обработки повторяющихся объектов, более корректная идентификация (а значит, и распознавание) «перетекающих» со страницы на страницу объектов.

Именно для этого и была разработана ADRT (Adaptive Document Recognition Technology) - технология анализа и синтеза документа на логическом уровне. В конечном итоге она помогает сделать результат работы FineReader максимально похожим на оригинал. Для этого анализируется изображение всего документа, а распознанные слова объединяются в группы (кластеры) в зависимости от начертания, окружения и местоположения на странице. Таким образом программа как бы видит «логику» разметки документа и в дальнейшем может унифицировать оформление результата.

Благодаря ADRT, FineReader, начиная с версии 9.0, научился обнаруживать, распознавать и воспроизводить следующие структурные части и элементы форматирования документа:

• основной текст;
• верхние и нижние колонтитулы;
• номера страниц;
• заголовки одного уровня;
• оглавление;
• текстовые вставки;
• подписи к рисункам;
• таблицы;
• сноски;
• зоны подписи/печати;
• шрифты и стили.

Процесс распознавания

В соответствии с алгоритмом MDA, собственно распознавание начинается сверху-вниз, с уровня страницы. Понятно, что чем больше неверных решений будет сделано на ранних этапах этого процесса, тем больше будет на следующих. Именно поэтому точность распознавания так сильно зависит от качества оригиналов, но и алгоритмы их предварительной обработки могут иметь существенное значение. Так, по мере роста популярности цветных документов в FineReader появилась процедура адаптивной бинаризации (adaptive binarization, AB ). Если отсканировать сразу в черно-белом режиме документ, где присутствуют водяные знаки либо текст расположен на текстурной или цветной подложке, то на изображении неизменно появится «мусор», который затем будет довольно сложно отделить от «полезного» изображения (т. к. исходная информация о нем уже потеряна). Именно поэтому FineReader предпочитает работать с цветными или полутоновыми изображениями, самостоятельно преобразуя их в черно-белые (этот процесс и называется бинаризацией). Но и это не всё. Поскольку цвета текста и фона могут различаться в пределах страницы и даже отдельных строк, AB выделяет слова с более-менее одинаковыми характеристиками и подбирает для каждого оптимальные с точки зрения качества распознавания параметры бинаризации. Именно в этом и состоит адаптивность алгоритма, который, таким образом, является примером использования обратной связи в MDA. Понятно, что эффективность AB сильно зависит от оформления исходных документов - на тестовой базе ABBYY этот алгоритм обеспечил повышение точности распознавания на 14,5%.

Но наиболее интересное, конечно, начинается, когда процесс распознавания опускается на самые нижние уровни. Так называемая процедура линейного деления разбивает строки на слова, а слова на отдельные буквы; далее, в соответствии с принципом IPA, формирует набор гипотез (т. е. возможных вариантов того, что́ это за символ, на какие символы разбито слово и т. д.) и, снабдив каждую оценкой вероятности, передает на вход механизма распознавания символов. Последний состоит из ряда так называемых классификаторов , каждый из которых также формирует ряд гипотез, ранжированных по предполагаемой степени вероятности. Важнейшей характеристикой любого классификатора является среднее положение правильной гипотезы. Понятно, что чем выше она находится, тем меньше работы для последующих алгоритмов - к примеру, словарной проверки. Но для достаточно отлаженных классификаторов чаще всего оценивают такие характеристики, как точность распознавания по первым трем гипотезам или только по первой - т. е., грубо говоря, способность угадать верный ответ с трех или с одной попытки. ABBYY в своих системах применяет следующие типы классификаторов: растровый, признаковый, признаковый дифференциальный, контурный, структурный и структурный дифференциальный - которые сгруппированы на двух логических уровнях.

Принцип действия РК , или растрового классификатора, основан на попиксельном сравнении изображения символа с эталонами. Последние формируются в результате усреднения изображений из обучающей выборки и приводятся к некой стандартной форме; соответственно, для распознаваемого изображения также предварительно нормализуются размер, толщина элементов, наклон. Этот классификатор отличается простотой реализации, скоростью работы и устойчивостью к дефектам изображений, но обеспечивает сравнительно низкую точность и именно поэтому используется на первом этапе - для быстрого порождения списка гипотез.

Признаковый классификатор (ПК ), как и следует из его названия, основывается на наличии в изображении признаков того или иного символа. Если всего таких признаков N, то каждую гипотезу можно представить точкой в N-мерном пространстве; соответственно, точность гипотезы будет оцениваться расстоянием от нее до точки, соответствующей эталону (который также нарабатывается на обучающей выборке). Понятно, что типы и количество признаков в значительной степени определяют качество распознавания, поэтому обычно их достаточно много. Этот классификатор также сравнительно быстр и прост, но не слишком устойчив к различным дефектам изображения. Кроме того, ПК оперирует не исходным изображением, а некой моделью, абстракцией, т. е. не учитывает часть информации: скажем, сам факт наличия каких-то важных элементов ничего не говорит об их взаимном расположении. По этой причине ПК используется не вместо, а вместе с РК.

Контурный классификатор (КК ) представляет собой частный случай ПК и отличается тем, что анализирует контуры предполагаемого символа, выделенные из исходного изображения. В общем случае его точность ниже, чем у полновесного ПК.

Признаковый дифференциальный классификатор (ПДК ) также похож на ПК, однако используется исключительно для различения похожих друг на друга объектов, таких как «m» и «rn». Соответственно, он анализирует только те области, где скрываются отличия, а на вход ему подаются не только исходные изображения, но и гипотезы, сформированные на ранних стадиях распознавания. Принцип его работы, однако, несколько отличается от ПК. На этапе обучения в N-мерном пространстве формируются два «облака» (групп точек) возможных значений для каждого из двух вариантов, затем строится гиперплоскость, отделяющая «облака» друг от друга и примерно равноудаленная от них. Результат распознавания зависит от того, в какое полупространство попадает точка, соответствующая исходному изображению.

Сам по себе ПДК не выдвигает гипотез, а лишь уточняет имеющиеся (список которых в общем случае сортируется пузырьковым методом), так что прямая оценка его эффективности не проводится, а косвенно ее приравнивают к характеристикам всего первого уровня OCR-распознавания. Однако понятно, что она зависит от корректности подобранных признаков и представительности выборки эталонов, обеспечение чего является достаточно трудоемкой задачей.

Структурно-дифференциальный классификатор (СДК ) первоначально применялся для обработки рукописных текстов. Его задача состоит в различении таких похожих объектов, как «C» и «G». Таким образом, СДК основывается на признаках, характерных для каждой пары символов, процесс его обучения еще сложнее, чем у ПДК, а скорость работы ниже, чем у всех предыдущих классификаторов.

Структурный классификатор (СК ) является предметом гордости компании ABBYY, первоначально он был разработан для распознавания так называемого рукопечатного текста, т. е. когда человек пишет «печатными» буквами, но впоследствии был применен и для печатного. Он используется на завершающих этапах распознавания и вступает в действие достаточно редко, а именно, только в том случае, когда до него доходят как минимум две гипотезы с достаточно высокими вероятностями.

Качественные характеристики всех классификаторов собраны в следующую таблицу. Они, впрочем, позволяют лишь оценить эффективность алгоритмов друг относительно друга, т. к. не являются абсолютными, а получены на основе обработки конкретной тестовой выборки. Может создаться впечатление, что на последних этапах распознавания борьба идет буквально за доли процента, но на самом деле каждый классификатор вносит существенную лепту в повышение точности распознавания - так, к примеру, СК снижает количество ошибок на ощутимые 20%.

* оценка всего первого уровня OCR-алгоритма ABBYY
** оценка для всего алгоритма после добавления соответствующего классификатора

Любопытно, однако, что, несмотря на довольно высокую точность, алгоритм собственно распознавания не принимает окончательного решения. В соответствии с принципом MDA, гипотезы выдвигаются на каждом логическом уровне, и число их может расти в геометрической прогрессии. Соответственно, последовательная проверка всех гипотез вряд ли окажется эффективной, и потому в OCR-системах ABBYY применяется метод структурирования гипотез, т. е. отнесения их к тем или иным моделям. Последних существует пара десятков, вот только несколько их типов: словарное слово, несловарное слово, арабские цифры, римские цифры, URL, регулярное выражение - а в каждый может входить множество конкретных моделей (к примеру, слово на одном из известных языков, латиницей, кириллицей и т. д.).

Все финальные действия выполняются уже именно с гипотезами, построенными по моделям. К примеру, контекстная проверка определит язык документа и сразу же существенно понизит вероятность моделей с использованием неправильных алфавитов, а словарная компенсирует погрешности при неуверенном распознавании некоторых символов: так, слово «turn» присутствует в словаре английского языка - в отличие от «tum» (во всяком случае, оно отсутствует среди популярных). Хотя приоритет словаря выше, чем у любого классификатора, он не обязательно является последней инстанцией, и в общем случае не останавливает дальнейшие проверки: во-первых, как говорилось выше, имеется модель несловарного слова, во-вторых, специальная организация словарей позволяет с высокой долей вероятности предположить, может ли какое-то неизвестное слово относиться к тому или иному языку. Тем не менее, словарная проверка (и полнота словарей) оказывает существенное влияние на результат распознавания, и в тестах самой ABBYY сокращает количество ошибок практически вдвое.

Не только OCR

Печатные документы - далеко не единственные, представляющие интерес с точки зрения их оцифровки и автоматической обработки. Довольно часто приходится работать с формами, т. е. документами с предопределенными и фиксированными полями, которые заполняются вручную, но сравнительно аккуратно (так называемыми рукопечатными символами) - примером могут служить различные анкеты. Технология их обработки имеет отдельное название - ICR (intelligent character recognition) - и достаточно существенно отличается от OCR. Так, поскольку в данном случае задача состоит не в воссоздании всего документа, а в извлечении из него конкретных данных, то она распадается на две основные подзадачи: нахождение нужных полей и собственно распознавание их содержимого.

Это достаточно специфическая область, и ABBYY предлагает для нее совершенно отдельный программный продукт ABBYY FlexiCapture. Он предназначен для создания автоматизированных и полуавтоматизированных систем, предполагает настройку на конкретные типы документов, для которых создаются специальные шаблоны, умеет интеллектуально находить на страницах различные поля и верифицировать данные в них и т. д. Однако в самой основе лежат алгоритмы распознавания символов, аналогичные тем, что применяются в FineReader, да и общая схема весьма похожа:

Впрочем, важное отличие все же имеется: структурный классификатор является обязательным участником процесса - это связано со спецификой рукопечатных символов. Кроме того, ICR предполагает большое число специфических дополнительных проверок: например, не является ли символ зачеркнутым, или действительно ли распознанные символы формируют дату.