Анотування тексту для машинного навчання

Незважаючи на масштабний перехід до цифрових технологій, частина найбільш складних даних як і раніше зберігається у вигляді тексту в статтях або офіційних документах. В умовах достатку публічно доступної інформації виникають труднощі з управлінням неструктурованими сирими даними та їх перетворення на зрозумілий для машин вигляд. З текстом це зробити складніше, ніж із зображеннями та відео. Візьмемо для прикладу просте речення: «They nailed it!». Люди б зрозуміли його як вираз схвалення, підбадьорення або визнання заслуг, проте традиційна модель обробки природної мови (Natural Language Processing, NLP), швидше за все, сприйме тільки поверхневе розуміння слова, упустивши сенс. А саме, вона б асоціювала слово «nail» з забиванням цвяхів молотком. Точні анотації тексту допомагають моделям краще розуміти дані, що передаються, що призводить до безпомилкової інтерпретації тексту.

Що таке анотування тексту?

Анотування тексту - це процес розмітки текстового документа або різних елементів його вмісту. Хоч би якими розумними були машини, людська мова іноді буває складно розшифрувати навіть самим людям. При анотуванні тексту складові речень або структури виділяються за певними критеріями для підготовки наборів даних до навчання моделі, яка зможе ефективно розпізнавати людську мову, кіннотацію або емоції, що стоять за словами.

Чому це важливо?

Навіщо ми взагалі анотуємо текст? Останні прориви у сфері NLP виявили наростаючу потребу в текстових даних для таких областей, як страхування, охорона здоров'я, банківська справа, телекомунікації і так далі. Анотування текстів необхідне, оскільки воно гарантує, що цільова зчитувальна система, в даному випадку - модель машинного навчання (ML), зможе сприймати надану інформацію і робити висновки на її основі. Нижче ми детальніше розглянемо конкретні способи використання, а поки вам слід пам'ятати те, що текстові дані все одно залишаються даними, майже як зображення або відео, і вони так само використовуються для навчання і тестування.

Як анотується текст: анотування текстів для NLP

Список завдань, які вчаться виконувати комп'ютери, стабільно зростає, проте деякі області залишаються недоторканими: NLP не є винятком. Без анотаторів-людей моделі не зрозуміють глибини, природності і сленгу, за допомогою яких люди керують і маніпулюють мовою. Тому компанії постійно користуються допомогою живих анотаторів для забезпечення достатньої якості даних для навчання. До сучасних ШІ-рішень на основі NLP належать голосові помічники, машинні перекладачі, розумні чат-боти, альтернативні пошукові движки, і список систем продовжує розширюватися паралельно з підвищенням гнучкості, що забезпечується типами анотування тексту.

Анотування тексту для розпізнавання тексту

Візуальне розпізнавання тексту (optical character recognition, OCR) - це вилучення текстових даних з відсканованих документів або зображень (PDF, TIFF, JPG) у розуміючі моделі даних. Системи OCR призначені для спрощення доступності інформації користувачам. Вони допомагають у веденні бізнесу і в робочих процесах, економлять час і ресурси, які були б необхідні для управління даними. Після перетворення оброблена OCR текстова інформація може більш зручно і просто використовуватися компаніями. Достоїнствами розпізнавання тексту є відсутність необхідності ручного введення даних, зниження помилок, підвищення продуктивності тощо.

Детальніше про OCR та області його застосування ми поговоримо в окремій статті. А поки головний висновок буде таким: OCR разом з NLP - дві основні області, що сильно залежать від анотування тексту.

Типи анотації тексту

Набори даних анотування тексту зазвичай показано як виділений або підкреслений текст, за краями якого залишено нотатки. У цьому пості ми розглянемо такі основні типи анотування тексту:

Анотування сутностей

Анотування сутностей служить для розмітки неструктурованих пропозицій важливою інформацією; часто воно застосовується в наборах даних для навчання чат-ботів. Цей тип анотації можна описати як знаходження, вилучення та розмітка сутностей у тексті одним з таких способів:

Розпізнавання іменованих сутностей (named entity recognition, NER): NER найкраще підходить для розмітки в тексті ключової інформації, будь то люди, географічні точки, об'єкти або персонажі, що часто зустрічаються. NER є фундаментальною основою NLP. Google Translate, Siri і Grammarly - прекрасні приклади NLP, що використовує NER для розуміння текстових даних.

Розмітка частин мовлення: як зрозуміло з назви, розмітка частин мовлення допомагає парсити речення і розпізнавати граматичні одиниці (існуючі, дієслова, прикметники, займенники, наречі, приводи, союзи тощо).

Розмітка ключових фраз: цей спосіб можна описати як пошук і розмітку ключових слів або фраз у текстових даних.

Хоча анотування сутностей є поєднанням розпізнавання сутностей, частин мови і ключових фраз, воно часто йде рука об руку з зіставленням сутностей, що допомагає моделям у більш глибокій контекстуалізації сутностей.

Порівняння сутностей

Якщо анотування сутностей допомагає знаходити і витягувати сутності з тексту, то зіставлення сутностей, часто зване зіставленням іменованих сутностей (named entity linking, NEL) - це процес з'єднання цих іменованих сутностей з більш великими наборами даних. Візьмемо для прикладу пропозицію «Summer loves ice cream». Завдання полягає в тому, щоб визначити, що Summer - це ім'я дівчини, а не пора року або будь-яка інша сутність, яку потенційно можна назвати Summer. Порівняння сутностей відрізняється від NER тим, що NER знаходить іменовану сутність у тексті, але не вказує, що це за сутність.

Класифікація тексту

Завдання анотування сутностей полягає в анотуванні конкретних слів або фраз, а завдання класифікації тексту - в анотуванні фрагмента тексту або рядків однією міткою. Прикладами та спеціалізованими типами класифікації тексту є класифікація документів, розбиття продуктів на категорії, анотування емоційного настрою тексту тощо.

Класифікація документів: присвоєння документу однієї мітки може бути корисним для інтуїтивного сортування великих об'ємів текстового вмісту.

Розбиття продуктів на категорії: процес сортування продуктів або сервісів на класи і категорії може поліпшити пошукові результати для електронної комерції, наприклад, оптимізувати SEO і підвищити видимість продукту на сторінці ранжирування.

Анотація емоційного настрою

Як зрозуміло з назви, анотування емоційного настрою полягає у визначенні емоцій або думок, що лежать в основі текстового блоку. Навіть нам, людям, іноді складно визначити значення отриманого повідомлення, якщо тексту властивий сарказм або інші види мовних маніпуляцій. Уявіть, що визначати його доводиться машині! За лаштунками цього явища знаходиться анотатор, який уважно аналізує текст, що вибирає мітку, найкраще описує емоцію, настрій або думку. Потім комп'ютери можуть засновувати свої висновки на схожих даних, щоб розрізняти позитивні, нейтральні або негативні відгуки, а також інші види текстової інформації. У світлі своєї застосовності аналіз емоційного настрою допомагає компаніям розробляти стратегії позиціонування свого продукту або послуги та їх подальшого відстеження.

Способи застосування анотації тексту

Способи застосування анотації тексту майже настільки ж повсюдні, як і способи застосування анотування зображень та відео. Майже кожна область, що містить текстові дані, може бути анотована і використана для навчання моделі:

Охорона здоров'я

Анотування тексту змінює правила гри в охороні здоров'я, де воно замінює копіткі ручні процеси високопродуктивними моделями. Зокрема, воно впливає на такі операції:

• Автоматичне вилучення даних зі звітів про клінічні випробування, а також класифікація медичних документів для поліпшення доступу та спрощення досліджень.
• Підвищення результатів лікування пацієнтів завдяки ретельно аналізованим медичним карткам і поліпшенню розпізнавання патологічних станів.
• Виявлення пацієнтів з медичною страховкою, розрахунок сум втрат та інша інформація страхувальника для прискореної обробки вимог.

Страхування

Як і в охороні здоров'я, в області страхування анотування тексту забезпечує безліч переваг.

• Оцінка ризиків і вилучення контекстуальних даних з договорів і форм.
• Розпізнавання сутностей, наприклад, залучених сторін і сум втрат для прискорення обробки вимог.
• Виявлення шахрайських вимог та моніторинг документів і форм для виявлення сумнівних вимог.

Банківська справа

Підвищення персоналізації, поліпшення автоматизації, зниження помилок і адекватне використання ресурсів - все це стає можливим завдяки моделі, здатній виконувати наступні завдання:

• Виявлення набоїв шахрайства та відмивання грошей.
• Спрощення робочих процесів завдяки вилученню даних з договорів та управлінню ними.
• Витяг кредитних ставок, рейтингів кредитоспроможності або інших атрибутів для моніторингу відповідності.

Телекомунікації

Анотований текст автоматизує людську працю в таких областях:

• Оптимізація продуктивності мереж і точне прогнозування проблем.
• Автоматизовані відповіді на запити клієнтів, у тому числі через чат та електронну пошту.
• Детальний аналіз мережевих взаємодій.
• Розуміння настрою та емоцій клієнта для поліпшення якості підтримки.
• Розпізнавання зловмисних дій.
• Персоналізована реклама і створення продуктів на підставі аналізу поведінки клієнтів.

Насамкінець

Анотування тексту продовжує залишатися бажаною метою в більшості складних проектів анотування. В умовах різноманітності типів і нових способів застосування анотування тексту надає моделям здатність читати, усвідомлювати і реагувати на інформацію подібно до людини.