Метод аналізу когерентності україномовних текстів із використанням рекурентної нейронної мережі
DOI:
https://doi.org/10.34121/1028-9763-2019-4-9–16Ключові слова:
text coherence, distributed sentence representation, recurrent neural network, neurons with a feedback connection, Word2Vec model, когерентність тексту, розподілене представлення речень, рекурентна нейронна мережа, нейрони зі зворотним зв’язком, модель Word2VecАнотація
У роботі обґрунтовано актуальність вирішення задачі оцінки когерентності (цілісності) текстів та здійснено аналіз відповідних методів комп’ютерної лінгвістики. Автоматизована оцінка когерентності тексту відноситься до задач обробки природної мови, тому її варто розглядати як AI-повну задачу. Для здійснення оцінки когерентності тексту використовуються методи машинного навчання і комп’ютерної лінгвістики: метод опорних векторів, нейронні мережі різної архітектури тощо. Доцільним є використання нейронних мереж у зв’язку з відсутністю залежності від експертних знань. Варто зазначити необхідність урахування семантичної складової тексту. Семантичне формалізоване представлення одиниць тексту (слів чи речень) здійснюється за допомогою попередньо навчених моделей відповідно до предметної області інформації. Відповідні нейронні мережі варто проектувати за допомогою згорткових чи рекурентних шарів, які дозволяють здійснювати обробку вхідних даних нефіксованого розміру (слів та речень). Детально розглянуто принцип роботи методу розподіленого представлення речень із використанням рекурентної нейронної мережі. Перевагою застосування рекурентних шарів є наявність зворотного зв’язку у нейронах: вихідне значення з попереднього кроку потрапляє на вхід нейрона. Такий підхід відображає процес сприйняття тексту читачем, адже аналіз поточної інформації можливий за рахунок наявності попередньо отриманих знань. Створено рекурентну нейронну мережу та здійснено її навчання на множині україномовних наукових статей. Для покращення точності методу здійснено попередню обробку текстів статей, що містили некоректні послідовності символів у зв’язку з автоматизованою екстракцією їх вмісту з PDF-файлів. Проведено аналіз точності методу за допомогою експериментального вирішення задач розрізнення документів та вставки. Отримані результати можуть свідчити про можливість застосування методу на основі рекурентної нейронної мережі для оцінки когерентності україномовних текстів.Посилання
Barzilay R., Lapata M. Modeling local coherence: An entity-based approach. Computational Linguistics. 2008. Vol. 34, N 1. P. 1–34.
Feng V.W., Lin Z., Hirst G. The impact of deep hierarchical discourse structures in the evaluation of text coherence. Proc. of the 25th International Conference on Computational Linguistics (COLING 2014). 2014. P. 940–949.
Guinaudeau C., Strube M. Graph-based local coherence modeling. Proc. of the 51st Annual Meeting of the Association for Computational Linguistics. 2013. Vol. 1. P. 93–103.
Погорiлий С.Д. Програмне конструювання: підручник серії «Автоматизація наукових досліджень» / ред. академіка АПН України О.В. Третяка. Київ: ВПЦ, Київський університет, 2007. 438 с.
Погорілий С.Д., Крамов А.А. Метод розрахунку когерентності українського тексту. Реєстрація, зберігання і обробка даних. 2018. № 4. C. 64–75.
Cui B., Li Y., Zhang Y., Zhang Z. Text Coherence Analysis Based on Deep Neural Network. Proceedings of the 2017 ACM on Conference on Information and Knowledge Management (Singapore, 6–10 November 2017). Singapore, 2017. P. 2027–2030.
Li J., Hovy E. A model of coherence based on distributed sentence representation. Proc. of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP) (Doha, Qatar, 25–29 October 2014). Doha, Qatar, 2014. P. 2039–2048.
Хайкин С. Нейронные сети: полный курс. 2-е изд. Киев, 2016. 1104 с.
LanguageTool API NLP UK. URL: https://github.com/brown-uk/nlp_uk (дата звернення: 13.10.2019).
Моделі: lang-uk. URL: http://lang.org.ua/uk/models (дата звернення: 13.10.2019).
Pogorilyy S., Kramov A. Automated extraction of structured information from a variety of web pages. Proc. of the 11th International Conference of Programming UkrPROG 2018 (Kyiv, Ukraine, 22–24 May 2018). Kyiv, Ukraine, 2018. P. 149–158.
44
9Опубліковано
Номер
Розділ
Ліцензія
Авторське право (c) 2019 Математичні машини і системи
Ця робота ліцензується відповідно до ліцензії Creative Commons Attribution 4.0 International License.
