coherence-ua — оцінка когерентності тексту

coherence-ua — це програмний пакет Python для оцінки когерентності україномовних текстів, оснований на моделі нейронної мережі (архітектура Transformer). Навчання моделі виконувалося на множині україномовних новин. Вхідними даними моделі є текст (рядок). Модель реалізує наступні методи:

  • get_prediction_series — оцінка вихідних ймовірностей для кожної групи тексту. Під терміном "група" мається на увазі набір речень тексту (по 3 речення в кожному наборі) з одинарним зсувом. Наприклад, <s1, s2, s3>, <s2, s3, s4>, <s3, s4, s5>, де <si> відповідає окремому реченню тексту.
  • evaluate_coherence_as_product — оцінка когерентності тексту як добутку вихідних ймовірностей груп.
  • evaluate_coherence_using_threshold — розрахунок когерентності тексту як відношення кількості когерентних груп до їх загальної кількості відповідно до встановленого порогового значення.

Програмний пакет Python створений Артемом Крамовим