Бібліотеки
Частковий Python-порт java SRX-сегментатора: правила поділу тексту на речення у форматі SRX.
coherence-ua — це програмний пакет Python для оцінки когерентності україномовних текстів, оснований на моделі нейронної мережі (архітектура Transformer). Навчання моделі виконувалося на множині україномовних новин. Вхідними даними моделі є текст (рядок). Модель реалізує наступні методи:
- get_prediction_series — оцінка вихідних ймовірностей для кожної групи тексту. Під терміном "група" мається на увазі набір речень тексту (по 3 речення в кожному наборі) з одинарним зсувом. Наприклад, <s1, s2, s3>, <s2, s3, s4>, <s3, s4, s5>, де <si> відповідає окремому реченню тексту.
- evaluate_coherence_as_product — оцінка когерентності тексту як добутку вихідних ймовірностей груп.
- evaluate_coherence_using_threshold — розрахунок когерентності тексту як відношення кількості когерентних груп до їх загальної кількості відповідно до встановленого порогового значення.
Програмний пакет Python створений Артемом Крамовим
Python-пакет для генерації міжнародної фонетичної транскрипції (IPA) українських слів.
noun-phrase-ua — це програмний пакет Python для екстракції іменних груп з україномовних текстів. Принцип роботи методу оснований на аналізу синтаксичного дерева залежності речень тексту. Вхідними даними методу моделі extract_entities є текст. Результат повертається у вигляді словника, що містить наступні ключі:
- tokens — список токенів тексту та їхніх властивостей.
- entities — список індексів токенів, що формують іменні групи.
Програмний пакет Python створений Артемом Крамовим
Проста та швидка Python-бібліотека для токенізації українських текстів: поділ на речення та слова.
Python-бібліотека, що автоматично розставляє наголоси в українських текстах.
Для створення першого українського відкритого корпуса з NER розміткою був написаний окремий додаток — Vulyk NER. Він базується на іншому відомому Open Source продукті — BRAT. Але завдяки тісної інтеграції з Вуликом, тепер можна розподіляти завдання між волонтерами та залучати до процесу розмітки будь-кого, хто має обліковий запис у популярних соцмережах.
Інструменти та моделі для фонемізації українських текстів і передбачення лексичних наголосів — препроцесинг для синтезу мовлення.
Вулик був створений для того щоб допомогти НГО Канцелярська Сотня та тисячам волонтерів розшифрувати десятки тисяч декларацій високопосадовців. Але завдяки його відкритій ліцензії та архітектурі майже будь яке завдання, для виконання котрого потрібна людина, може бути реалізовано як додаток до Вулика. Тому ми успішно використали Вулик для анотації іменованих сутностей у корпусі БрУК. Авторами Вулика є Дмитро Чаплинський, Дмитро Гамбаль та Володимир Гоцик.