Корпус сучасної української мови на 3,27 млрд токенів: новини, Вікіпедія, художня література, судові рішення та соцмережі, у кількох шарах обробки (речення, токени, леми).

Постійне посилання

Містить 229 текстів з українського браунівського корпусу на 217 381 токенів з 6 751 розмічених іменованих сутностей.

Опис даних

Корпус розмічених даних знаходиться в папці data/. Всього в корпусі:

• 229 текстів
• 217381 токенів
• 6751 сутностей NER:
  • ПЕРС - 4060
  • ЛОК - 1442
  • ОРГ - 649
  • РІЗН - 600

Первинним джерелом даних є відкритий браунівський корпус українських текстів. Для кожного обробленого тексту з корпусу наявні два файли:

• файл з розширенням tok.txt містить токенізовану версію тексту (токенізація зроблена за наступними правилами)
• файл з розширенням tok.ann містить NER-анотації до цього тексту у форматі Brat Standoff Format (кожний рядок файлу містить 3 записи, розділені табуляцією: номер анотації, початковий і кінцевий індекс в тексті — у даному випадку, токенізованому — через пробіл, текст сутності)

Анотація виконана двома анотаторами на кожний текст за наступними правилами, розбіжності в результатах виправлені третім анотатором.

Для тренування і валідації моделей рекомендовано використовувати Стандартне розбиття на DEV і TEST набори.

Ліцензія

Ці дані доступні для використання згідно умов ліцензії "Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License"

Постійне посилання

Ми назбирали та упорядкували значний (більше 6ГБ) обсяг текстів українських періодичних видань й продовжуємо розширювати наш архів. Наша мета — довести його розмір до мільярда слів.

Саме ці тексти ми використовуємо для обчислення наших Word Embeddings. На жаль, ліцензійні обмеження деяких видань не дозволяють нам публікувати ці тексти без змін.

Щоб надати публічний доступ до цього масиву даних ми зробили токенізацію усіх текстів на речення та слова, а потім перемішали речення у випадковому порядку. Таким чином, будь-хто зможе використати ці тексти для обчислення статистичних моделей що працюють на рівні речень. Ми також публікуємо лематизовану версію цих текстів окремим архівом. Для токенізації та лематизації текстів ми використовували пакет nlp-uk від Андрія Рисіна та ініціативи БРУК

В архіві зібрані речення з текстів наступних видань:

• Українська правда
• ТОВ "УНІАН"
• ГО «Громадське телебачення»
• ПрАТ «Телерадіокомпанія “Люкс”», "Zaxid.net"
• ООО «Кореспондент»
• Експрес
• «ZN.UA»
• ПП «Україна Молода»
• ПрАТ «Видавничий Дім «Високий Замок»
• Бровари - Маєш право знати
• Тиждень.ua

Скачати

До відома правовласників:

• Ми розповсюджуємо тексти у вигляді перемішаних речень, що унеможливлює відновлення повного тексту.
• Тексти розповсюджуються на умовах Fair Use (чесне використання) для потреб наукового та статистичного аналізу.
• Ми не є прибутковою організацією, та не отримуємо за наведені матеріали будь якої користі.
• Якщо у вас є зауваження до текстів, що ми виклали, будь ласка, напишіть нам на [email protected]

Постійне посилання

Завдяки допомозі Олександра Швеця ми отримали величезний (більше 9ГБ) корпус законів та нормативно-правових актів України. Ми зробили його токенізацію та лемматизацію, а також почали обчисленя Word Embedding моделей.

Скачати

Постійне посилання

Датасет звернень громадян до порталу Київської міської ради 1551.gov.ua.

Постійне посилання

Корпус текстів судових рішень українською мовою.

Постійне посилання

Обʼєднаний корпус українських текстів (UberText 2.0, Oscar, Wikipedia та інші) для тренування великих мовних моделей.

Постійне посилання