BERT моделі від Сергія Тютюнника
multi_cased_bert_base_uk.zip - multi cased base BERT модель дотренована на об'єднаному україномовному датасеті (SQuAD 2.0 і SDSJ 2017), з наступними параметрами (epochs: 5, learning rate: 5e-5, max sequence length: 180, batch size: 16). Для тренування використовувався скрипт, розроблений авторами моделі (https://github.com/google-research/bert). Тренування проводилось на RTX 2080 Ti (11GB). На тестовому датасеті squad-2.0-uk отримали результат 61.2% точних відповідей.
Посилання
multi_cased_bert_base_uk.zip