- Рубрики
- Штучний інтелект
- Технології
Запускаємо перший національний рейтинг ШІ-моделей за рівнем володіння українською мовою
- Автори
- Прес-офіс Міністерства
- Дата та час публікації:
- Час читання:
- 3 хв
Чи траплялося вам отримувати від штучного інтелекту відповіді з російськими кальками, перекрученими відмінками чи навіть фейками про Україну? До сьогодні розробники обирали нейромережі наосліп, просто довіряючи маркетинговим презентаціям глобальних корпорацій. Щоб змінити це, ми запускаємо Ukrainian LLM Leaderboard — національний рейтинг, який об’єктивно вимірює, наскільки якісно та чи інша модель насправді володіє українською мовою.
Центр компетенцій WINWIN AI при Мінцифрі разом з Українським католицьким університетом (УКУ) та ініціативою lang-uk створив відкриту платформу. Вона оцінює здатність великих мовних моделей працювати з різними завданнями українською.
Об’єктивні дані замість маркетингових обіцянок
Штучний інтелект уже працює в десятках щоденних сервісів: від державних застосунків до банкінгу. Раніше світові рейтинги тестували ШІ переважно англійською, а українську перевіряли через машинний переклад, приховуючи реальні помилки. Тепер лідерборд замінює сліпу віру на точні вимірювання якості. Держава отримує надійну базу для вибору технологічних рішень, бізнес об’єктивно оцінює рентабельність інтеграцій, а дослідники мають єдину систему координат.
Після появи великих мовних моделей було незрозуміло, як добре вони працюють для української мови: які їхні сильні та слабкі сторони, для яких завдань які моделі краще підходять, де досі є прогалини в якості роботи з українською. Метою створення українського лідерборду було дати відповідь на ці питання, зібравши наявні бенчмарки від спільноти українського NLP та створивши нові. Сподіваюся наша ініціатива допоможе як бізнесу у виборі найкращих моделей, так і дослідникам у їхній роботі
Як тестують нейромережі
Експерти перевіряють алгоритми на завданнях, які максимально відтворюють реальні умови. ШІ повинен:
- перекладати, переказувати та стисло викладати великі тексти;
- шукати відповіді в документах та розв’язувати логічні задачі;
- складати тести зі шкільної програми на рівні ЗНО;
- виконувати математичні обчислення та складні інструкції.
Усі результати, код і дані ми відкрили для громадськості на платформі HuggingFace. Кожен користувач може вільно порівнювати моделі та перевіряти методологію.
Синергія науки та держави
Правила, за якими рейтинг оцінює штучний інтелект, розробили експерти з Українського католицького університету та спільноти lang-uk (Юрій Панів і Дмитро Чаплінський). Ця команда понад 10 років учить нейромережі розуміти українську мову. Вони збирають масиви текстів та створюють інструменти, з якими потім працюють розробники по всій країні. Підхід до тестування абсолютно надійний: його вже успішно застосували, коли навчали українську ШІ-модель Lapa LLM, та презентували на міжнародних наукових конференціях.
Неможливо керувати процесами, які ти не вимірюєш. Ми вбудовуємо штучний інтелект у сервіси для мільйонів людей — і маємо ухвалювати рішення виключно на основі доказів, а не обіцянок. Лідерборд робить якість української мови в моделях публічним і доведеним фактом
Що далі
Команда планує постійно розширювати платформу. Згодом ми додамо перевірку роботи із зображеннями, оцінку етичності та аналіз вартості використання ШІ українською. Окремий фокус спрямуємо на потреби держсектору: як моделі опрацьовують адміністративні процедури, нормативні тексти та чи безпечно вони працюють із персональними даними.
Переглядайте рейтинг та тестуйте моделі за посиланням.
WINWIN AI Center of Excellence — це центр компетенцій при Мінцифрі, який відповідає за розбудову державної AI-інфраструктури та портфель AI-продуктів.