AI-моделі провалили українське ЗНО: тест ZNOVision по 13 предметах
ChatGPT та інші ШІ-моделі не склали українське ЗНО
Українські дослідники створили ZNOVision - перший багатоформатний тест для ШІ, який перевіряє знання з 13 предметів ЗНО українською мовою. Результати: жодна з моделей не подолала поріг у 70%.
Найкращий бал — 67,5% у Gemini Pro, GPT-4o набрав лише 47%.
Найбільше проблем було в питаннях із візуальними елементами. Моделі не впізнавали українські слова на зображеннях, плутали одиниці виміру, ігнорували частину умов.
Бізнес Інсайдер
Довідка
ZNOVision — Перший багатоформатний бенчмарк для тестування AI-моделей на знання з 13 предметів ЗНО українською мовою, включаючи питання з візуальними елементами.
Яку оцінку набрав ChatGPT на українському ЗНО?
GPT-4o набрав лише 47% у тесті ZNOVision — найбільше проблем з питаннями, що містять зображення та українські слова на них.
Яка AI-модель найкраще склала українське ЗНО?
Gemini Pro з результатом 67.5% — найвищий бал серед усіх протестованих моделей, але нижче порогу 70%.
Сподобалось? Це лише один пост. Більше думок про ШІ, технології й творчість — щодня в каналі.
Підписатися в Telegram