ChatGPT учат понимать казахскую культуру и традиции для более точных ответов

Об этом рассказала руководитель совместного проекта Международного общества «Қазақ тілі» и OpenAI Анар Курманжанкызы на презентации.

По ее словам, сейчас уровня владения казахским языком системами искусственного интеллекта оценивает специально разработанная программа AI Evaluation Benchmark Suite.

«Система оценки тестирует большие языковые модели по таким направлениям, как понимание, грамматика, естественность казахской речи, использование пословиц, поговорок и устойчивых выражений, академический перевод, художественный перевод с казахского на английский язык, перевод детской литературы, безопасность и знание этнографии. Система оценки не была переведена с английского языка, а изначально разработана на казахском с учетом языковых и культурных особенностей казахского языка», — рассказала Курманжанкызы.

Для оценки знаний ИИ об истории, культуре и традициях казахского народа разработали отдельный этнографический тест.

«Разработан полноценный бенчмарк, включающий 500 вопросов. Он позволяет оценить знания больших языковых моделей об истории, традициях и культуре казахского народа. Модель GPT-5.6 Terra, прошедшая тестирование на этом бенчмарке, показала точность 35,92%. В дальнейшем планируется сделать этнографический бенчмарк доступным научному сообществу. Это позволит использовать его в качестве инструмента для оценки других языковых моделей», — рассказала Анар Курманжанкызы.