Ауызекі қазақ тілін қай сервис жақсы таниды?
Зерттеуші Тимур Сейдалин сөйлеуді мәтінге айналдыратын сервистердің ауызекі қазақ тілін қаншалықты дәл танитынын тексерді. Бұған қоғамда қазақша сөйлегенде орыс сөздерін араластырып, оларға қазақша қосымша жалғау жиі кездесетіні себеп болған. Зерттеу мұндай сөйлеуді барлық жүйе бірдей дұрыс тани алмайтынын көрсетті.
Астана, NEGE. Kaz-ASR Code-Switch Benchmark жобасы аясында бес жүйенің жұмысы салыстырылды. Олар – қазақ тіліне арнайы бейімделген Whisper, Yandex SpeechKit, Gemini 2.5 Flash, Whisper Large v3 және Google Cloud Speech-to-Text.
Зерттеуге жалпы ұзақтығы шамамен 3 минут 40 секунд болатын 31 қысқа аудиожазба алынған. Олардың қатарында қазақ тіліндегі сұхбаттардан, стендаптар мен видеоблогтардан алынған үзінділер бар.
Жазбаларда ауызекі сөйлеуде жиі кездесетін қысқарған сөздер, жалқы есімдер, орысша тіркестер және екі тіл араласқан сөздер кездескен. Мысалы, кейбір орыс сөздеріне қазақша қосымша жалғанған.
Ең жақсы нәтижені қазақ тіліне арнайы бейімделген Whisper көрсетті. Ол 31 аудиожазбаның барлығын есептегенде сөздердің орта есеппен 11,9%-ын қате таныған. Орысша сөздер араласпаған жазбаларда қателік деңгейі 8,4% болса, орысша сөздер кездесетін жазбаларда 18,2%-ға дейін өскен.
Екінші орында Yandex SpeechKit тұр. Ол барлық жазба бойынша сөздердің орта есеппен 17,1%-ын қате таныған. Орысша сөздердің болуы оның нәтижесіне айтарлықтай әсер етпеген: таза қазақша жазбаларда қателік деңгейі 16,8%, ал орысша сөздер араласқан жазбаларда 17,7% болған.
Gemini 2.5 Flash барлық жазба бойынша сөздердің орта есеппен 29,5%-ын қате таныған. Таза қазақша жазбаларда бұл көрсеткіш 25% болса, орысша сөздер араласқан жазбаларда 37,5%-ға жеткен.
Whisper Large v3 базалық нұсқасы барлық жазба бойынша сөздердің орта есеппен 42,5%-ын қате таныған. Орысша сөздер жоқ жазбаларда қателік деңгейі 39,8%, ал аралас сөйлеуде 47,5% болған.
Ең төмен көрсеткішті Google Cloud Speech-to-Text көрсетті. Ол барлық жазба бойынша сөздердің орта есеппен 64,9%-ын қате таныған. Таза қазақша жазбаларда қателік деңгейі 61,4% болса, орысша сөздер араласқан жазбаларда 71,2%-ға дейін өскен.
Осылайша, орысша сөздердің араласуы жүйелердің барлығы дерлік жиі қателесуіне әсер еткен.
Автор бұл нәтижелерді сервистердің түпкілікті бағасы деп қабылдауға болмайтынын ескертеді. Өйткені зерттеуге небәрі 31 аудиожазба ғана алынған.