Қазақша × GenAIКазНУ · Теоретические основы ИИ · СРС 2

Прикладная GenAI-система для Data Science

LLM после
Whisper

Можно ли исправить казахскую расшифровку
и сохранить верно распознанные слова?

Алихан Амирханов
Концепция, прототип и измерение качества

Бүгін Алматыда
күн ашық.

Аудио→Whisper→LLM

Ответ проверяем по эталонной расшифровке.

Задача

Редактору нужны
точные субтитры

После распознавания редактор исправляет окончания, имена и пропуски.

LLM предлагает новую версию. Нужно понять, какие изменения можно принять.

Решение команды

Добавлять ли LLM
в обработку речи?

Сравним исходный текст и правку с одним эталоном.

Особое вниманиеИмена · числа · редкие слова

Архитектура прототипа

От записи к проверяемой правке

У зрителя

Браузер

Файл или микрофон
WAV · 16 кГц · mono

→
ASUS · Tailscale

Whisper

Казахская речь
→ черновик текста

→
ASUS · Tailscale

LLM

Черновик текста
→ предложенная правка

Вход LLM

Только исходная расшифровка

После ответа модели

Сравнение обеих версий с эталоном

Идентификаторы моделей появятся после загрузки результатов.

Проверка гипотезы

Одинаковое аудио.
Две версии текста.

—

записей FLEURS

Казахский язык · test
Фиксированный набор до оценки

Доля ошибок в словах
WER=замены + пропуски + вставкислова эталона

Одинаково приводим тексты к нижнему регистру и убираем пунктуацию.

До → послеОбщий WER
Лучше / так же / хужеКоличество записей
Было верно → стало хужеПовреждённые расшифровки

Демо

Слушаем. Сравниваем.

Сохранённый результат доступен без связи с ASUS.

Загружаем публичные примеры…

Выбери запись и покажи результат
Whisper

—

После LLM

—

Результаты эксперимента

Загружаем измерения

Whisper
—
Whisper + LLM
—

Общий WER · меньше означает меньше ошибок

Изменение WER

—процентных пунктов
—стало лучше
—качество сохранилось
—стало хуже
—исходно верных испорчено

Результаты отобразятся после загрузки отчёта.

Разбор ошибки

Что модель может испортить

После прогона здесь появится пример изменения качества.

LLM видит только текст

Правдоподобная замена может расходиться со звуком.

Редактор принимает правку

Интерфейс показывает изменения и позволяет прослушать исходную запись.

FLEURS содержит читаемую речь. Разговор, шум и смена языка требуют отдельной проверки.

Вывод и границы применения

Решение — по результатам
одной и той же выборки

После реального прогона здесь появится вывод о пользе и риске правки.

Следующий этап

Измерить время редактора и качество итоговых субтитров.