Прикладная GenAI-система для Data Science
LLM после
Whisper
Можно ли исправить казахскую расшифровку
и сохранить верно распознанные слова?
Алихан Амирханов
Концепция, прототип и измерение качества
Бүгін Алматыда
күн ашық.
Ответ проверяем по эталонной расшифровке.
Задача
Редактору нужны
точные субтитры
После распознавания редактор исправляет окончания, имена и пропуски.
LLM предлагает новую версию. Нужно понять, какие изменения можно принять.
Решение команды
Добавлять ли LLM
в обработку речи?
Сравним исходный текст и правку с одним эталоном.
Архитектура прототипа
От записи к проверяемой правке
Браузер
Файл или микрофон
WAV · 16 кГц · mono
Whisper
Казахская речь
→ черновик текста
LLM
Черновик текста
→ предложенная правка
Только исходная расшифровка
Сравнение обеих версий с эталоном
Идентификаторы моделей появятся после загрузки результатов.
Проверка гипотезы
Одинаковое аудио.
Две версии текста.
записей FLEURS
Казахский язык · test
Фиксированный набор до оценки
Одинаково приводим тексты к нижнему регистру и убираем пунктуацию.
Демо
Слушаем. Сравниваем.
Сохранённый результат доступен без связи с ASUS.
Прочитай дословно
Бүгін Алматыда күн ашық. Біз сағат үште кітапханада кездесеміз.Микрофон работает по HTTPS или на localhost. Запись до 30 секунд.
Введи код для нового запуска моделей.
Загружаем публичные примеры…
—
—
Результаты эксперимента
Загружаем измерения
Общий WER · меньше означает меньше ошибок
Изменение WER
—процентных пунктовРезультаты отобразятся после загрузки отчёта.
Разбор ошибки
Что модель может испортить
После прогона здесь появится пример изменения качества.
LLM видит только текст
Правдоподобная замена может расходиться со звуком.
Редактор принимает правку
Интерфейс показывает изменения и позволяет прослушать исходную запись.
FLEURS содержит читаемую речь. Разговор, шум и смена языка требуют отдельной проверки.
Вывод и границы применения
Решение — по результатам
одной и той же выборки
После реального прогона здесь появится вывод о пользе и риске правки.
Измерить время редактора и качество итоговых субтитров.