🎙️ Монгол хэлний Speech-to-Text модель — Сургалтын тайлан

📌 Товч агуулга

💡 Гол үр дүн: Whisper моделийг Монгол хэлэнд сургаснаар үгийн алдааны хувь (WER) 27.14% хүрсэн. Ердийн ерөнхий моделийн ~95%-аас 3 дахин сайжирсан.

Энэхүү тайлан нь Монгол хэлний автомат яриа таних (ASR) модель боловсруулах туршилтын явц, үр дүн, дараагийн алхмыг баримтжуулсан болно.

🎯 Зорилго

[ ] Монгол хэлний яриаг текст болгон хувиргах модель сургах
[ ] Бодит хэрэглээнд (хурал, хуралдаан) тохирох нарийвчлалд хүрэх
[ ] Засгийн газрын байгууллагуудад зориулсан шийдэл бэлтгэх
[ ] Урт хугацаанд WER 10%-руу буулгах суурь тавих

🔬 Туршилтын явц

Туршилт 1 — Тэгээс эхлэх (амжилтгүй)

Параметр Утга Суурь модель openai/whisper-medium Датасет Common Voice 24.0 Mongolian Сургалтын хугацаа ~10.2 цаг (RTX 3060) Epoch 2 Эцсийн WER 71.61%

⚠️ Сургамж: Ерөнхий олон хэлний моделоос Монгол хэлийг "тэгээс" сургах нь маш удаан, үр ашиг багатай. Loss 1.6–1.9 хооронд тэгшилж, gradient norm 8–11 байсан нь загвар тэмцэж байгааг харуулсан.

Туршилт 2 — Transfer learning (амжилттай) ✅

Параметр Утга Суурь модель Cafet/whisper-medium-mongolian Датасет Common Voice 24.0 Mongolian Сургалтын хугацаа ~10.25 цаг (RTX 3060) Epoch 2 Эцсийн WER 27.14%

✅ Гол ололт: Монгол хэлэнд аль хэдийн суралцсан моделоос эхэлснээр эхний epoch дотор л 27% хүрсэн. Gradient norm 1.1–1.8 байсан нь сургалт маш тогтвортой явснийг харуулна.

📊 Харьцуулалт

Туршилт 1 Туршилт 2 Суурь модель whisper-medium Cafet-mongolian Эцсийн WER 71.61% 27.14% Train loss ~1.65 ~0.48 Grad norm 8–11 1.1–1.8 Тогтвортой байдал Сул Маш сайн

💡 Дүгнэлт: Transfer learning буюу Монгол хэлэнд суралцсан моделоос эхлэх нь зөв стратеги болсон. Хоёр туршилт ижил цаг зарцуулсан ч үр дүн тэнгэр газар шиг ялгаатай.

🧱 Техникийн стек

Модель: OpenAI Whisper (medium, 769M параметр)
Суурь: Cafet/whisper-medium-mongolian
Датасет: onlysainaa/common-voice-scripted-speech-24.0-mongolian
Hardware: RTX 3060 12GB
Framework: HuggingFace Transformers, PEFT (LoRA)
Хэл: Python

🚧 Одоогийн хязгаарлалт

⚠️ WER 27% орчим plateau (тэгшилт) болсон. Шалтгаан:
Common Voice датасетын дотоод чанарын хязгаар
Cafet модель ижил төстэй датад аль хэдийн суралцсан
Зөвхөн уншсан яриа (scripted) — чөлөөт яриа байхгүй

🚀 Дараагийн алхам — Bootstrapping

Plateau-г давах цорын ганц зам нь шинэ, домэйн-тусгай дата. Үүний тулд:

Хурлын бичлэг (10+ цаг)
       ↓
Одоогийн модель (27% WER) → draft транскрипт
       ↓
Хүн засах (Label Studio + crowdsource)
       ↓
Цэвэр дата → дараагийн сургалт
       ↓
Сайжруулсан модель (зорилт: ~20%)

Хийх ажлууд

[ ] YouTube + өөрийн бичлэгээс 10+ цаг аудио цуглуулах
[ ] VAD-аар хэсэг болгох (5–20 сек)
[ ] Одоогийн моделээр draft транскрипт гаргах
[ ] Label Studio дээр гараар засах (crowdsource — шүдний эмнэлгийн бартер)
[ ] HuggingFace датасет болгож сургалтад нэмэх

🎯 Урт хугацааны зорилт

Үе шат Хийх зүйл Хүрэх WER

✅ Үе 1 Cafet fine-tune 27%

⏳ Үе 2 + хурлын дата (10ц) ~20%

🔜 Үе 3 + MnTTS2 / том дата ~16%

🎯 Үе 4 whisper-large-v3 + 100ц ~10%