論文の概要: MoLGE: Mixture of Language Group Experts for Efficient Scaling of Massively Multilingual Speech Recognition
- arxiv url: http://arxiv.org/abs/2607.24030v1
- Date: Mon, 27 Jul 2026 05:55:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.326077
- Title: MoLGE: Mixture of Language Group Experts for Efficient Scaling of Massively Multilingual Speech Recognition
- Title（参考訳）: MoLGE:多言語音声認識の効率的なスケーリングのための言語グループエキスパートの混合
- Abstract要約: MoLGEは、類似言語のクラスタに専用の専門家モジュールを割り当てる。
階層的なローランド適応 (LoRA) 戦略をS3Mアーキテクチャの非交叉音響および言語的コンポーネントに統合する。
その結果、MoLGEはトレーニング可能なパラメータを最小限に増やすことなく、多言語ベースラインを一貫して上回ることを示した。
- 参考スコア（独自算出の注目度）: 23.519328539637794
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Massively multilingual automatic speech recognition (ASR) models covering hundreds of languages must maintain robust performance across diverse linguistic and acoustic conditions. However, these models often encounter the curse of multilinguality, where model capacity is diluted across languages. To address this challenge, we propose Mixture of Language Group Experts (MoLGE), built upon speech self-supervised models (S3Ms). MoLGE assigns dedicated expert modules to clusters of similar languages, reducing the number of required submodules compared to conventional language-specific Mixture-of-Experts (MoE) schemes. It further integrates a hierarchical Low-Rank Adaptation (LoRA) strategy into the disentangled acoustic and linguistic components of the S3M architecture, enabling efficient modeling of language-specific characteristics while maintaining parameter efficiency. Further, we investigate the impact of language grouping strategies based on both linguistic and data-driven criteria on overall performance, providing an interpretable perspective on how language structure influences scalability in multilingual speech systems. In experiments, we evaluate MoLGE on a multilingual benchmark encompassing 495 languages. Results demonstrate that MoLGE consistently outperforms dense multilingual baselines with a minimal increase in trainable parameters. Notably, these language grouping strategies yield substantial improvements for both phonetic and orthographic aspects of ASR modeling. Our findings suggest that structured language specialization provides an effective pathway for massively scaling language coverage of multilingual ASR.
- Abstract（参考訳）: 数百の言語をカバーする多言語自動音声認識(ASR)モデルは、多様な言語および音響条件で頑健な性能を維持する必要がある。
しかし、これらのモデルはしばしば多言語性の呪いに遭遇し、そこではモデルの能力は言語間で希薄になる。
この課題に対処するために,音声自己教師モデル(S3Ms)に基づいて構築されたMixture of Language Group Experts (MoLGE)を提案する。
MoLGEは専門的なモジュールを類似言語のクラスタに割り当て、従来の言語固有のMixture-of-Experts(MoE)スキームと比較して必要なサブモジュールの数を減らす。
さらに、Lank Adaptation(LoRA)戦略をS3Mアーキテクチャのアンタングル化された音響および言語コンポーネントに統合し、パラメータ効率を維持しつつ、言語固有の特性の効率的なモデリングを可能にする。
さらに,言語構造が多言語音声システムにおけるスケーラビリティにどのように影響するかを解釈可能な視点として,言語的基準とデータ駆動基準の両方に基づく言語グループ化戦略が全体的な性能に与える影響について検討する。
実験では、495の言語を含む多言語ベンチマークでMoLGEを評価した。
その結果、MoLGEはトレーニング可能なパラメータを最小限に増やすことなく、多言語ベースラインを一貫して上回ることを示した。
特に、これらの言語グループ化戦略は、ASRモデリングの音韻的側面と正書法の両方において大幅な改善をもたらす。
本研究は,構造化言語専門化が多言語ASRの言語カバレッジを大規模に拡張するための有効な経路となることを示唆している。
関連論文リスト
- Leveraging Routing Dynamics in Mixture-of-Experts Models for Efficient Language Adaptation [50.731838216268706]
多言語コーパス上での英語中心のMoEモデルの継続事前学習における多言語ルーティングのダイナミクスについて検討する。
連続的な多言語事前学習は、初期層と中層に拡散し、言語に依存しないルーティングをもたらす。
最終MoE層における言語固有の専門家と共有専門家を更新するパラメータ効率適応戦略を提案する。
論文 参考訳（メタデータ） (2026-05-28T10:12:41Z) - Efficient Multilingual ASR Finetuning via LoRA Language Experts [59.27778147311189]
本稿では,WhisperをベースとしたLoRA言語エキスパートによる多言語ASRをカスタマイズするための効率的な微調整フレームワークを提案する。
LoRAエキスパート融合や知識蒸留により,本手法は従来の微調整法よりも目標言語での認識性能が向上する。
実験の結果,提案モデルでは,言語認識および言語認識のシナリオにおいて,約10%と15%の性能向上が得られた。
論文 参考訳（メタデータ） (2025-06-11T07:06:27Z) - High-Dimensional Interlingual Representations of Large Language Models [65.77317753001954]
大規模言語モデル(LLM)は、多言語データセットに基づいて訓練され、言語間構造の形成を示唆する。
資源レベル, 類型, 地理的地域によって異なる31の多様な言語を探索する。
多言語 LLM は非一貫性な言語間アライメントを示す。
論文 参考訳（メタデータ） (2025-03-14T10:39:27Z) - LUSIFER: Language Universal Space Integration for Enhanced Multilingual Embeddings with Large Language Models [89.13128402847943]
LUSIFERは,LLMをベースとした多言語タスクの埋め込みモデルに,多言語監視を必要とせずに適用可能なゼロショット方式である。
LUSIFERのアーキテクチャは多言語エンコーダを組み、言語ユニバーサル学習者として機能し、埋め込み固有のタスクに最適化されたLLMベースの埋め込みモデルと組み合わせている。
5つの主要な埋め込みタスク、123の多様なデータセット、14言語にわたるカバレッジを含む新しいベンチマークを導入する。
論文 参考訳（メタデータ） (2025-01-01T15:43:07Z) - Enhancing Multilingual ASR for Unseen Languages via Language Embedding Modeling [50.62091603179394]
最も先進的なASRモデルの1つであるWhisperは99の言語を効果的に扱う。
しかし、ウィスパーは未確認の言語と戦っているが、それらは事前訓練には含まれていない。
本研究では,これらの関係を利用して未知言語上でのASR性能を向上させる手法を提案する。
論文 参考訳（メタデータ） (2024-12-21T04:05:43Z) - Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
大規模言語モデル(LLM)における多言語機能向上のための新しいアプローチであるLensを提案する。
Lensは2つの部分空間で機能する: 言語に依存しない部分空間で、ターゲット言語と中心言語を一致させて強力な意味表現を継承する部分空間、言語固有の部分空間で、ターゲット言語と中心言語を分離して言語的特異性を保存する部分空間である。
レンズは、モデルの英語能力を維持しながら、多言語のパフォーマンスを著しく向上させ、既存の訓練後のアプローチと比べて計算コストの低い結果を得る。
論文 参考訳（メタデータ） (2024-10-06T08:51:30Z) - Towards Building an End-to-End Multilingual Automatic Lyrics Transcription Model [14.39119862985503]
利用可能なデータセットを用いた多言語ALTシステムの構築を目指している。
英語のALTに有効であることが証明されたアーキテクチャにヒントを得て,これらの手法を多言語シナリオに適用する。
単言語モデルと比較して,多言語モデルの性能を評価する。
論文 参考訳（メタデータ） (2024-06-25T15:02:32Z) - Efficient Compression of Multitask Multilingual Speech Models [0.0]
DistilWhisperは、マルチタスクとマルチ言語機能の利点を維持しながら、これらの言語におけるASRのパフォーマンスギャップを埋めることができる。
提案手法は, 言語専門家を用いた軽量モジュール型ASR微調整と, ささやかな大口径v2からの知識蒸留の2つの戦略を含む。
論文 参考訳（メタデータ） (2024-05-02T03:11:59Z) - Multilingual DistilWhisper: Efficient Distillation of Multi-task Speech
Models via Language-Specific Experts [14.999359332108767]
表現不足言語に対するASRの性能ギャップを埋めるため、DistilWhisperを提案する。
提案手法は, 言語専門家を用いた軽量モジュール型ASR微調整と, ささやかな大口径v2からの知識蒸留の2つの戦略を含む。
その結果,本手法は通常のファインチューニングやLoRAアダプタよりも効果的であることがわかった。
論文 参考訳（メタデータ） (2023-11-02T08:37:30Z) - Efficient Spoken Language Recognition via Multilabel Classification [53.662747523872305]
我々のモデルは,現在の最先端手法よりも桁違いに小さく,高速でありながら,競争力のある結果が得られることを示す。
我々のマルチラベル戦略は、マルチクラス分類よりも非ターゲット言語の方が堅牢である。
論文 参考訳（メタデータ） (2023-06-02T23:04:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。