論文の概要: From Monolingual to Multilingual: Evaluating Mamba for ASR in South African Languages

• arxiv url: http://arxiv.org/abs/2607.01502v1
• Date: Wed, 01 Jul 2026 22:01:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.603906
• Title: From Monolingual to Multilingual: Evaluating Mamba for ASR in South African Languages
• Title（参考訳）: 単言語から多言語へ:南アフリカ語におけるASRのためのマンバの評価
• Abstract要約: 南アフリカの7言語を対象とした自動音声認識のためのマンバの評価を行った。 Mamba は Conformer と同様の認識精度を実現し,計算リソースの削減とトレーニングの高速化を実現している。 多言語トレーニングは単言語トレーニングよりもパフォーマンスを継続的に改善する。 しかし、明示的な言語情報を追加することでドメイン内のパフォーマンスは向上せず、コーパス間の堅牢性も向上する。
• 参考スコア（独自算出の注目度）: 25.739848913394184
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent advances in automatic speech recognition (ASR) have explored different sequence models, including Conformer-based models and newer state space models such as Mamba. Although prior work has evaluated these architectures in multiple languages, their effectiveness in African languages remains underexplored. In this work, we evaluate Mamba for ASR on seven South African languages. In monolingual experiments, each model is trained on 50 hours of speech per language, and we compare Mamba to a Conformer baseline of similar parameter scale. Mamba achieves similar recognition accuracy to Conformer while using fewer computational resources and training faster. We further evaluate generalization in this setting and find that both models struggle to generalize to speech that is much longer than what they were trained on. We then study multilingual ASR using Mamba models, where the baseline is pooling all languages together. On top of this, we tested three extensions: training with language-family information by adding both language and language-family embeddings as biases to the downsampled acoustic representations, and multitask learning with a CTC ASR objective and a language identification (LID) head. We find that multilingual training consistently improves performance over monolingual training. However, adding explicit language information does not improve in-domain performance but does improve cross-corpus robustness. We conducted ablation studies in low-resource multilingual settings using 5-hour and 10-hour per-language training data, where we observed gains from using language embeddings and further demonstrated that removing or altering them hurt model performance. Lastly, we analysed these embeddings and find that they do not capture linguistic similarity in a typological sense, but instead act as task-specific control vectors.
• Abstract（参考訳）: 自動音声認識(ASR)の最近の進歩は、コンフォーマーベースのモデルや、Mambaのような新しい状態空間モデルなど、様々なシーケンスモデルを模索している。 以前の研究は、これらのアーキテクチャを複数の言語で評価してきたが、アフリカの言語におけるそれらの効果は未解明のままである。 本研究では,南アフリカの7言語を対象に,ASRにおけるMambaの評価を行った。 単言語実験では、各モデルは言語毎50時間で訓練され、同様のパラメータスケールのコンフォーマーベースラインと比較する。 Mamba は Conformer と同様の認識精度を実現し,計算リソースの削減とトレーニングの高速化を実現している。 この設定における一般化をさらに評価し、両モデルが訓練対象よりもはるかに長い音声への一般化に苦慮していることを見出した。 次に、ベースラインが全ての言語をまとめているマンバモデルを用いて多言語ASRを学習する。 さらに, 言語情報と言語情報を用いた学習を, 音声表現のバイアスとして言語情報と言語情報埋め込みを併用すること, CTC ASR目標と言語識別(LID)ヘッダを用いたマルチタスク学習の3つの拡張実験を行った。 多言語トレーニングは単言語トレーニングよりもパフォーマンスを継続的に改善する。 しかし、明示的な言語情報を追加することでドメイン内のパフォーマンスは向上せず、コーパス間の堅牢性も向上する。 5時間・10時間毎の学習データを用いて低リソース多言語環境におけるアブレーション実験を行い,言語埋め込みを用いた場合の利得を観察し,モデルの性能を損なうことを実証した。 最後に,これらの埋め込みを分析し,類型的意味において言語的類似性を捉えるのではなく,タスク固有の制御ベクトルとして機能することを発見した。

関連論文リスト

• Adapting Language Models to Indonesian Local Languages: An Empirical Study of Language Transferability on Zero-Shot Settings [1.1556013985948772]
  インドネシアの低リソース言語への事前学習言語モデルの転送性を評価する。 私たちはターゲット言語を、見る、見る、見る、見る、見えない3つのカテゴリに分類します。 マルチ言語モデルは、目に見える言語で、部分的に見られる言語では適度に、目に見えない言語では劣る。 対象言語にラベル付きデータを必要としないため,MAD-Xは性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2025-07-02T12:17:55Z)
• mFollowIR: a Multilingual Benchmark for Instruction Following in Retrieval [61.17793165194077]
  本稿では,検索モデルにおける命令追従能力のベンチマークであるmFollowIRを紹介する。 本稿では,多言語 (XX-XX) と多言語 (En-XX) のパフォーマンスについて述べる。 英語をベースとした学習者による多言語間性能は高いが,多言語設定では顕著な性能低下がみられた。
  論文  参考訳（メタデータ） (2025-01-31T16:24:46Z)
• Learning Cross-lingual Visual Speech Representations [108.68531445641769]
  言語横断的な自己監督型視覚表現学習は、ここ数年、研究トピックとして成長している。 我々は最近提案したRAVEn(Raw Audio-Visual Speechs)フレームワークを用いて,未ラベルデータを用いた音声-視覚モデルの事前学習を行う。 1)データ量が多いマルチ言語モデルはモノリンガルモデルよりも優れているが、データの量を維持すると、モノリンガルモデルの性能が向上する傾向にある。
  論文  参考訳（メタデータ） (2023-03-14T17:05:08Z)
• AfroLM: A Self-Active Learning-based Multilingual Pretrained Language Model for 23 African Languages [0.021987601456703476]
  AfroLMは、23のアフリカ語でスクラッチから事前訓練された多言語言語モデルである。 AfroLMは、既存のベースラインよりも小さいデータセット14xで事前訓練される。 様々な領域にまたがってうまく一般化することができる。
  論文  参考訳（メタデータ） (2022-11-07T02:15:25Z)
• Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models [73.11488464916668]
  本研究では,多言語事前学習プロセスのダイナミクスについて検討する。 我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。 分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T03:35:00Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• CLSRIL-23: Cross Lingual Speech Representations for Indic Languages [0.0]
  CLSRIL-23は、23のIndic言語にまたがる生音声から言語間の音声表現を学習する自己教師付き学習ベースモデルである。 wav2vec 2.0の上に構築され、マスク付き潜在音声表現よりも対照的なタスクを訓練することで解決される。 単言語と多言語による事前学習の効果を比較するために,事前学習における言語障害の比較を行った。
  論文  参考訳（メタデータ） (2021-07-15T15:42:43Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)
• Unsupervised Cross-lingual Representation Learning for Speech Recognition [63.85924123692923]
  XLSRは、複数の言語における音声の生波形から1つのモデルを事前学習することで、言語間音声表現を学習する。 我々は、マスク付き潜在音声表現よりも対照的なタスクを解くことで訓練されたwav2vec 2.0を構築した。 実験により、言語間事前学習はモノリンガル事前訓練よりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-24T18:25:05Z)
• Improved acoustic word embeddings for zero-resource languages using multilingual transfer [37.78342106714364]
  我々は、ラベル付きデータに対する複数の良質な言語からの単一の教師付き埋め込みモデルを訓練し、それを目に見えないゼロ・リソース言語に適用する。 本稿では,3つのマルチリンガルリカレントニューラルネットワーク(RNN)モデルについて考察する。全ての訓練言語の連接語彙に基づいて訓練された分類器,複数言語から同一語と異なる単語を識別する訓練されたシームズRNN,単語ペアを再構成する訓練された対応オートエンコーダ(CAE)RNNである。 これらのモデルは、ゼロリソース言語自体で訓練された最先端の教師なしモデルよりも優れており、平均精度が30%以上向上している。
  論文  参考訳（メタデータ） (2020-06-02T12:28:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。