論文の概要: Token Merging for Multilingual Speech Recognition: A Systematic Study Across Model Scale and Fine-Tuning

• arxiv url: http://arxiv.org/abs/2609.13151v2
• Date: Tue, 15 Sep 2026 06:38:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.513528
• Title: Token Merging for Multilingual Speech Recognition: A Systematic Study Across Model Scale and Fine-Tuning
• Title（参考訳）: 多言語音声認識のためのToken Merging:モデルスケールとファインチューニングに関する体系的研究
• Abstract要約: トークンマージは、再トレーニングを必要とせずに、冗長な機能を動的に結合する。 トークンのマージにより、ほとんど転写精度を損なうことなく、計算効率が向上することを示す。 この結果から,トークンマージは多言語音声認識を高速化し,より安価に展開する上で,極めて実用的な手法であることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Leading multilingual speech recognition models like Whisper transcribe diverse, low-resource languages without language-specific training but are computationally expensive to deploy. Token merging mitigates this inefficiency by dynamically combining redundant features, shortening the sequence length during inference without requiring retraining. In this paper, we systematically evaluate token merging on the Whisper model family across sixteen diverse languages and three different model sizes. We also test how token merging interacts with fine-tuning (DoRA) on low-resource languages. Our findings show that merging tokens increases computational efficiency with almost no loss in transcription accuracy across most low-resource languages and model sizes, and it works even after the model has been fine-tuned. Our results demonstrate that token merging is a highly practical method for making multilingual speech recognition faster and cheaper to deploy.
• Abstract（参考訳）: Whisperのような多言語音声認識モデルは、言語固有のトレーニングなしで多種多様な低リソース言語を転写するが、デプロイするのに計算コストがかかる。 トークンマージは、冗長な特徴を動的に組み合わせ、再トレーニングを必要とせずに推論中のシーケンス長を短縮することにより、この非効率性を緩和する。 本稿では、16の多様な言語と3つの異なるモデルサイズでWhisperモデルファミリ上のトークンマージを体系的に評価する。 トークンマージが低リソース言語上での微調整(DoRA)とどのように相互作用するかを検証する。 その結果,マージトークンは,ほとんどの低リソース言語やモデルサイズで書き起こし精度を損なうことなく,計算効率が向上し,モデルが微調整された後も機能することがわかった。 この結果から,トークンマージは多言語音声認識を高速化し,より安価に展開する上で,極めて実用的な手法であることが示唆された。

関連論文リスト

• The Limits of Data Scaling: Sub-token Utilization and Acoustic Saturation in Multilingual ASR [6.627057618324123]
  49言語にわたる推論においてWhisperの復号動作を分析する。 モデルのサブトークン空間の利用パターンについて検討する。
  論文  参考訳（メタデータ） (2025-10-26T02:13:26Z)
• Lossless Vocabulary Reduction for Auto-Regressive Language Models [21.015330660860865]
  トークンと呼ばれるサブワードのシーケンスに所定のテキストを分解するプロセスであるトークン化は、言語モデルの開発において重要なコンポーネントの1つである。 我々は、与えられた自己回帰言語モデルを任意に小さな語彙を持つ言語に変換する、損失のない語彙還元の理論的枠組みを確立する。 アプリケーションとして、異なるトークン化を持つ言語モデルが、最大共通語彙によって互いに効率的に協調できることを実証する。
  論文  参考訳（メタデータ） (2025-10-09T11:38:48Z)
• False Friends Are Not Foes: Investigating Vocabulary Overlap in Multilingual Language Models [53.01170039144264]
  多言語コーパスで訓練されたサブワードトークンライザは、言語間で重複するトークンを自然に生成する。 トークンの重複は言語間転送を促進するのか、それとも言語間の干渉を導入するのか? 相反する語彙を持つモデルでは、重なり合う結果が得られます。
  論文  参考訳（メタデータ） (2025-09-23T07:47:54Z)
• Enhancing Multilingual ASR for Unseen Languages via Language Embedding Modeling [50.62091603179394]
  最も先進的なASRモデルの1つであるWhisperは99の言語を効果的に扱う。 しかし、ウィスパーは未確認の言語と戦っているが、それらは事前訓練には含まれていない。 本研究では,これらの関係を利用して未知言語上でのASR性能を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-12-21T04:05:43Z)
• Multilingual self-supervised speech representations improve the speech recognition of low-resource African languages with codeswitching [65.74653592668743]
  微細な自己教師型多言語表現は絶対単語誤り率を最大20%削減する。 訓練データに制限のある状況では、自己教師付き表現を微調整することが、より良いパフォーマンスと実行可能なソリューションである。
  論文  参考訳（メタデータ） (2023-11-25T17:05:21Z)
• LAMASSU: Streaming Language-Agnostic Multilingual Speech Recognition and Translation Using Neural Transducers [71.76680102779765]
  自動音声認識(ASR)と音声翻訳(ST)はどちらもモデル構造としてニューラルトランスデューサを使用することができる。 ニューラルトランスデューサを用いた多言語音声認識および翻訳モデルであるLAMASSUを提案する。
  論文  参考訳（メタデータ） (2022-11-05T04:03:55Z)
• Unsupervised Cross-lingual Representation Learning for Speech Recognition [63.85924123692923]
  XLSRは、複数の言語における音声の生波形から1つのモデルを事前学習することで、言語間音声表現を学習する。 我々は、マスク付き潜在音声表現よりも対照的なタスクを解くことで訓練されたwav2vec 2.0を構築した。 実験により、言語間事前学習はモノリンガル事前訓練よりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-24T18:25:05Z)
• Improved acoustic word embeddings for zero-resource languages using multilingual transfer [37.78342106714364]
  我々は、ラベル付きデータに対する複数の良質な言語からの単一の教師付き埋め込みモデルを訓練し、それを目に見えないゼロ・リソース言語に適用する。 本稿では,3つのマルチリンガルリカレントニューラルネットワーク(RNN)モデルについて考察する。全ての訓練言語の連接語彙に基づいて訓練された分類器,複数言語から同一語と異なる単語を識別する訓練されたシームズRNN,単語ペアを再構成する訓練された対応オートエンコーダ(CAE)RNNである。 これらのモデルは、ゼロリソース言語自体で訓練された最先端の教師なしモデルよりも優れており、平均精度が30%以上向上している。
  論文  参考訳（メタデータ） (2020-06-02T12:28:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。