論文の概要: CAFE: Confining Feature Distillation to Language-Routed Adapters for Compact Multilingual Automatic Speech Recognition

• arxiv url: http://arxiv.org/abs/2610.19134v1
• Date: Tue, 13 Oct 2026 20:04:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 12:10:45.437399
• Title: CAFE: Confining Feature Distillation to Language-Routed Adapters for Compact Multilingual Automatic Speech Recognition
• Title（参考訳）: CAFE:小型多言語音声認識のための言語制御型適応器の機能拡張
• Abstract要約: コンパクトな多言語自動音声認識における2つの特徴損失を解析する。 本稿では、CKA勾配を英語がバイパスするアダプタに制限するCAFEを提案し、損失よりもパラメータのトレードオフに対処する。 私たちは564k時間のトレーニングデータと最先端のモデルを使って、実践に関連する知見を維持しています。
• 参考スコア（独自算出の注目度）: 10.453082963073395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Feature distillation is usually expected to add to logit distillation. We find that this expectation does not hold for two common feature losses in compact multilingual automatic speech recognition (ASR), and analyze why through their gradients. The gradient of a projection-based loss is orthogonal to the task gradient, while that of Centered Kernel Alignment (CKA), a similarity-based loss, is weakly aligned with it. CKA lowers the word error rate (WER) on non-English languages, but at the expense of data-rich English. Three loss-level remedies (one trained, two probed) all fall short, and the CKA gradient overlaps with the subspace English uses in the shared encoder by 97.5% to 99.5% (about 81% by chance). Guided by this diagnosis, we propose CAFE (Confined-Adapter Feature distillation), which confines the CKA gradient to adapters that English bypasses, addressing the trade-off in the parameters rather than in the loss. On the Open ASR Leaderboard, CAFE lowers the average WER from 8.55% to 8.02%, beats an adapter-only capacity control at 8.51%, and makes English more stable across checkpoints. At 254M parameters, it trails the 0.6B teacher by 2 WER points and is competitive with much larger models across 48 test sets in 24 languages. We use 564k hours of training data and state-of-the-art models to keep the findings relevant to practice.
• Abstract（参考訳）: 特徴蒸留は通常、ロジット蒸留に添加される。 この予測は、コンパクトな多言語自動音声認識(ASR)において2つの共通の特徴損失を伴わないことが判明し、その勾配を解析した。 投影に基づく損失の勾配はタスク勾配に直交するが、類似性に基づく損失であるCKA(Centered Kernel Alignment)の勾配はそれと弱い整合性を持つ。 CKAは、非英語言語での単語エラー率(WER)を低くするが、データ豊富な英語を犠牲にしている。 3つの損失レベルの治療法(1つは訓練され、2つは調査された)はいずれも不足しており、CKA勾配は共有エンコーダにおける英語のサブスペース使用量と97.5%から99.5%(偶然に81%)の重なり合う。 この診断で導かれたCAFE (Confined-Adapter Feature distillation) は、CKA勾配を英語をバイパスするアダプタに限定し、損失よりもパラメータのトレードオフに対処する。 オープンASRリーダーボードでは、平均WERを8.55%から8.02%に下げ、アダプタのみのキャパシティコントロールを8.51%で打ち負かし、チェックポイント全体で英語をより安定させる。 254Mパラメータでは、0.6Bの教師を2つのWERポイントで追尾し、24言語で48のテストセットにまたがるはるかに大きなモデルと競合する。 私たちは564k時間のトレーニングデータと最先端のモデルを使って、実践に関連する知見を維持しています。

関連論文リスト

• Recovering Aggressively Pruned Vision-Language-Action Models with Offline Hidden-State Distillation [8.485364269969045]
  VLA(Vision-Reduced-action)モデルでは、ロボットが言語命令に従うことができる。 63%をOpenVLA-OFTから取り除いたことで、LIBERO-Longの成功率は93.2%から0.8%に低下した。 最近のアプローチでは、教師付き微調整と強化学習を併用したモデルが復元されている。
  論文  参考訳（メタデータ） (2026-09-17T02:08:09Z)
• X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation [34.99298958122614]
  X-AuTは、短い振る舞いプローブを通して層の組み合わせを選択するプログレッシブフレームワークである。 表現アライメント、クロススケール蒸留、スケジュールされた学生政治監督、LoRAファインタニングを通じて、プルーニングモデルを復元する。 18から16のオーディオエンコーダ層からQwen3-ASR-0.6Bを圧縮した10の公開英語ベンチマークでは、マクロ平均誤差が5.61%から5.27%に減少する。
  論文  参考訳（メタデータ） (2026-09-10T11:43:17Z)
• Spoken Language Identification with Pre-trained Models and Margin Loss [9.800066159312749]
  本稿では,TydyLang Challenge 2026で提案されている話者制御音声言語識別タスクについて,事前学習モデルに基づく言語識別手法を提案する。 提案手法は,事前学習したECAPA-TDNNを特徴エンコーダとして採用し,言語表現の識別能力を高めるためにマージンに基づく損失を取り入れる。
  論文  参考訳（メタデータ） (2026-05-03T14:37:52Z)
• Comparison of Modern Multilingual Text Embedding Techniques for Hate Speech Detection Task [0.0]
  我々は、ニュースポータルやソーシャルネットワークから派生したリトアニアのヘイトスピーチコーパスであるLtHateを紹介する。 統一Pythonパイプラインを使用して,LtHate,RuToxic,EnSupersetの6つのモダン多言語エンコーダ(potion, gemma, bge, Snow, jina, e5)をベンチマークした。 各埋め込みにおいて,64次元特徴ベクトルに対する主成分分析 (PCA) の圧縮を伴わず,一級HBOS異常検出器と二級CatBoostの両方を訓練する。 すべてのデータセットにまたがって、2つのクラスの教師付きモデルが一貫して、1つのクラスの異常検出を大幅に上回っている。
  論文  参考訳（メタデータ） (2026-04-16T11:49:13Z)
• Why Agent Caching Fails and How to Fix It: Structured Intent Canonicalization with Few-Shot Learning [0.0]
  キャッシュの有効性は、分類精度ではなく、キーの一貫性と精度を必要とする。 構造化意図分解フレームワークであるW5H2を紹介する。 NyayaBench v2 (20クラス)では、SetFitは55.3%を達成し、30言語にまたがる言語間転送を実現している。
  論文  参考訳（メタデータ） (2026-02-21T18:25:18Z)
• DISCO: A Large Scale Human Annotated Corpus for Disfluency Correction in Indo-European Languages [68.66827612799577]
  ディフルエンシ補正(Disfluency correction, DC)とは、話し言葉からフィラー、繰り返し、訂正などの不適切な要素を取り除き、読みやすく解釈可能なテキストを作成する過程である。 Indo-Europeanの4つの重要な言語(英語、ヒンディー語、ドイツ語、フランス語)を網羅した、高品質な人間の注釈付きDCコーパスを提示する。 最新の機械翻訳(MT)システムと併用した場合,DCはBLEUスコアを平均5.65ポイント増加させることを示す。
  論文  参考訳（メタデータ） (2023-10-25T16:32:02Z)
• Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot Translation [79.96416609433724]
  Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。 推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。 近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
  論文  参考訳（メタデータ） (2023-09-28T17:02:36Z)
• On the Off-Target Problem of Zero-Shot Multilingual Neural Machine Translation [104.85258654917297]
  識別対象言語信号の符号化に失敗すると、オフターゲットとなり、語彙距離が近くなることが判明した。 多言語語彙構築のための言語認識語彙共有(LAVS)を提案する。 我々は11言語で多言語機械翻訳ベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2023-05-18T12:43:31Z)
• RedApt: An Adaptor for wav2vec 2 Encoding \\ Faster and Smaller Speech Translation without Quality Compromise [66.92823764664206]
  我々は,任意のトランスフォーマーベース音声符号化アーキテクチャにシームレスに統合可能な,新しいReduceer AdaptorブロックRedAptを提案する。 事前訓練されたwav2vec 2音声エンコーダをRedAptbrings 41%の高速化、33%のメモリ削減、24%のFLOPを推論で削減した。
  論文  参考訳（メタデータ） (2022-10-16T07:58:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。