論文の概要: Unified Gradient Projection: Language-Balanced Continual Learning for Multilingual Low-Resource ASR

• arxiv url: http://arxiv.org/abs/2607.11163v1
• Date: Mon, 13 Jul 2026 06:57:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.359928
• Title: Unified Gradient Projection: Language-Balanced Continual Learning for Multilingual Low-Resource ASR
• Title（参考訳）: Unified Gradient Projection:マルチリンガル低リソースASRのための言語ベース連続学習
• Abstract要約: 低リソース言語での微調整は、しばしば破滅的な忘れ物を引き起こす。 本稿では,言語バランスの取れたリプレイからの参照勾配を用いてパラメータ更新を制約するUnified Gradient Projectionを提案する。 Whisper-large-v3では、ほぼゼロに近い平均的な忘れ方を達成する。
• 参考スコア（独自算出の注目度）: 6.818862582399845
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale pretrained ASR models such as Whisper exhibit strong multilingual capabilities. However, fine-tuning on low-resource languages often causes catastrophic forgetting. Although continual learning mitigates this issue, existing methods struggle to regulate cross-task interference in multilingual settings, where dominant languages bias optimization. We propose Unified Gradient Projection (UGP), which constrains parameter updates using reference gradients from language-balanced replay in a unified projection space. By equalizing per-language contributions in the projection, UGP reduces dominant-language bias and improves cross-lingual stability. We further show that combining gradient-level projection with data-level replay yields complementary gains in stability and plasticity. Across diverse low-resource language groups and model scales, UGP enables effective adaptation while substantially mitigating forgetting. On Whisper-large-v3, it achieves near-zero average forgetting.
• Abstract（参考訳）: Whisperのような大規模事前訓練されたASRモデルは、強い多言語機能を示す。 しかし、低リソース言語での微調整は、しばしば破滅的な忘れ込みを引き起こす。 継続学習はこの問題を緩和するが、既存の手法では多言語間干渉の規制に苦慮している。 統一射影空間における言語バランスリプレイからの参照勾配を用いてパラメータの更新を制約するUnified Gradient Projection (UGP)を提案する。 プロジェクションにおける言語毎のコントリビューションを等化することにより、UGPは支配的な言語バイアスを減らし、言語間安定性を向上させる。 さらに、勾配レベルの投影とデータレベルの再生を組み合わせることで、安定性と可塑性が相補的に向上することを示す。 多様な低リソース言語グループとモデルスケールにわたって、UDPは事実上の忘れを軽減しつつ、効果的な適応を可能にしている。 Whisper-large-v3では、ほぼゼロに近い平均的な忘れ方を達成する。

関連論文リスト

• Native Multilingual Chain-of-Thought Reasoning in Low-Resource Southeast Asian Languages [3.6077805387487545]
  Onramp-Sequence Cross-Distillation (OSCD)は、生成的トレーニングロールアウト中に低リソースの語彙部分空間に高リソースの推論軌道を投影する。 OSCDは、数学的な推論のために東南アジアのネイティブ言語で最大3.2倍の改善を達成している。
  論文  参考訳（メタデータ） (2026-08-01T08:44:32Z)
• GigaAM Multilingual: Foundation Model for Underrepresented Languages [63.406165255277195]
  We present GigaAM Multilingual, a Conformer encoder pre-trained on 200M hours of audio using a HuBERT-style objective。 我々は,事前学習時のクラスタレベルのデータバランス戦略と,微調整時のドメイン認識サンプリング手法を導入し,見出し言語の優位性を緩和する。
  論文  参考訳（メタデータ） (2026-07-11T15:48:03Z)
• Multilingual Fine-Tuning via Localized Gradient Conflict Resolution [20.41455787951831]
  我々は、勾配に基づくMOOアルゴリズムを局所的に適用するスケーラブルな分散フレームワークであるBucket-Level MOOを紹介した。 実証的に、Bucket-Level MOOは大きな言語モデルを駆動することで干渉を緩和し、異なる言語固有の次元を構築する。 提案手法は,従来の微調整パラダイムよりも多言語性能を著しく向上させる。
  論文  参考訳（メタデータ） (2026-06-04T02:36:30Z)
• Crosslingual On-Policy Self-Distillation for Multilingual Reasoning [48.68444770923683]
  Crosslingual On-Policy Self-Distillation (COPSD)は、モデル自身の高リソース推論動作を低リソース言語に転送する。 17の低リソースアフリカ言語に対する実験では、COPSDはモデルサイズ全体の低リソース数学的推論を一貫して改善している。
  論文  参考訳（メタデータ） (2026-05-10T14:06:09Z)
• English is Not All You Need: Systematically Exploring the Role of Multilinguality in LLM Post-Training [7.141617235075284]
  ポストトレーニングパイプラインは主に英語中心であり、言語間のパフォーマンス格差に寄与している。 本稿では,学習言語カバレッジ,モデルスケール,タスクドメイン間の相互作用を体系的に制御した研究を行う。 ポストトレーニング中の言語カバレッジの増加は、タスクやモデルスケールに大きく影響している。
  論文  参考訳（メタデータ） (2026-04-14T20:26:34Z)
• Investigating the Multilingual Calibration Effects of Language Model Instruction-Tuning [58.355275813623685]
  本研究は,多言語設定における大規模言語モデル(LLM)の校正における重要なギャップについて考察する。 低リソース言語であっても、高リソース言語SFTデータセットのインストラクションチューニング後にモデルの信頼性が著しく向上する可能性がある。 しかし、精度の改善は限界的あるいは存在しないものであり、多言語言語における標準SFTの重大な欠点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2026-01-04T04:29:12Z)
• CONGRAD:Conflicting Gradient Filtering for Multilingual Preference Alignment [40.44120745699753]
  本稿では,言語間の最小勾配の衝突を最小限に抑えた高品質な選好サンプルを選択する,スケーラブルで効率的なフィルタリング手法を提案する。 本手法は,多言語更新方向を集約したサンプルを保持するために勾配手術を利用する。 CONGRADを自己回帰フレームワークに統合し、LLaMA3-8BとGemma2-2Bを10言語で評価する。
  論文  参考訳（メタデータ） (2025-03-31T06:52:56Z)
• Weighted Cross-entropy for Low-Resource Languages in Multilingual Speech Recognition [2.7247388777405597]
  重み付きクロスエントロピーの新たな応用法を提案する。 我々は5つの高ソース言語と1つの低リソース言語でWhisper多言語ASRモデルを微調整する。
  論文  参考訳（メタデータ） (2024-09-25T14:09:09Z)
• SMILE: Speech Meta In-Context Learning for Low-Resource Language Automatic Speech Recognition [55.2480439325792]
  音声メタインコンテキスト学習(SMILE)は、メタラーニングと音声インコンテキスト学習(SICL)を組み合わせた革新的なフレームワークである SMILEは、トレーニング不要な多言語ASRタスクにおいて、ベースライン手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-16T16:04:16Z)
• No Train but Gain: Language Arithmetic for training-free Language Adapters enhancement [59.37775534633868]
  本稿では,学習不要な後処理が可能な言語演算法を提案する。 提案手法の有効性を,MAD-Xに基づく言語間スキームの3つの下流課題に適用した。
  論文  参考訳（メタデータ） (2024-04-24T08:52:40Z)
• A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference [54.678516076366506]
  自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。 本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-31T05:54:18Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Demystify Optimization Challenges in Multilingual Transformers [21.245418118851884]
  ロスランドスケープとパラメータの可塑性の観点から最適化課題を考察する。 不均衡なトレーニングデータは、高いリソース言語と低いリソース言語の間でタスクの干渉を引き起こす。 Curvature Aware Task Scaling (CATS) を提案し、特にリソースの少ない場合の最適化と一般化の両方を改善します。
  論文  参考訳（メタデータ） (2021-04-15T17:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。