論文の概要: Online Language Adaptive Sampling for Better Distributed Cross-lingual Gains

• arxiv url: http://arxiv.org/abs/2609.14969v1
• Date: Mon, 14 Sep 2026 03:23:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.042319
• Title: Online Language Adaptive Sampling for Better Distributed Cross-lingual Gains
• Title（参考訳）: 分散言語間ゲイン改善のためのオンライン言語適応サンプリング
• Abstract要約: リアライメントは多言語言語モデルの言語間転送能力を改善するための有望なアプローチである。 トレーニング可能なサンプリング確率を各言語に割り当てる,シンプルで効果的な適応型サンプリング戦略を提案する。 提案手法では,小オーバーヘッドの内外最適化ループを用いることで,一貫した性能向上を実現している。
• 参考スコア（独自算出の注目度）: 5.745735995922634
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Realignment is a promising approach for improving the cross-lingual transfer ability of multilingual language models, particularly for extremely low-resource languages (LRLs). However, existing realignment methods rely on uniform and random sampling of parallel sentences across languages, which may be suboptimal under limited batch sizes. In practice, models may benefit from seeing certain languages more frequently, especially those that are poorly aligned, and the optimal distribution can evolve throughout training. In this work, we propose a simple yet effective adaptive sampling strategy that assigns trainable sampling probabilities to each language. Languages that contribute more to the realignment loss are sampled more frequently in subsequent batches, and the optimal distribution can evolve throughout training. Our method employs an inner-outer optimization loop with a small overhead, leading to consistent performance improvements and, more importantly, distributing the gains across languages. We observed a $+0.67$ average performance increase on all tasks with XLM-R, and $+0.60$ with Gemma 2 9B compared with uniform realignment. Furthermore, our method is robust across different models. Code available at https://github.com/felixgaschi/multilingual-alignment-and-transfer.
• Abstract（参考訳）: Realignment は多言語モデルの言語間転送能力を改善するための有望なアプローチであり、特に極低リソース言語(LRL)ではそうである。 しかし、既存の階層化法は、限定的なバッチサイズで最適であるかもしれない言語間での並列文の均一なサンプリングとランダムなサンプリングに依存している。 実際には、モデルは特定の言語、特に整列が不十分な言語をより頻繁に見ることの恩恵を受け、最適な分布はトレーニングを通して進化する可能性がある。 本研究では,訓練可能なサンプリング確率を各言語に割り当てる,シンプルで効果的な適応型サンプリング戦略を提案する。 調整損失により多くの貢献する言語は、その後のバッチでより頻繁にサンプリングされ、最適な分布はトレーニングを通して進化する。 提案手法では,小オーバーヘッドの内外最適化ループを用いて一貫した性能向上を実現し,さらに重要な点として,言語間で利得を分配する。 XLM-Rの全タスクの平均性能は, Gemma 2 9Bで0.67ドル, Gemma 2 9Bで0.60ドルであった。 さらに,本手法は異なるモデルに対して堅牢である。 コードはhttps://github.com/felixgaschi/multilingual-alignment-and-transferで公開されている。

関連論文リスト

• Scaling Laws for Code: Every Programming Language Matters [73.6302896079007]
  コード大言語モデル(Code LLM)は強力だが、トレーニングにはコストがかかる。 異なるプログラミング言語(PL)は、ベースモデルの性能に大きな影響を及ぼす事前トレーニングの間に様々な影響を与える。 本稿では,多言語コードの事前学習のためのスケーリング法則を初めて体系的に検討する。
  論文  参考訳（メタデータ） (2025-12-15T16:07:34Z)
• When Life Gives You Samples: The Benefits of Scaling up Inference Compute for Multilingual LLMs [10.406096751902899]
  本稿では,多言語およびマルチタスク推論シナリオに特化して適応した新しいサンプリングと選択手法を提案する。 サンプリングと選択の併用により,m-Arena-v2.0プロンプト上での8Bモデルの勝利率の平均+6.8ジャンプを実現した。 この結果から,未表現言語の性能向上を民主化することを目的とした,推論時間計算における言語とタスク認識のアプローチの必要性が浮き彫りになった。
  論文  参考訳（メタデータ） (2025-06-25T15:37:53Z)
• Implicit Cross-Lingual Rewarding for Efficient Multilingual Preference Alignment [35.1576728251478]
  提案手法は,暗黙の報奨によって適切に整合した英語モデルからの好みを捉え,反復学習を通じて他言語に伝達する手法である。 2回に分けて微調整したLlama3はウィンレートを平均12.72%改善し、X-AlpacaEvalのリーダーボード上でのトレーニング言語全体の長さ制御ウィンレートを5.97%向上させた。
  論文  参考訳（メタデータ） (2025-03-06T17:33:01Z)
• Improving In-context Learning of Multilingual Generative Language Models with Cross-lingual Alignment [42.624862172666624]
  本稿では,一対の翻訳文を利用する単純な言語間アライメントフレームワークを提案する。 多言語コントラスト学習を通じて、異なる言語にまたがる内部文表現を整合させる。 実験結果から,事前学習トークンが0.1文未満であっても,アライメントフレームワークは生成言語モデルの言語間相互性を大幅に向上させることが明らかとなった。
  論文  参考訳（メタデータ） (2023-11-14T11:24:08Z)
• Self-Augmentation Improves Zero-Shot Cross-Lingual Transfer [92.80671770992572]
  言語間移動は多言語NLPにおける中心的なタスクである。 このタスクの以前の作業では、並列コーパス、バイリンガル辞書、その他の注釈付きアライメントデータを使用していた。 ゼロショットの言語間移動を改善するため, 単純で効果的なSALT法を提案する。
  論文  参考訳（メタデータ） (2023-09-19T19:30:56Z)
• Language-Family Adapters for Low-Resource Multilingual Neural Machine Translation [129.99918589405675]
  自己超越で訓練された大規模多言語モデルは、幅広い自然言語処理タスクにおいて最先端の結果を達成する。 マルチリンガルな微調整は低リソース言語のパフォーマンスを向上させるが、モデル全体を変更する必要があるため、極めて高価である。 言語間移動を容易にするため,mBART-50上で言語ファミリーアダプタを訓練する。
  論文  参考訳（メタデータ） (2022-09-30T05:02:42Z)
• OneAligner: Zero-shot Cross-lingual Transfer with One Rich-Resource Language Pair for Low-Resource Sentence Retrieval [91.76575626229824]
  文検索タスク用に特別に設計されたアライメントモデルであるOneAlignerを提案する。 大規模並列多言語コーパス(OPUS-100)の全ての言語ペアで訓練すると、このモデルは最先端の結果が得られる。 実験結果から,文アライメントタスクの性能はモノリンガルおよび並列データサイズに大きく依存することがわかった。
  論文  参考訳（メタデータ） (2022-05-17T19:52:42Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)
• Improving Zero-Shot Cross-Lingual Transfer Learning via Robust Training [45.48003947488825]
  私達は2つの広く利用された強い訓練方法を研究します:反対の訓練およびランダム化された平滑化。 実験の結果,ロバストトレーニングにより,テキスト分類におけるゼロショット言語間転送が改善されることがわかった。
  論文  参考訳（メタデータ） (2021-04-17T21:21:53Z)
• Balancing Training for Multilingual Neural Machine Translation [130.54253367251738]
  多言語機械翻訳(MT)モデルは、複数の言語に翻訳/翻訳することができる。 標準的なプラクティスは、表現力を高めるために、リソースの少ない言語をアップサンプルすることである。 そこで本研究では,データスコアラによるトレーニングデータの重み付けを自動的に学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-04-14T18:23:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。