論文の概要: ShapleyLaw: A Game-Theoretic Approach to Multilingual Scaling Laws

• arxiv url: http://arxiv.org/abs/2603.17945v1
• Date: Wed, 18 Mar 2026 17:17:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.846264
• Title: ShapleyLaw: A Game-Theoretic Approach to Multilingual Scaling Laws
• Title（参考訳）: ShapleyLaw: マルチリンガルスケーリング法則に対するゲーム理論的アプローチ
• Authors: Xuyang Cao, Qianying Liu, Chuan Xiao, Yusuke Oda, Pontus Stenetorp, Daisuke Kawahara, Makoto Onizuka, Sadao Kurohashi, Shuyuan Zheng,
• Abstract要約: 我々はtextitShapleyLaw というゲーム理論の多言語スケーリング法を提案する。 実験の結果,ShapleyLawはモデル性能予測と言語混合最適化において,ベースライン法よりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 37.62041201512729
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In multilingual pretraining, the test loss of a pretrained model is heavily influenced by the proportion of each language in the pretraining data, namely the \textit{language mixture ratios}. Multilingual scaling laws can predict the test loss under different language mixture ratios and can therefore be used to estimate the optimal ratios. However, the current approaches to multilingual scaling laws do not measure the \textit{cross-lingual transfer} effect, resulting in suboptimal mixture ratios. In this paper, we consider multilingual pretraining as a cooperative game in which each language acts as a player that jointly contributes to pretraining, gaining the resulting reduction in test loss as the payoff. Consequently, from the perspective of cooperative game theory, we quantify the cross-lingual transfer from each language by its contribution in the game, and propose a game-theoretic multilingual scaling law called \textit{ShapleyLaw}. Our experiments show that ShapleyLaw outperforms baseline methods in model performance prediction and language mixture optimization.
• Abstract（参考訳）: 多言語事前学習において、事前学習されたモデルの試験損失は、事前学習データ中の各言語の割合、すなわち \textit{lang mix ratio} に大きく影響される。 多言語スケーリング法則は、異なる言語混合比でテスト損失を予測することができ、したがって最適な比を推定することができる。 しかし、現在の多言語スケーリング法則へのアプローチでは、 \textit{cross-lingual transfer} 効果を測ることはできず、結果として準最適混合比が生じる。 本稿では,複数言語による事前学習を協調ゲームとみなし,各言語が協調して事前学習に寄与するプレイヤーとして機能し,その結果,対価としてテスト損失の減少をもたらす。 したがって、協調ゲーム理論の観点から、ゲームへの貢献によって各言語からの言語間移動を定量化し、ゲーム理論上の多言語スケーリング法である「textit{ShapleyLaw}」を提案する。 実験の結果,ShapleyLawはモデル性能予測と言語混合最適化において,ベースライン法よりも優れていることがわかった。

関連論文リスト

• Scaling Laws for Code: Every Programming Language Matters [73.6302896079007]
  コード大言語モデル(Code LLM)は強力だが、トレーニングにはコストがかかる。 異なるプログラミング言語(PL)は、ベースモデルの性能に大きな影響を及ぼす事前トレーニングの間に様々な影響を与える。 本稿では,多言語コードの事前学習のためのスケーリング法則を初めて体系的に検討する。
  論文  参考訳（メタデータ） (2025-12-15T16:07:34Z)
• ATLAS: Adaptive Transfer Scaling Laws for Multilingual Pretraining, Finetuning, and Decoding the Curse of Multilinguality [45.16490310398125]
  我々は,これまでで最大規模の多言語スケーリング法を施行し,合計774の多言語学習実験を行った。 単言語および多言語事前学習のための適応移動スケーリング法(ATLAS)を導入する。 分析では、多言語学習のダイナミクス、言語間の伝達特性、多言語性の呪いについて光を当てた。
  論文  参考訳（メタデータ） (2025-10-24T21:45:22Z)
• Scaling Laws for Multilingual Language Models [41.6318470003173]
  多言語スケーリングの研究における主要な課題は、言語間移動による個々の言語性能の分析が困難であることである。 本稿では,各言語群に対するクロスエントロピー損失が,それぞれのサンプリング比でのみ決定されるという仮説を導入し,検証する。 性能とデータセットサイズ,モデルサイズ,サンプリング比率を関連づける,ゆるい関係を導出する。
  論文  参考訳（メタデータ） (2024-10-15T20:29:38Z)
• PreAlign: Boosting Cross-Lingual Transfer by Early Establishment of Multilingual Alignment [68.20851615263953]
  大規模な言語モデルは、英語中心の事前訓練にもかかわらず、合理的な多言語能力を示す。 これらのモデルにおける自発的な多言語アライメントは弱く、不満足な言語間移動と知識共有をもたらす。 言語モデル事前学習に先立って多言語アライメントを確立するフレームワークであるPreAlignを提案する。
  論文  参考訳（メタデータ） (2024-07-23T06:59:53Z)
• Scaling Laws for Multilingual Neural Machine Translation [45.620062316968976]
  モデルサイズの増加がモデル性能に与える影響について検討し,スケーリング行動におけるトレーニング混合物組成の役割について検討した。 学習混合物中の個々の言語ペアの重み付けの変化は,スケーリング法則の乗法的要因にのみ影響することがわかった。 我々は、どんな言語重み付けでも訓練された多言語モデルの性能を予測するために、我々の観測を活用している。
  論文  参考訳（メタデータ） (2023-02-19T18:43:24Z)
• How Robust is Neural Machine Translation to Language Imbalance in Multilingual Tokenizer Training? [86.48323488619629]
  トークン化学習コーパスにおいて,言語間でのデータ比が変化するにつれて,翻訳性能がどう変化するかを分析する。 言語が均等にサンプリングされる場合、比較的優れたパフォーマンスが観察されることが多いが、下流のパフォーマンスは、通常予想していたよりも、言語の不均衡に対して堅牢である。
  論文  参考訳（メタデータ） (2022-04-29T17:50:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。