論文の概要: How Inner Optimizers Shape Replica Scaling

• arxiv url: http://arxiv.org/abs/2610.19064v1
• Date: Tue, 13 Oct 2026 19:00:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.765719
• Title: How Inner Optimizers Shape Replica Scaling
• Title（参考訳）: インナーオプティマイザの形状レプリケータスケーリング
• Abstract要約: 地理的に分散し、相互接続の不十分な計算プールやデータセンターをまたいだ大規模言語モデル(LLM)のトレーニングは、重要な関心事となっている。 トレーニング予算の全体を修正しながら、モデルのレプリカ(レプリカスケーリング)の数を増やすことは、単調なパフォーマンス低下につながることはよく知られている。 内部最適化について検討し、レプリカスケーリングに影響を与える2つの重要な要因を同定する。
• 参考スコア（独自算出の注目度）: 21.340043072783008
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training large language models (LLMs) across geographically distributed and poorly interconnected compute pools or data centers has become a topic of significant interest. This has led to increased study of local optimization methods such as DiLoco for LLMs, especially those that use local (or inner) adaptive or preconditioned optimizers, which are critical for high-performance LLM training. However, a central challenge remains: it is well known that increasing the number of model replicas (replica scaling) while fixing the total training budget leads to monotonically decreasing performance. Existing work has empirically demonstrated that the choice of inner optimizer (Muon v.s. AdamW) can significantly improve this trend, but offers only limited explanation of the performance difference. In this work, we consider a range of inner-optimizers and identify two important factors that impact replica scaling: (1) the covariance structure of the pseudo-gradients and (2) the impact of batch size on the pseudogradient's noise scale. Based on these insights, we theoretically and empirically demonstrate that whitening-based pre-conditioning is a powerful inner-optimizer desideratum. Our empirical evaluation extends the results to reveal that whitening-based inner-optimizers achieve strong replica scaling (for 8-96 replicas), with performance relative to DP improving as parameters and data are scaled.
• Abstract（参考訳）: 地理的に分散し、相互接続の不十分な計算プールやデータセンターをまたいだ大規模言語モデル(LLM)のトレーニングは、重要な関心事となっている。 これは、特にローカル(または内部)適応またはプレコンディショニングされたオプティマイザを使用するような、高性能なLLMトレーニングに欠かせないDiLoco for LLMなどの局所最適化手法の研究を加速させた。 しかしながら、トレーニング予算の全体を修正する一方で、モデルのレプリカ(レプリカスケーリング)の数を増やすことで、パフォーマンスが単調に低下することが知られている。 既存の研究は、内部オプティマイザ (Muon v.s. AdamW) の選択が、この傾向を著しく改善できることを実証的に証明している。 本研究では,(1)擬似階調の共分散構造と(2)擬似階調の雑音尺度に対するバッチサイズの影響の2つの重要な要因を同定する。 これらの知見に基づき、ホワイトニングベースのプレコンディショニングが強力な内最適デシプラタムであることを理論的および実証的に実証した。 実験により, ホワイトニング方式の内最適化器は, 8～96個のレプリカに対して, 高いレプリカスケーリングを実現し, パラメータやデータのスケーリングによりDPと比較して性能が向上することを明らかにした。

関連論文リスト

• Beyond Normalization: Rethinking the Partition Function as a Difficulty Scheduler for RLVR [23.417956258945427]
  本稿では,学習中の情報的質問文の優先順位付けに精度推定を利用するポストトレーニングフレームワークを提案する。 PACED-RL は LLM のより効率的な分布マッチング訓練のための有望な方向である。
  論文  参考訳（メタデータ） (2026-02-13T06:04:14Z)
• Data Distribution as a Lever for Guiding Optimizers Toward Superior Generalization in LLMs [60.68927774057402]
  はじめに、単純さのバイアスが小さくなれば、より良い一般化がもたらされることを示す。 この知見に触発されて、訓練後のサンプルのアップサンプリングや強化によるトレーニングデータ分布がSBを減少させ、一般化の改善につながることを示す。 我々はPhi2-2.7B, Llama3.2-1B, Gemma3-1B-PT, Qwen3-0.6B-Base など複数の言語モデルの性能向上を図る。
  論文  参考訳（メタデータ） (2026-01-31T07:40:36Z)
• CurES: From Gradient Analysis to Efficient Curriculum Learning for Reasoning LLMs [53.749193998004166]
  カリキュラム学習は,大規模言語モデルの学習効率を高める上で重要な役割を担っている。 収束を加速し,計算オーバーヘッドを最小限に抑えるためにベイズ後続推定を用いた効率的な学習法であるCurESを提案する。
  論文  参考訳（メタデータ） (2025-10-01T15:41:27Z)
• Compute-Optimal Scaling for Value-Based Deep RL [99.680827753493]
  オンライン価値ベースディープRLの計算スケーリングについて検討する。 解析の結果,モデルサイズ,バッチサイズ,UTD間の微妙な相互作用が明らかになった。 この現象を理解するためのメンタルモデルを提供し、バッチサイズとUTDを選択するためのガイドラインを構築します。
  論文  参考訳（メタデータ） (2025-08-20T17:54:21Z)
• S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
  S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。 以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
  論文  参考訳（メタデータ） (2025-02-18T13:40:22Z)
• Leveraging the true depth of LLMs [46.81174316936993]
  大規模言語モデル(LLM)は、高い計算要求を犠牲にして素晴らしい能力を示す。 近年の研究では、LCMの中間層を相当な精度の損失なく除去または再配列できることが示されている。 本稿では,連続層を並列に評価したペアにグループ化する手法を提案する。
  論文  参考訳（メタデータ） (2025-02-05T00:26:27Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• Surgical Feature-Space Decomposition of LLMs: Why, When and How? [8.826164604720738]
  トランス言語モデルにおける重みと特徴空間の分解の有効性を実験的に検討する。 本稿では, 外科的切除が, 圧縮と言語モデリング性能のトレードオフに関する重要な洞察を与えることを示す。 モデルバイアスに対する低ランク近似の影響について検討する。
  論文  参考訳（メタデータ） (2024-05-17T07:34:03Z)
• Target Variable Engineering [0.0]
  数値的対象を予測するために訓練された回帰モデルの予測性能と、2項化対象を予測するために訓練された分類器を比較した。 回帰は最適性能に収束するためには、はるかに多くの計算作業を必要とする。
  論文  参考訳（メタデータ） (2023-10-13T23:12:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。