Fugu-MT 論文翻訳(概要): Curvature-Conditioned Multiscale Momentum with Sphere Constraints for LLM Pretraining

論文の概要: Curvature-Conditioned Multiscale Momentum with Sphere Constraints for LLM Pretraining

arxiv url: http://arxiv.org/abs/2608.28442v1
Date: Fri, 28 Aug 2026 15:28:05 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-31 17:16:04.381725
Title: Curvature-Conditioned Multiscale Momentum with Sphere Constraints for LLM Pretraining
Title（参考訳）: LLMプレトレーニングのための球制約付き曲率整合型マルチスケールモーメント
Abstract要約: 本研究では、平面方向に沿ったトレーニング力学を強化するために、球制限付き曲率条件付きマルチスケール運動量法を提案する。提案手法は,多種多様なアーキテクチャ (Dense, MoE) とモデルサイズ (0.12B--2.3B パラメータ) において,Muon を著しく高速化することを示す。
参考スコア（独自算出の注目度）: 19.3401576040633
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Pretraining accounts for a large fraction of the total computational cost in LLM training. However, noise-dominant gradients and the highly ill-conditioned loss landscape bring severe challenges. Although modern adaptive optimizers such as AdamW and Muon have achieved great success in large-scale pretraining, their reliance on gradient normalization offers limited mitigation of the ill-conditioned curvature. The progress along flat directions (eigen-directions of small eigenvalues), which dominates the final loss reduction, remains relatively slow. To enhance training dynamics along flat directions, we propose a curvature-conditioned multiscale momentum method with sphere constraints, delivering steady acceleration in LLM pretraining. This multiscale momentum, applied only along flat directions, pairs a slow-decay component for noise reduction with a fast-decay component for rapid curvature adaptation, harnessing their complementary strengths. Crucially, we employ a sphere constraint technique to prevent parameter inflation and excessively rapid effective learning rate decay that would otherwise arise from a naive combination. Extensive experiments show that the proposed method significantly accelerates Muon across diverse architectures (dense, MoE) and model sizes (0.12B--2.3B parameters). Theoretically, we verify the acceleration effect and provide insight into the design principles underlying the flat-direction multiscale momentum.
Abstract（参考訳）: プレトレーニングは、LLMトレーニングの総計算コストのかなりの部分を占める。しかし、騒音に支配的な勾配と、高度に条件の悪い損失の風景は深刻な問題を引き起こす。 AdamW や Muon のような現代の適応型最適化器は大規模事前訓練において大きな成功を収めているが、勾配正規化への依存は、不条件曲率の制限を与える。最終的な損失減少を支配する平坦な方向(小さな固有値の固有方向)に沿った進行は、比較的遅いままである。平面方向に沿ったトレーニング力学を強化するため,球面制約付き曲率条件付きマルチスケール運動量法を提案し,LLMプレトレーニングにおいて安定した加速を実現する。このマルチスケールモーメントは、平面方向にのみ適用され、ノイズ低減のための緩やかなデカイ成分と高速な曲率適応のための高速デカイ成分とをペアリングし、相補的な強度を利用する。重要なことに、我々はパラメータのインフレーションと過度に高速な学習速度の減衰を防ぐために球制限手法を採用している。大規模な実験により,提案手法は多種多様なアーキテクチャ (Dense, MoE) とモデルサイズ (0.12B--2.3Bパラメータ) でミュオンを著しく加速することが示された。理論的には、加速効果を検証し、フラット指向マルチスケール運動量の基礎となる設計原理について考察する。

関連論文リスト

Scaling Reinforcement Learning for Diffusion Models via Velocity Matching [66.34541945134916]
RewardBenchファインチューニングは、人間の好みやタスク固有の目的に拡散モデルを適用するための重要なツールである。自己回帰モデルとは異なり、拡散モデルは生成したサンプルの抽出可能な可能性を提供しない。本稿では,速度場に直接作用する単純なトラジェクトリフリー更新である報酬ベースベロシティマッチング(RVM)を提案する。
論文参考訳（メタデータ） (2026-08-24T17:13:43Z)
Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
論文参考訳（メタデータ） (2026-05-21T16:45:31Z)
Flash-GRPO: Efficient Alignment for Video Diffusion via One-Step Policy Optimization [69.03519018775779]
グループ相対政策最適化は、ビデオ拡散モデルと人間の嗜好の整合に不可欠である。既存の効率の手法は、最適化を妥協し、深刻な不安定を示し、完全な軌道性能に到達できなかった。 Flash-GRPOは,低計算予算下でのアライメント品質において,完全な軌道学習よりも優れた1ステップのトレーニングフレームワークである。
論文参考訳（メタデータ） (2026-05-15T14:13:39Z)
JAWS: Enhancing Long-term Rollout of Neural Operators via Spatially-Adaptive Jacobian Regularization [0.0]
Jacobian-Adaptive Weighting for Stability (JAWS)は、これらの制限を軽減するために設計された確率的正規化戦略である。空間的不確実性を伴う最大Aポストエリオーリ(MAP)推定として演算子学習をフレーミングすることにより、JAWSは局所的な物理的複雑さに基づいて正規化強度を動的に変調する。実験により、この空間適応型プリコンディショナーが有効スペクトルプレコンディショナーとして機能し、高周波不安定性を扱う際のベースオペレータの負担を軽減することが示されている。
論文参考訳（メタデータ） (2026-03-04T06:15:09Z)
Accelerating LLM Pre-Training through Flat-Direction Dynamics Enhancement [20.47449050578067]
事前訓練された大規模言語モデルは膨大な計算資源を必要とするため、効率性は不可欠である。本研究では,より大きいヘッセン減衰係数と平坦な軌道に沿った学習率を適用することで,トレーニングダイナミクスを向上する一般加速戦略LITEを提案する。
論文参考訳（メタデータ） (2026-02-26T06:54:57Z)
Astro: Activation-guided Structured Regularization for Outlier-Robust LLM Post-Training Quantization [56.5199302532159]
本稿では, アクティベーション誘導型構造正規化フレームワークを提案する。 Astroは内在的に頑丈な重量を積極的に再構成し、高マグニチュードの活性化に対応する重量の降圧を積極的に抑制する。 Astroは競争力が高く、特にLLaMA-2-7Bでは、量子化時間の1/3近くを持つ複雑な学習ベースの回転法よりも優れた性能を達成している。
論文参考訳（メタデータ） (2026-02-07T15:50:18Z)
Adaptive Visual Autoregressive Acceleration via Dual-Linkage Entropy Analysis [50.48301331112126]
我々は,Visual AutoRegressive モデリングのためのトレーニング不要なトークン削減促進フレームワーク NOVA を提案する。 NOVAは、スケールエントロピー成長の屈折点をオンライン同定することにより、推論中のアクティベーションアクティベーションスケールを適応的に決定する。実験と解析により、NOVAはシンプルで効果的なトレーニングフリー加速フレームワークとして評価される。
論文参考訳（メタデータ） (2026-02-01T17:29:42Z)
On the Provable Suboptimality of Momentum SGD in Nonstationary Stochastic Optimization [0.0]
各種段差系における均一な凸性および滑らか性の下でのグラディエントDescentの追跡性能を解析した。本研究では,ドリフトによる追従誤差を大幅に増幅し,追従能力に明らかなペナルティを与えることを示す。これらの結果は、動的環境における運動量の経験的不安定性に対する決定的な理論的根拠を与える。
論文参考訳（メタデータ） (2026-01-18T03:27:21Z)
The Marginal Value of Momentum for Small Learning Rate SGD [20.606430391298815]
モーメントは、勾配雑音のない強い凸条件下での勾配降下の収束を加速することが知られている。実験により、最適学習率があまり大きくない実践訓練において、運動量には最適化と一般化の両方の利点があることがわかった。
論文参考訳（メタデータ） (2023-07-27T21:01:26Z)
COST-EFF: Collaborative Optimization of Spatial and Temporal Efficiency with Slenderized Multi-exit Language Models [16.586312156966635]
トランスフォーマーベースの事前訓練言語モデル(PLM)は、高い能力にもかかわらず過度のオーバーヘッドに悩まされている。既存の静的圧縮モデルは、入力インスタンス間の様々な複雑さに気づいていない。静的モデル圧縮と動的推論アクセラレーションを統合したPLMの協調最適化を提案する。
論文参考訳（メタデータ） (2022-10-27T15:06:40Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。