論文の概要: ORCA: The Annealed Spectral Conditioning Optimizer for Faster, Better LLM Training

• arxiv url: http://arxiv.org/abs/2610.06116v1
• Date: Mon, 05 Oct 2026 10:47:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 18:39:02.271669
• Title: ORCA: The Annealed Spectral Conditioning Optimizer for Faster, Better LLM Training
• Title（参考訳）: ORCA:より高速で優れたLDMトレーニングのための熱処理型スペクトル条件調整器
• Abstract要約: ORCA(Orthogonal Regularization, Cooled Regularization, Cooled After Regularization, ORCA)は,訓練の初期段階において,強いが一時的なソフトな直交正規化を適用して除去する最小限の介入である。 ORCAはMuonよりも最終検証損失が低い。 ムオンに対する損失減少は、アダムに対するムオンの損失減少と一致するか、あるいは超える。
• 参考スコア（独自算出の注目度）: 53.2695917834445
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Modern LLM optimizers such as Muon often produce weight matrices with higher effective rank than Adam, yet further spectral control has delivered only modest gains. We identify a tension behind this result: concentrated spectra can suppress gradient directions in coupled weight matrices and slow optimization, while constraints maintained throughout training can limit task-specific adaptation and raise the attainable loss floor. We introduce ORCA (Orthogonal Regularization, Cooled After), a minimal optimizer intervention that applies strong but temporary soft orthogonality regularization early in training, then removes it. This allows the weights to benefit from a broader spectrum early on and adapt freely afterward. Across LLaMA, Qwen3, and fine-grained mixture-of-experts models ranging from 130M to 8B parameters, ORCA achieves lower final validation loss than Muon. Its loss reduction relative to Muon matches or exceeds Muon's reduction relative to Adam. Ablations support the early-shaping, later-release design. Further, ORCA requires no architectural changes and adds minimal overhead.
• Abstract（参考訳）: ムオンのような現代のLLMオプティマイザは、アダムよりも高い有効ランクの重量行列をしばしば生成するが、さらにスペクトル制御は緩やかな利得しか与えていない。 集中スペクトルは結合重み行列の勾配方向の抑制と緩やかな最適化が可能であり、トレーニングを通して維持される制約はタスク固有の適応を制限し、達成可能な損失フロアを上昇させることができる。 ORCA(Orthogonal Regularization, Cooled After)は,トレーニングの早期に,強いが一時的なソフト直交正規化を適用した最小限のオプティマイザ介入であり,それを除去する。 これにより、重量は早期に幅広いスペクトルから恩恵を受け、その後自由に適応できる。 LLaMA、Qwen3、および130Mから8Bパラメータの詳細な混合実験モデル全体で、ORCAはMuonよりも最終検証損失が低い。 ムオンに対する損失減少は、アダムに対するムオンの損失減少と一致するか、あるいは超える。 アブレーションは、アーリーシェイピング、後のリリースデザインをサポートする。 さらに、ORCAはアーキテクチャの変更を必要とせず、最小限のオーバーヘッドを追加します。

関連論文リスト

• Curvature-Conditioned Multiscale Momentum with Sphere Constraints for LLM Pretraining [19.3401576040633]
  本研究では、平面方向に沿ったトレーニング力学を強化するために、球制限付き曲率条件付きマルチスケール運動量法を提案する。 提案手法は,多種多様なアーキテクチャ (Dense, MoE) とモデルサイズ (0.12B--2.3B パラメータ) において,Muon を著しく高速化することを示す。
  論文  参考訳（メタデータ） (2026-08-28T15:28:05Z)
• Reassessing Muon for Matrix Factorization [9.691906492780353]
  Muonは、大規模なディープラーニングにおいて強力な競争相手として現れている。 簡単な、よく理解され、スペクトル的に構造化された問題(低ランク行列分解)について、Muonについて研究する。 この設定では、MuonはAdamWを一貫して上回るわけではない。
  論文  参考訳（メタデータ） (2026-07-14T20:21:38Z)
• M+Adam: Low-Precision Training via Additive-Multiplicative Optimization [69.5989114185868]
  量子化された重量のトレーニングはコストを削減できるが、しばしば精度が低下する。 本稿では,2つの更新タイプを組み合わせたM+Adamを提案する。 60M-1Bのモデルと1x-8xのチンチラ、BF16、FP8、FP4のマスターウェイトを使用したLLaMA型プレトレーニングでは、M+アダムは一貫して低精度トレーニングを改善している。
  論文  参考訳（メタデータ） (2026-07-12T07:15:47Z)
• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• Muown: Row-Norm Control for Muon Optimization [41.541871767555484]
  Muonは、言語モデルの事前トレーニングにおいてAdamWと強く競合する。 Muownは、Muon、SOAP、AdamW、Lionの複雑さを改善します。
  論文  参考訳（メタデータ） (2026-05-11T16:26:06Z)
• Accelerating Zeroth-Order Spectral Optimization with Partial Orthogonalization from Power Iteration [6.574641780732972]
  我々は,MuonのようなスペクトルがAdamWより優れている隠蔽層トレーニング問題に焦点を当てた。 そのため、Muonの象徴的なNewton-Schulz手順を、より高速でより集中的なパワーイテレーション手法で置き換える。 本手法はZO-Muonの収束速度を1.5倍から4倍にすることができる。
  論文  参考訳（メタデータ） (2026-05-09T16:16:45Z)
• Enhancing LLM Training via Spectral Clipping [28.270053200038586]
  SPECTRAは、スペクトル-ノルム制約を強制する更新のスペクトル後クリッピングのためのフレームワークである。 我々は、SPECTRAがAdamW、Signum、AdEMAMixなどの様々なバリデーションの損失を均一に改善することを示す。
  論文  参考訳（メタデータ） (2026-03-15T10:16:40Z)
• Astro: Activation-guided Structured Regularization for Outlier-Robust LLM Post-Training Quantization [56.5199302532159]
  本稿では, アクティベーション誘導型構造正規化フレームワークを提案する。 Astroは内在的に頑丈な重量を積極的に再構成し、高マグニチュードの活性化に対応する重量の降圧を積極的に抑制する。 Astroは競争力が高く、特にLLaMA-2-7Bでは、量子化時間の1/3近くを持つ複雑な学習ベースの回転法よりも優れた性能を達成している。
  論文  参考訳（メタデータ） (2026-02-07T15:50:18Z)
• Conda: Column-Normalized Adam for Training Large Language Models Faster [70.66067959375748]
  Column-Normalized Adam (Conda)は、大規模言語モデル(LLM)に対する新しいアプローチである。 Condaはサブスペースに更新を投影し、投影された勾配に基づいてカラムワイズ第2モーメント正規化を適用する。 LLaMAとGPT-2シリーズの実験では、コンダはトレーニング前のAdamW、Muon、その他のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-09-29T02:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。