論文の概要: Spectra: Rethinking Optimizers for LLMs Under Spectral Anisotropy

• arxiv url: http://arxiv.org/abs/2602.11185v1
• Date: Fri, 30 Jan 2026 07:09:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-15 14:54:53.737612
• Title: Spectra: Rethinking Optimizers for LLMs Under Spectral Anisotropy
• Title（参考訳）: スペクトル:分光異方性下におけるLDMの最適化
• Abstract要約: スパイクテールの分離はトレーニングを通して継続し、スパイクテールの約1.5%しか占めていないが、統計は支配的である。 この優位性は、第2モーメント正規化を通じてテール更新を収縮させ、グローバルに安定した学習速度を締め付けることでテールラーニングを抑制する。 この分析により,ノイズ感度のスペクトルトークンを増幅することなく,支配的な低ランクスパイク部分空間を抑えるスパイクアウェアメントであるSpectraを提案する。
• 参考スコア（独自算出の注目度）: 29.13817256697374
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient signals in LLM training are highly anisotropic: recurrent linguistic structure concentrates energy into a small set of dominant spectral directions, while context specific information resides in a long tail. We show that this spike tail separation persists throughout training, with the spike occupying only about 1.5% of directions yet dominating optimizer statistics. This dominance suppresses tail learning by contracting tail updates through second moment normalization and tightening the globally stable learning rate bound. Motivated by this analysis, we propose Spectra, a spike aware optimizer that suppresses the dominant low rank spike subspace without amplifying the noise sensitive spectral tail. Spectra tracks the spike subspace via cached, warm started power iteration and applies low rank spectral shaping with negligible overhead and substantially reduced optimizer state memory. On LLaMA3 8B trained on 50B tokens, Spectra reaches the same target loss 30% faster than AdamW, reduces per step end to end overhead by 0.7%, cuts optimizer state memory by 49.25%, and improves average downstream accuracy by 1.62%. Compared to Muon, Spectra is 5.1x faster in optimizer processing time, achieves a lower final loss, and improves average accuracy by 0.66%.
• Abstract（参考訳）: LLMトレーニングにおけるグラディエント信号は非常に異方性があり、リカレント言語構造はエネルギーを支配的なスペクトル方向の小さなセットに集中させ、コンテキスト固有情報は長いテールに存在する。 このスパイクテール分離はトレーニングを通して継続し、スパイクテールの約1.5%しか占めていないが、オプティマイザの統計は支配的である。 この優位性は、第2モーメント正規化を通じてテール更新を収縮させ、グローバルに安定した学習速度を締め付けることでテールラーニングを抑制する。 この分析により、ノイズ感度スペクトルのテールを増幅することなく、支配的な低ランクスパイク部分空間を抑圧するスパイク対応最適化器であるSpectraを提案する。 Spectraはキャッシュされたウォームスタート・パワー・イテレーションを通じてスパイクサブスペースを追跡し、低ランクのスペクトル・シェーピングを無視可能なオーバーヘッドで適用し、オプティマイザ・ステート・メモリを大幅に削減する。 50BトークンでトレーニングされたLLaMA3 8Bでは、Spectraは同じ目標損失をAdamWよりも30%速く達成し、ステップ毎のオーバーヘッドを0.7%削減し、オプティマイザ状態メモリを49.25%削減し、平均ダウンストリーム精度を1.62%向上した。 Muonと比較すると、Spectraはオプティマイザ処理時間では5.1倍速く、最終損失は低く、平均精度は0.66%向上する。

関連論文リスト

• SpectralShift: Effective Context Window Extension of Gated DeltaNet via Spectral Reparameterization [47.04140386983309]
  遷移行列のスペクトルの観点からGated DeltaNet(GDN)の長文拡張について検討した。 本稿では,GDNの長期連続事前学習のためのスペクトル再パラメータ化手法であるSpectralShiftを提案する。 実験によると、SpectralShiftはトレーニングよりも長いコンテキスト機能を継続的に改善している。
  論文  参考訳（メタデータ） (2026-09-13T06:30:16Z)
• ISO: An RLVR-Native Optimization Stack [50.40395312897848]
  アイソスペクトル最適化(ISO)としてスペクトル継承を運用する オフラインでは、ISO-Mergerは共有ベーススペシャリストのフレーム変更を単一の固定スペクトルモデルに統合する。 オンラインのISO-Mergerは、AdamWやMuonを含む選択されたベースをフレーム変数に適用し、ベーススペクトルを固定する。
  論文  参考訳（メタデータ） (2026-07-21T17:51:36Z)
• Rethinking Muon Beyond Pretraining: Spectral Failures and High-Pass Remedies for VLA and RLVR [37.36050721989701]
  ミューオン (Muon) は、運動量行列の特異値を 1 に向けて駆動することでスペクトル勾配化を強制する行列対応反復である。 Pionは、均一なスペクトル白化を2段階のProgress+Suppressionメカニズムに置き換えながら、その計算効率を維持するMuonの代替品である。
  論文  参考訳（メタデータ） (2026-05-19T03:00:26Z)
• Gradient Clipping Beyond Vector Norms: A Spectral Approach for Matrix-Valued Parameters [48.3175117923623]
  ほとんどの勾配クリッピング規則は、全てのパラメータを重ベクトルとして扱い、現代のベクトルの行列構造を無視する。 実験により、データのアウトリーチは、少数のリード特異値のみを増幅することを示した。 この現象を動機として,特異値で安定化するクリッピングを提案する。
  論文  参考訳（メタデータ） (2026-05-12T09:24:59Z)
• Accelerating Zeroth-Order Spectral Optimization with Partial Orthogonalization from Power Iteration [6.574641780732972]
  我々は,MuonのようなスペクトルがAdamWより優れている隠蔽層トレーニング問題に焦点を当てた。 そのため、Muonの象徴的なNewton-Schulz手順を、より高速でより集中的なパワーイテレーション手法で置き換える。 本手法はZO-Muonの収束速度を1.5倍から4倍にすることができる。
  論文  参考訳（メタデータ） (2026-05-09T16:16:45Z)
• Enhancing LLM Training via Spectral Clipping [28.270053200038586]
  SPECTRAは、スペクトル-ノルム制約を強制する更新のスペクトル後クリッピングのためのフレームワークである。 我々は、SPECTRAがAdamW、Signum、AdEMAMixなどの様々なバリデーションの損失を均一に改善することを示す。
  論文  参考訳（メタデータ） (2026-03-15T10:16:40Z)
• $\ abla$-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space [71.23672814629448]
  $nabla$-Reasonerは、トークンログに対する差別化可能な最適化をデコードループに統合する反復生成フレームワークである。 $nabla$-Reasonerは、挑戦的な数学的推論ベンチマークで20%以上の精度の向上を実現している。
  論文  参考訳（メタデータ） (2026-03-05T08:42:54Z)
• Residual Koopman Spectral Profiling for Predicting and Preventing Transformer Training Instability [40.24077350481118]
  トランスフォーマーのトレーニングのばらつきは計算を無駄にするが、実践者は高価なランニングの開始後にのみ不安定を発見する。 我々はRKSP(Residual Koopman Spectral Profiling)について検討した。 我々の中心的な診断は、近単位スペクトル質量であり、単位円の近くに集中したモードの分画を定量化し、不安定なリスクを捉えます。
  論文  参考訳（メタデータ） (2026-02-26T13:33:25Z)
• Spectral Gating Networks [65.9496901693099]
  我々は、フィードフォワードネットワークに周波数リッチな表現性を導入するために、スペクトルゲーティングネットワーク(SGN)を導入する。 SGNは、標準活性化経路をコンパクトなスペクトル経路と学習可能なゲートで拡張し、安定したベース動作からモデルを開始することができる。 計算予算に匹敵する精度と効率のトレードオフを継続的に改善する。
  論文  参考訳（メタデータ） (2026-02-07T20:00:49Z)
• What Really Matters in Matrix-Whitening Optimizers? [99.7641280234926]
  行列白化法は要素的に確実に優れていることを示す。 ベト・アダプテッド・バージョンは、サイン・ディフレッシュ・バージョンよりも一貫して上回っている。 低ランク分散推定器は性能損失を伴わずにメモリコストを効果的に削減できる。
  論文  参考訳（メタデータ） (2025-10-28T21:59:49Z)
• Natural Spectral Fusion: p-Exponent Cyclic Scheduling and Early Decision-Boundary Alignment in First-Order Optimization [11.323131201168572]
  自然スペクトル融合(NSF: Natural Spectral Fusion: NSF: Reframing training as controllable spectrum coverage and information fusion)を提案する。 NSFには2つの基本原理がある: バランスを動的に低周波と高周波の情報を扱うスペクトルコントローラとして扱う。 循環スケジューリングはテストエラーを一定に低減し、異なる収束挙動を示す。
  論文  参考訳（メタデータ） (2025-09-05T00:00:00Z)
• Metis: Training LLMs with FP4 Quantization [28.596611044555306]
  メティス(Metis)は、異方性スペクトルを独立量子化のためのより狭い部分分布に分割するフレームワークである。 100Bトークンで訓練されたLLaMA-3 8Bでは、メティスは重量、アクティベーション、勾配のFP4量子化による堅牢なW4A4G4トレーニングを可能にする。
  論文  参考訳（メタデータ） (2025-08-30T08:09:08Z)
• SpectrumFM: A Foundation Model for Intelligent Spectrum Management [99.08036558911242]
  既存のインテリジェントスペクトル管理手法は、通常は小規模モデルに基づいており、認識精度、収束速度、一般化の顕著な制限に悩まされている。 本稿では、スペクトルFMと呼ばれる新しいスペクトル基盤モデルを提案し、スペクトル管理のための新しいパラダイムを確立する。 実験により、SpectrumFMは精度、堅牢性、適応性、少数ショット学習効率、収束速度の点で優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-05-02T04:06:39Z)
• Chirp Localization via Fine-Tuned Transformer Model: A Proof-of-Concept Study [0.23020018305241333]
  脳波スペクトログラムのチャープ様パターンは発作ダイナミクスの鍵となるバイオマーカーである。 本研究では、視覚変換器(ViT)モデルとローランド適応(LoRA)を微調整することで、このギャップを埋める。 我々は、チャープパラメータを持つ10万のスペクトログラムを生成し、チャープローカライゼーションのための最初の大規模ベンチマークを作成した。
  論文  参考訳（メタデータ） (2025-03-24T14:27:07Z)
• AdaGC: Improving Training Stability for Large Language Model Pretraining [18.163318397205533]
  大きなLanguageText Models(LLM)は、スケーリング中に損失の急増に直面します。 グローバルなクリッピングがこれを緩和する一方で、従来のアプローチは特定のバリエーションを緩和する。 我々は,AdaGCがグローバルクリッピングよりも25%早く収束していることを示す。
  論文  参考訳（メタデータ） (2025-02-16T08:13:23Z)
• SPAM: Spike-Aware Adam with Momentum Reset for Stable LLM Training [60.9776082805359]
  大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示しているが、そのトレーニングは、非常にリソース集約的で、トレーニングの不安定性に影響を受けやすいままである。 本稿では,LLMトレーニング中に観測された勾配スパイクを包括的に調査し,複数のアーキテクチャやデータセットにまたがる傾向を明らかにする。 本稿では,モーメントムリセットを用いたスパイク・アウェア・アダムを提案し,モーメントムリセットとスパイク・アウェア・クリッピングによる勾配スパイク対策について述べる。
  論文  参考訳（メタデータ） (2025-01-12T15:21:22Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。