論文の概要: Anytime Training with Schedule-Free Spectral Optimization

• arxiv url: http://arxiv.org/abs/2605.23061v1
• Date: Thu, 21 May 2026 21:50:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.112615
• Title: Anytime Training with Schedule-Free Spectral Optimization
• Title（参考訳）: スケジュールのないスペクトル最適化による任意のトレーニング
• Authors: Anuj Apte, Pranav Deshpande, Niraj Kumar, Shouvanik Chakrabarti, Junhyung Lyle Kim,
• Abstract要約: SF-NorMuonはスケジュールのないスペクトルで、125M と 772M のパラメータ言語モデルで調整された AdamW と、1 ドルから8 ドルの範囲で一致または超える。 調整されたベースラインでパフォーマンスギャップを埋めることによって、SF-Muonは地平線なしの最適化をより実用的なものにし、真にオープンな継続的学習へと一歩踏み出す。
• 参考スコア（独自算出の注目度）: 3.843049855044539
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard neural network training relies on learning-rate schedules tied to a fixed horizon, leading to strong path dependence and costly re-tuning as data availability changes. Schedule-Free (SF) methods address this by removing explicit schedules, yet SF-AdamW, the current state-of-the-art anytime optimizer, consistently underperforms well-tuned AdamW baselines. We propose SF-NorMuon, a schedule-free spectral optimizer that closes this gap: with a single hyperparameter configuration, SF-NorMuon matches or exceeds tuned AdamW on 125M and 772M parameter language models across $1$--$8\times$ Chinchilla horizons. On the theoretical side, we prove a stationarity guarantee for schedule-free spectral dynamics and identify weight decay at the fast iterate as essential for long-horizon stability. SF-NorMuon enables practitioners to obtain high-quality checkpoints at any point during training without committing to a horizon in advance. By closing the performance gap with tuned baselines, SF-NorMuon makes horizon-free optimization more practical, taking a step towards truly open-ended, continual learning.
• Abstract（参考訳）: 標準的なニューラルネットワークトレーニングは、固定された地平線に結びついた学習速度スケジュールに依存しており、データ可用性が変更されるにつれて、強いパス依存とコストのかかる再チューニングにつながる。 スケジュール自由(SF)メソッドは明示的なスケジュールを削除することでこの問題に対処するが、現在の最先端のリアルタイムオプティマイザであるSF-AdamWは、順調に調整されたAdamWベースラインを損なう。 我々は,このギャップを埋めるスケジュールのないスペクトルオプティマイザである SF-NorMuon を提案する: 1つのハイパーパラメータ構成で SF-NorMuon は 125M と 772M のパラメータ言語モデル上で 125M と 772M の AdamW と一致するか,あるいは超える。 理論面では、スケジュールのないスペクトル力学の定常性保証を証明し、高速イテレートにおける重量減衰を長期安定に欠かせないものとみなす。 SF-NorMuonは、トレーニング中に事前に地平線にコミットすることなく、あらゆる点で高品質なチェックポイントを取得できる。 調整されたベースラインでパフォーマンスギャップを埋めることによって、SF-NorMuonは地平線なしの最適化をより実用的なものにし、真にオープンな継続的学習へと一歩踏み出す。

関連論文リスト

• Flash-GRPO: Efficient Alignment for Video Diffusion via One-Step Policy Optimization [69.03519018775779]
  グループ相対政策最適化は、ビデオ拡散モデルと人間の嗜好の整合に不可欠である。 既存の効率の手法は、最適化を妥協し、深刻な不安定を示し、完全な軌道性能に到達できなかった。 Flash-GRPOは,低計算予算下でのアライメント品質において,完全な軌道学習よりも優れた1ステップのトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2026-05-15T14:13:39Z)
• Preserving Foundational Capabilities in Flow-Matching VLAs through Conservative SFT [12.18095306054314]
  ConSFT(Reserve Supervised Fine-Tuning)は、壊滅的な忘れを軽減しつつ、ターゲット分布に適応する最適化目標である。 LIBERO と RoboTwin ベンチマークの ConSFT を最先端のフローマッチング VLA で評価した。
  論文  参考訳（メタデータ） (2026-05-09T10:59:03Z)
• Spectral Gating Networks [65.9496901693099]
  我々は、フィードフォワードネットワークに周波数リッチな表現性を導入するために、スペクトルゲーティングネットワーク(SGN)を導入する。 SGNは、標準活性化経路をコンパクトなスペクトル経路と学習可能なゲートで拡張し、安定したベース動作からモデルを開始することができる。 計算予算に匹敵する精度と効率のトレードオフを継続的に改善する。
  論文  参考訳（メタデータ） (2026-02-07T20:00:49Z)
• Anytime Pretraining: Horizon-Free Learning-Rate Schedules with Weight Averaging [70.05077723711618]
  本研究では, 1-32xChinchillaスケールで学習した言語モデルが時間とともに減衰し, 問題の発生源とキャパシティ条件によって減衰速度が決定されることを示した。 以上の結果から,重み付き平均化と地平線なしのステップサイズを組み合わせることで,大規模言語モデルの事前学習におけるコサイン学習率のスケジュールに代わる実用的で効果的な選択肢が得られることが示唆された。
  論文  参考訳（メタデータ） (2026-02-03T16:24:05Z)
• Elastic Spectral State Space Models for Budgeted Inference [6.579320299248572]
  ファンデーションモデルは一般的に、固定された計算能力でトレーニングされるが、現実のアプリケーションは異なるリソース制約を持つプラットフォームにデプロイする必要がある。 本研究では,フル能力で1回のトレーニングしか必要としないElastic Spectral State Space Model (ES-SSM)を提案する。 本研究では,1回トレーニングしたES-SSMモデルに対して,現代的なTransformerとSSMのベースラインを同様のパラメータスケールで比較して,競合性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2026-01-30T02:58:19Z)
• Controlled LLM Training on Spectral Sphere [76.60985966206746]
  重み付けと更新の両方に厳密なモジュール単位のスペクトル制約を課す textbfSpectral Sphere アルゴリズム (SSO) を導入する。 我々は,MoEルータロードバランシングの改善,外乱抑制,厳密な制限付きアクティベーションなど,重要な実用的安定性の利点を観察した。
  論文  参考訳（メタデータ） (2026-01-13T09:59:47Z)
• Unifying Quadrotor Motion Planning and Control by Chaining Different Fidelity Models [23.059638804041672]
  Uniqueは統一的なMPCであり、単一の最適化内で異なる忠実度のモデルをカスケードする。 水平線に沿った標準的障害物を変形させる3Dプログレッシブ・スムースティング・スケジュールを提案する。 Uniqueは、標準的なMPCや階層的なプランナートラッカーベースラインと比較して、クローズドループ位置または速度トラッキングを最大75%改善する。
  論文  参考訳（メタデータ） (2025-12-13T18:53:34Z)
• Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
  トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。 TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2025-12-10T01:54:57Z)
• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• Learning to Initialize Trajectory Optimization for Vision-Based Autonomous Flight in Unknown Environments [4.0543433786183485]
  未知環境における自律飛行のためのニューラル・エンハンスト・トレイ・プランナー(NEO-Planner)を提案する。 NEO-Plannerは、生のセンサー観測から直接軌道の空間的および時間的パラメータを予測することを学ぶ。 最適化を20%削減し、純粋な最適化手法と比較して軌道時間も26%減少する。
  論文  参考訳（メタデータ） (2023-09-19T15:07:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。