論文の概要: Natural Spectral Fusion: p-Exponent Cyclic Scheduling and Early Decision-Boundary Alignment in First-Order Optimization

• arxiv url: http://arxiv.org/abs/2509.04713v1
• Date: Fri, 05 Sep 2025 00:00:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.43084
• Title: Natural Spectral Fusion: p-Exponent Cyclic Scheduling and Early Decision-Boundary Alignment in First-Order Optimization
• Title（参考訳）: 自然スペクトル核融合:p-Exponent Cyclic Schedulingと1次最適化における早期決定境界アライメント
• Authors: Gongyue Zhang, Honghai Liu,
• Abstract要約: 自然スペクトル融合(NSF: Natural Spectral Fusion: NSF: Reframing training as controllable spectrum coverage and information fusion)を提案する。 NSFには2つの基本原理がある: バランスを動的に低周波と高周波の情報を扱うスペクトルコントローラとして扱う。 循環スケジューリングはテストエラーを一定に低減し、異なる収束挙動を示す。
• 参考スコア（独自算出の注目度）: 11.323131201168572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spectral behaviors have been widely discussed in machine learning, yet the optimizer's own spectral bias remains unclear. We argue that first-order optimizers exhibit an intrinsic frequency preference that significantly reshapes the optimization path. To address this, we propose Natural Spectral Fusion (NSF): reframing training as controllable spectral coverage and information fusion rather than merely scaling step sizes. NSF has two core principles: treating the optimizer as a spectral controller that dynamically balances low- and high-frequency information; and periodically reweighting frequency bands at negligible cost, without modifying the model, data, or training pipeline. We realize NSF via a p-exponent extension of the second-moment term, enabling both positive and negative exponents, and implement it through cyclic scheduling. Theory and experiments show that adaptive methods emphasize low frequencies, SGD is near-neutral, and negative exponents amplify high-frequency information. Cyclic scheduling broadens spectral coverage, improves cross-band fusion, and induces early decision-boundary alignment, where accuracy improves even while loss remains high. Across multiple benchmarks, with identical learning-rate strategies and fixed hyperparameters, p-exponent cyclic scheduling consistently reduces test error and demonstrates distinct convergence behavior; on some tasks, it matches baseline accuracy with only one-quarter of the training cost. Overall, NSF reveals the optimizer's role as an active spectral controller and provides a unified, controllable, and efficient framework for first-order optimization.
• Abstract（参考訳）: スペクトルの振る舞いは機械学習で広く議論されてきたが、オプティマイザ自身のスペクトルバイアスは未だ不明である。 我々は、一階最適化器が本質的な周波数優先性を示し、最適化経路を著しく再評価すると主張している。 そこで我々は,Natural Spectral Fusion (NSF): ステップサイズを単にスケーリングするのではなく,制御可能なスペクトルカバレッジと情報融合としてのリフレーミングトレーニングを提案する。 NSFには、低周波と高周波の情報を動的にバランスさせるスペクトルコントローラとしてオプティマイザを扱い、モデルやデータ、トレーニングパイプラインを変更することなく、周波数帯域を無視可能なコストで定期的に重み付けする、という2つの基本原理がある。 第二モーメント項のp-指数拡張によりNSFを実現し、正および負の指数の両方を許容し、循環スケジューリングにより実装する。 理論と実験により、適応法は低周波を強調し、SGDは準中性であり、負の指数は高周波情報を増幅することを示した。 サイクルスケジューリングはスペクトル範囲を広げ、バンド間の融合を改善し、早期決定境界アライメントを誘導する。 同一の学習率戦略と固定されたハイパーパラメータを持つ複数のベンチマークにおいて、p-指数巡回スケジューリングはテストエラーを一貫して減少させ、異なる収束挙動を示す。 全体として、NSFは、アクティブスペクトルコントローラとしてのオプティマイザの役割を明らかにし、一階最適化のための統一的で制御可能で効率的なフレームワークを提供する。

関連論文リスト

• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• KerZOO: Kernel Function Informed Zeroth-Order Optimization for Accurate and Accelerated LLM Fine-Tuning [15.81250204481401]
  本稿では,勾配推定バイアスの軽減を目的としたカーネル関数ベースのZOフレームワークを提案する。 KerZOOは既存のZOベースラインと同等または優れたパフォーマンスを実現している。 本稿では,カーネル関数がZO法における推定バイアスの低減に有効な方法であることを示す。
  論文  参考訳（メタデータ） (2025-05-24T21:56:03Z)
• More Optimal Fractional-Order Stochastic Gradient Descent for Non-Convex Optimization Problems [2.5971517743176915]
  本稿では,FOSGDとFOSGDを統合した2FOSGD法を提案する。 感度と有効次元性を追跡することにより、2SEDFOSGDは指数を動的に変調し、スラグ振動と急収束を緩和する。
  論文  参考訳（メタデータ） (2025-05-05T19:27:36Z)
• Adaptive Bayesian Optimization for Robust Identification of Stochastic Dynamical Systems [4.0148499400442095]
  本稿では,システム係数と雑音分散を含む線形導出システムの同定について述べる。 ベイズ最適化に基づく標本効率のよい大域最適化法を提案する。 実験により、EGPに基づくBOは定常フィルタリングと期待最大化によりMLEを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2025-03-09T01:38:21Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
  ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。 我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
  論文  参考訳（メタデータ） (2023-10-04T21:11:40Z)
• Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
  本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。 トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。 1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
  論文  参考訳（メタデータ） (2022-05-27T11:13:17Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Approximate Inference for Spectral Mixture Kernel [25.087829816206813]
  スペクトル混合核に対する近似ベイズ推定を提案する。 抽出されたエビデンス下界(ELBO)推定器にサンプリングベース変分推定を適用することにより,変分パラメータを最適化する。 提案した推論と2つの戦略が組み合わさってパラメータの収束を加速し、より良いパラメータをもたらす。
  論文  参考訳（メタデータ） (2020-06-12T09:39:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。