論文の概要: Adaptive Algorithms with Sharp Convergence Rates for Stochastic Hierarchical Optimization

• arxiv url: http://arxiv.org/abs/2509.15399v1
• Date: Thu, 18 Sep 2025 20:17:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 18:18:10.890397
• Title: Adaptive Algorithms with Sharp Convergence Rates for Stochastic Hierarchical Optimization
• Title（参考訳）: 確率階層最適化のためのシャープ収束率を持つ適応アルゴリズム
• Authors: Xiaochuan Gong, Jie Hao, Mingrui Liu,
• Abstract要約: 階層最適化問題に対する新しい適応アルゴリズムを提案する。 我々のアルゴリズムは、ノイズレベルの事前の知識なしに、鋭い収束率を達成する。 合成および深層学習タスクの実験は,提案アルゴリズムの有効性を実証する。
• 参考スコア（独自算出の注目度）: 31.032959636901086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hierarchical optimization refers to problems with interdependent decision variables and objectives, such as minimax and bilevel formulations. While various algorithms have been proposed, existing methods and analyses lack adaptivity in stochastic optimization settings: they cannot achieve optimal convergence rates across a wide spectrum of gradient noise levels without prior knowledge of the noise magnitude. In this paper, we propose novel adaptive algorithms for two important classes of stochastic hierarchical optimization problems: nonconvex-strongly-concave minimax optimization and nonconvex-strongly-convex bilevel optimization. Our algorithms achieve sharp convergence rates of $\widetilde{O}(1/\sqrt{T} + \sqrt{\bar{\sigma}}/T^{1/4})$ in $T$ iterations for the gradient norm, where $\bar{\sigma}$ is an upper bound on the stochastic gradient noise. Notably, these rates are obtained without prior knowledge of the noise level, thereby enabling automatic adaptivity in both low and high-noise regimes. To our knowledge, this work provides the first adaptive and sharp convergence guarantees for stochastic hierarchical optimization. Our algorithm design combines the momentum normalization technique with novel adaptive parameter choices. Extensive experiments on synthetic and deep learning tasks demonstrate the effectiveness of our proposed algorithms.
• Abstract（参考訳）: 階層最適化 (hierarchical optimization) とは、最小値や二値の定式化のような、相互に依存する決定変数や目的に関する問題を指す。 様々なアルゴリズムが提案されているが、既存の手法や分析は確率的最適化設定における適応性を欠いている。 本稿では, 確率的階層最適化の2つの重要なクラスに対して, 非凸-強凸-極小最適化と非凸-強凸二値最適化という新しい適応アルゴリズムを提案する。 我々のアルゴリズムは、勾配ノルムに対する$T$反復に対して$\widetilde{O}(1/\sqrt{T} + \sqrt{\bar{\sigma}}/T^{1/4})$の鋭収束率を得る。 特に、これらの速度は騒音レベルの事前の知識なしに得られるため、低雑音と高雑音の両方で自動適応性を実現することができる。 我々の知る限り、この研究は確率的階層最適化のための適応的で鋭い収束保証を提供する。 我々のアルゴリズム設計は、運動量正規化手法と新しい適応パラメータ選択を組み合わせたものである。 合成および深層学習タスクに関する大規模な実験により,提案アルゴリズムの有効性が示された。

関連論文リスト

• Nonconvex Decentralized Stochastic Bilevel Optimization under Heavy-Tailed Noises [27.097405340259325]
  既存の分散最適化手法では、低レベル損失関数は強い凸であり、勾配ノイズは有限分散である。 これは、重み付き雑音の下で厳密な理論的保証を持つ最初の分散二レベルアルゴリズムである。
  論文  参考訳（メタデータ） (2025-09-19T02:51:19Z)
• Adam assisted Fully informed Particle Swarm Optimization ( Adam-FIPSO ) based Parameter Prediction for the Quantum Approximate Optimization Algorithm (QAOA) [1.024113475677323]
  量子近似最適化アルゴリズム(Quantum Approximate Optimization Algorithm, QAOA)は、マックス・カット問題などの最適化問題の解法として用いられる顕著な変分アルゴリズムである。 QAOAの重要な課題は、高品質なソリューションにつながる適切なパラメータを効率的に特定することである。
  論文  参考訳（メタデータ） (2025-06-07T13:14:41Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [61.98523595657983]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Efficiently Escaping Saddle Points in Bilevel Optimization [48.925688192913]
  バイレベル最適化は、機械学習における問題の1つだ。 双レベル最適化の最近の進歩は、最初の基本的非適応的多段階解析に収束する。
  論文  参考訳（メタデータ） (2022-02-08T07:10:06Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Adaptive First-and Zeroth-order Methods for Weakly Convex Stochastic Optimization Problems [12.010310883787911]
  我々は、弱凸(おそらく非滑らかな)最適化問題の重要なクラスを解くための、適応的な段階的な新しい手法の族を解析する。 実験結果から,提案アルゴリズムが0次勾配降下と設計変動を経験的に上回ることを示す。
  論文  参考訳（メタデータ） (2020-05-19T07:44:52Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。