論文の概要: Sharper Analysis of Single-Loop Methods for Bilevel Optimization

• arxiv url: http://arxiv.org/abs/2607.10263v1
• Date: Sat, 11 Jul 2026 11:41:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.365273
• Title: Sharper Analysis of Single-Loop Methods for Bilevel Optimization
• Title（参考訳）: 2レベル最適化のための単ループ法のシャーパ解析
• Abstract要約: 単一ループ擬似微分 (AID) 法と反復微分 (ITD) 法に対して, よりシャープな収束結果を確立する。 エラーが$mathcalO(2)$であることを証明する。
• 参考スコア（独自算出の注目度）: 81.36947969465848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bilevel optimization underpins many machine learning applications, including hyperparameter optimization, meta-learning, neural architecture search, and reinforcement learning. While hypergradient-based methods have advanced significantly, a gap persists between theoretical guarantees and practical single-loop implementations required for efficiency. We bridge this gap by establishing sharper convergence results for single-loop approximate implicit differentiation (AID) and iterative differentiation (ITD) methods, leveraging our proposed analytical framework, decoupled norm analysis (DNA). For AID, we improve the convergence rate from $\mathcal{O}(κ^6/K)$ to $\mathcal{O}(κ^5/K)$, where $κ$ is the condition number of the inner-level problem. For ITD, we prove that the asymptotic error is $\mathcal{O}(κ^2)$, exactly matching the known lower bound and improving upon the previous $\mathcal{O}(κ^3)$ guarantee. Numerical experiments on synthetic and real tasks corroborate our theoretical findings.
• Abstract（参考訳）: 双レベル最適化は、ハイパーパラメータ最適化、メタラーニング、ニューラルアーキテクチャサーチ、強化ラーニングなど、多くの機械学習アプリケーションを支える。 過勾配に基づく手法は著しく進歩しているが、理論的な保証と効率性に要求される実践的な単一ループ実装の間にはギャップが持続している。 このギャップは, 単ループ近似暗黙差分法 (AID) と反復差分法 (ITD) の手法に対して, よりシャープな収束結果を確立することにより橋渡しされる。 AID の場合、収束率を $\mathcal{O}(κ^6/K)$ から $\mathcal{O}(κ^5/K)$ に改善する。 ITD の場合、漸近誤差が $\mathcal{O}(κ^2)$ であることを証明する。 合成および実タスクに関する数値実験は、我々の理論的知見を裏付けるものである。

関連論文リスト

• Fine-grained Analysis of Stability and Generalization for Stochastic Bilevel Optimization [71.33048115652474]
  バイレベル最適化(SBO)は、最近多くの機械学習パラダイムに統合されている。 本稿では,二段階最適化手法の体系的解析について述べる。 結果は再読解を必要とせず、より汎用的な目的関数に適用できる。
  論文  参考訳（メタデータ） (2026-04-05T12:12:58Z)
• On the Convergence of Single-Loop Stochastic Bilevel Optimization with Approximate Implicit Differentiation [44.084531611147305]
  単一ループ近似インプリシト差分法(SSAID)アルゴリズムの洗練された収束解析を行う。 i) 最適な$mathcalO(-2)$最先端のマルチループメソッドのレートと一致し、 (ii) $-dependenceの最初の明示的できめ細かい特徴を提供する。
  論文  参考訳（メタデータ） (2026-02-27T03:12:08Z)
• Learning Provably Improves the Convergence of Gradient Descent [6.777975824808536]
  最適化のために(L2O)ディープネットワークベースのソルバを最適化するために二次性を学ぶ。 我々は L2O が自身の収束フレームワークの理論的裏付けを欠いていることを示す。 理論的結果を支援するための決定論的戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-30T02:03:30Z)
• Extended convexity and smoothness and their applications in deep learning [5.281849820329249]
  本稿では,ディープラーニングにおける非滑らかな最適化のメカニズムを明らかにすることを目的とする。 解析の結果、勾配降下法(SGD)アルゴリズムは経験的リスクを効果的に最小化できることが示された。
  論文  参考訳（メタデータ） (2024-10-08T08:40:07Z)
• Near-Optimal Non-Convex Stochastic Optimization under Generalized Smoothness [21.865728815935665]
  2つの最近の研究は、$O(epsilon-3)$サンプル複雑性を確立し、$O(epsilon)$-定常点を得る。 しかし、どちらも$mathrmploy(epsilon-1)$という大きなバッチサイズを必要とする。 本研究では,STORMアルゴリズムの単純な変種を再検討することにより,従来の2つの問題を同時に解決する。
  論文  参考訳（メタデータ） (2023-02-13T00:22:28Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Convergence of Meta-Learning with Task-Specific Adaptation over Partial Parameters [152.03852111442114]
  モデルに依存しないメタラーニング(MAML)は非常に成功したアルゴリズムメタラーニングの実践であるが、高い計算複雑性を持つ。 本稿では,その複雑さがANILの全体的な収束性能に大きく影響することを示す。
  論文  参考訳（メタデータ） (2020-06-16T19:57:48Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。