論文の概要: Efficient Curvature-Aware Hypergradient Approximation for Bilevel Optimization
- arxiv url: http://arxiv.org/abs/2505.02101v1
- Date: Sun, 04 May 2025 13:13:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-06 18:49:35.425444
- Title: Efficient Curvature-Aware Hypergradient Approximation for Bilevel Optimization
- Title（参考訳）: 2レベル最適化のための効率よく曲率を考慮した過次近似
- Authors: Youran Dong, Junfeng Yang, Wei Yao, Jin Zhang,
- Abstract要約: バイレベル最適化は多くの機械学習問題に対して強力なツールである。
過勾配の近似に曲率情報を組み込む手法を提案する。
結果の高次化に基づく新しいアルゴリズムフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 10.939142192058004
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bilevel optimization is a powerful tool for many machine learning problems, such as hyperparameter optimization and meta-learning. Estimating hypergradients (also known as implicit gradients) is crucial for developing gradient-based methods for bilevel optimization. In this work, we propose a computationally efficient technique for incorporating curvature information into the approximation of hypergradients and present a novel algorithmic framework based on the resulting enhanced hypergradient computation. We provide convergence rate guarantees for the proposed framework in both deterministic and stochastic scenarios, particularly showing improved computational complexity over popular gradient-based methods in the deterministic setting. This improvement in complexity arises from a careful exploitation of the hypergradient structure and the inexact Newton method. In addition to the theoretical speedup, numerical experiments demonstrate the significant practical performance benefits of incorporating curvature information.
- Abstract（参考訳）: 双レベル最適化は、ハイパーパラメータ最適化やメタラーニングなど、多くの機械学習問題に対して強力なツールである。
双レベル最適化のための勾配に基づく手法を開発するには、過次勾配(暗黙的勾配)の推定が不可欠である。
本研究では,曲線情報をハイパーグラディエント近似に組み込む計算効率のよい手法を提案し,その結果を拡張したハイパーグラディエント計算に基づく新しいアルゴリズムフレームワークを提案する。
本稿では,決定論的シナリオと確率論的シナリオの両方において,提案手法の収束率を保証する。
この複雑さの改善は、過次構造と不正確なニュートン法を慎重に利用することから生じる。
理論的なスピードアップに加えて、数値実験は曲率情報を組み込むことによる重要な実用上の利点を実証している。
関連論文リスト
- qNBO: quasi-Newton Meets Bilevel Optimization [26.0555315825777]
階層的な学習タスクにおける課題に対処するバイレベル最適化は、機械学習に大きな関心を集めている。
我々はこれらの計算課題に協調的に対処するための一般的な枠組みを導入する。
具体的には、準ニュートンアルゴリズムを利用して、逆ヘッセンベクトル積を効率的に近似しながら、下層問題の解法を高速化する。
論文 参考訳（メタデータ） (2025-02-03T05:36:45Z) - Towards Differentiable Multilevel Optimization: A Gradient-Based Approach [1.6114012813668932]
本稿では,多レベル最適化のための新しい勾配に基づくアプローチを提案する。
本手法は解の精度と収束速度を両立させながら計算複雑性を著しく低減する。
私たちの知る限りでは、これは暗黙の微分の一般的なバージョンを提供する最初のアルゴリズムの1つである。
論文 参考訳（メタデータ） (2024-10-15T06:17:59Z) - Optimal Guarantees for Algorithmic Reproducibility and Gradient
Complexity in Convex Optimization [55.115992622028685]
以前の研究は、一階法はより良い収束率(漸進収束率)をトレードオフする必要があることを示唆している。
最適複雑性と準最適収束保証の両方を、滑らかな凸最小化と滑らかな凸最小化問題に対して達成できることを実証する。
論文 参考訳（メタデータ） (2023-10-26T19:56:52Z) - Efficient Gradient Approximation Method for Constrained Bilevel
Optimization [2.0305676256390934]
大規模高次元データを用いたバイレベル最適化が開発されている。
本稿では凸と微分不可能な近似を伴う制約付き二値問題について考察する。
論文 参考訳（メタデータ） (2023-02-03T19:34:56Z) - Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。
厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。
このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
論文 参考訳（メタデータ） (2021-11-29T15:10:09Z) - SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。
特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
論文 参考訳（メタデータ） (2021-06-15T15:16:28Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。