論文の概要: Newton-Based Methods for Bilevel Optimization Beyond Lower-Level Strong Convexity

• arxiv url: http://arxiv.org/abs/2610.26839v1
• Date: Mon, 19 Oct 2026 17:58:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 01:00:55.852117
• Title: Newton-Based Methods for Bilevel Optimization Beyond Lower-Level Strong Convexity
• Title（参考訳）: 低レベル強凸を超える二レベル最適化のためのニュートン法
• Abstract要約: バイレベル最適化は、ハイパーパラメータ最適化、データ再重み付け、メタラーニングといった機械学習タスクのためのフレームワークを提供する。 既存のニュートンベースの双レベル法は典型的には古典的な過次式に頼っているが、これは一般に、下層解が非特異であり、下層ヘシアンが特異であるときに利用できない。 低レベルおよび乗算器更新で共有される曲率を利用して、低レベルの強い凸性を超えた2つのニュートン法を開発した。 合成問題, データの超クリーン化, GPT-2データ再重み付け実験は, 異なる二段階学習課題における提案手法を評価する。
• 参考スコア（独自算出の注目度）: 20.90790835053714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bilevel optimization provides a framework for machine learning tasks such as hyperparameter optimization, data reweighting, and meta-learning. Existing Newton-based bilevel methods typically rely on the classical hypergradient formula, which is generally unavailable when lower-level solutions are nonunique and the lower-level Hessian is singular. We develop two Newton-based methods beyond lower-level strong convexity by exploiting curvature shared by the lower-level and multiplier updates. Newton-based GALET handles potentially singular lower-level curvature under a positive spectral-gap condition, exploiting its range structure to avoid the squared-Hessian multiplier system used in GALET. Newton-based BAMM uses a strongly convex aggregation model when the lower-level objective is convex and the upper-level objective is strongly convex in the lower-level variable. We establish convergence guarantees and improved complexity bounds relative to GALET and sl-BAMM under the corresponding assumptions. We further introduce GNBO, a generalized Newton-based framework that captures the shared-curvature structure of the proposed methods and several existing Newton and quasi-Newton bilevel methods. Experiments on synthetic problems, data hyper-cleaning, and GPT-2 data reweighting evaluate the proposed methods across different bilevel learning tasks.
• Abstract（参考訳）: バイレベル最適化は、ハイパーパラメータ最適化、データ再重み付け、メタラーニングといった機械学習タスクのためのフレームワークを提供する。 既存のニュートンベースの双レベル法は典型的には古典的な過次式に頼っているが、これは一般に、下層解が非特異であり、下層ヘシアンが特異であるときに利用できない。 低レベルおよび乗算器更新で共有される曲率を利用して、低レベルの強い凸性を超えた2つのニュートン法を開発した。 ニュートンベースのGALETは、正のスペクトルギャップ条件下で、潜在的に特異な下層曲率を扱い、GALETで使用される正方形ヘッセン乗算系を避けるために、そのレンジ構造を利用する。 ニュートンをベースとしたBAMMは、下層目標が凸であり、上層目標が下層変数が凸である場合、強凸凝集モデルを用いる。 我々は,GALETおよびsl-BAMMに対する収束保証と複雑性境界の改善を,対応する仮定の下で確立する。 さらに,提案手法の共有曲率構造と,既存のニュートン法と準ニュートン法を両立する一般化されたニュートン系フレームワークであるGNBOを紹介する。 合成問題, データの超クリーン化, GPT-2データ再重み付け実験は, 異なる二段階学習課題における提案手法を評価する。

関連論文リスト

• Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates [50.36933471975506]
  各成分関数が強く凸であり、リプシッツ連続勾配とヘシアンを持つ有限和最適化問題を考える。 最近提案されたインクリメンタル準ニュートン法は、BFGSの更新に基づいて、局所的な超線形収束率を達成する。 本稿では、対称ランク1更新をインクリメンタルフレームワークに組み込むことにより、より効率的な準ニュートン法を提案する。
  論文  参考訳（メタデータ） (2024-02-04T05:54:51Z)
• Contextual Stochastic Bilevel Optimization [50.36775806399861]
  文脈情報と上層変数の期待を最小化する2レベル最適化フレームワークCSBOを導入する。 メタラーニング、パーソナライズドラーニング、エンド・ツー・エンドラーニング、Wassersteinはサイド情報(WDRO-SI)を分散的に最適化している。
  論文  参考訳（メタデータ） (2023-10-27T23:24:37Z)
• A Generalized Alternating Method for Bilevel Learning under the Polyak-{\L}ojasiewicz Condition [63.66516306205932]
  バイレベル最適化は、その新興機械学習分野への応用により、最近、関心を取り戻している。 最近の結果は、単純な反復に基づくイテレーションは、低レベルな目標の凸に起因する利害と一致することを示しています。
  論文  参考訳（メタデータ） (2023-06-04T17:54:11Z)
• FEDNEST: Federated Bilevel, Minimax, and Compositional Optimization [53.78643974257301]
  多くの現代のML問題は、ミニマックスと合成最適化を仮定したネストされた双レベルプログラミングに該当する。 我々は、一般的なネスト問題に対処するフェデレーション付き交互勾配法を提案する。
  論文  参考訳（メタデータ） (2022-05-04T17:48:55Z)
• Inexact bilevel stochastic gradient methods for constrained and unconstrained lower-level problems [0.0]
  2段階の定式探索最適化は多くの機械学習の文脈で有効になっている。 2階微分を必要としない新しい低ランク二階勾配法が開発されている。
  論文  参考訳（メタデータ） (2021-10-01T18:20:14Z)
• Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
  目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる 新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
  論文  参考訳（メタデータ） (2021-05-13T04:23:07Z)
• A Generic Descent Aggregation Framework for Gradient-based Bi-level Optimization [41.894281911990554]
  両レベル学習タスクのための新しいBDA(Bi-level Descent Aggregation)フレームワークを開発した。 BDAは上層と下層の両方の階層的目的を集約する。 従来の勾配に基づくbiレベル法の収束結果を改善するための新しい証明法を提案する。
  論文  参考訳（メタデータ） (2021-02-16T06:58:12Z)
• A Generic First-Order Algorithmic Framework for Bi-Level Programming Beyond Lower-Level Singleton [49.23948907229656]
  Bi-level Descent Aggregationは、汎用的な双方向最適化のためのフレキシブルでモジュール化されたアルゴリズムフレームワークである。 LLS条件なしでBDAの収束を証明する新しい手法を導出する。 我々の研究は、BDAが特定の一階計算モジュールの検証と互換性があることも示している。
  論文  参考訳（メタデータ） (2020-06-07T05:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。