論文の概要: Fine-grained Analysis of Stability and Generalization for Stochastic Bilevel Optimization

• arxiv url: http://arxiv.org/abs/2604.04090v1
• Date: Sun, 05 Apr 2026 12:12:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.914398
• Title: Fine-grained Analysis of Stability and Generalization for Stochastic Bilevel Optimization
• Title（参考訳）: 確率的二値最適化のための安定性と一般化の微粒化解析
• Authors: Xuelin Zhang, Hong Chen, Bin Gu, Tieliang Gong, Feng Zheng,
• Abstract要約: バイレベル最適化(SBO)は、最近多くの機械学習パラダイムに統合されている。 本稿では,二段階最適化手法の体系的解析について述べる。 結果は再読解を必要とせず、より汎用的な目的関数に適用できる。
• 参考スコア（独自算出の注目度）: 71.33048115652474
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stochastic bilevel optimization (SBO) has been integrated into many machine learning paradigms recently, including hyperparameter optimization, meta learning, and reinforcement learning. Along with the wide range of applications, there have been numerous studies on the computational behavior of SBO. However, the generalization guarantees of SBO methods are far less understood from the lens of statistical learning theory. In this paper, we provide a systematic generalization analysis of the first-order gradient-based bilevel optimization methods. Firstly, we establish the quantitative connections between the on-average argument stability and the generalization gap of SBO methods. Then, we derive the upper bounds of on-average argument stability for single-timescale stochastic gradient descent (SGD) and two-timescale SGD, where three settings (nonconvex-nonconvex (NC-NC), convex-convex (C-C), and strongly-convex-strongly-convex (SC-SC)) are considered respectively. Experimental analysis validates our theoretical findings. Compared with the previous algorithmic stability analysis, our results do not require reinitializing the inner-level parameters at each iteration and are applicable to more general objective functions.
• Abstract（参考訳）: 確率的二レベル最適化(SBO)は最近、ハイパーパラメータ最適化、メタラーニング、強化学習など、多くの機械学習パラダイムに統合されている。 幅広い応用とともに、SBOの計算挙動に関する研究も数多く行われている。 しかし、SBO法の一般化保証は統計的学習理論のレンズからははるかに理解されていない。 本稿では,一階勾配に基づく二段階最適化手法の系統的一般化解析について述べる。 まず,SBO法の平均引数安定性と一般化ギャップの定量的関係を確立する。 次に,SGD(Single-timescale stochastic gradient descent)とSGD(Single-timescale SGD)の3つの設定(nonconvex-nonconvex (NC-NC),convex-convex (C-C),strong-convex-strongly-convex (SC-SC))をそれぞれ検討した。 実験分析により理論的知見が得られた。 従来のアルゴリズムの安定性解析と比較すると,各反復における内層パラメータの再初期化は不要であり,より汎用的な目的関数に適用可能である。

関連論文リスト

• Stability and Generalization for Stochastic Recursive Momentum-based Algorithms for (Strongly-)Convex One to $K$-Level Stochastic Optimizations [20.809499420384256]
  STORMベースのアルゴリズムは、K$レベル(K geq 3$)の最適化問題を解決するために広く開発されている。 本稿では,STORMに基づく3つの代表的なアルゴリズムを包括的に分析する。
  論文  参考訳（メタデータ） (2024-07-07T07:07:04Z)
• Stability and Generalization of Stochastic Compositional Gradient Descent Algorithms [61.59448949684493]
  学習例から構築した合成降下アルゴリズムの安定性と一般化解析について述べる。 SCGD と SCSC という2つの一般的な合成勾配勾配勾配アルゴリズムの均一安定性について検討した。 SCGD と SCSC の非依存的過剰リスク境界は,安定性結果と最適化誤差をトレードオフすることによって導出する。
  論文  参考訳（メタデータ） (2023-07-07T02:40:09Z)
• On Stability and Generalization of Bilevel Optimization Problem [39.662459636180174]
  (確率的)バイレベル最適化は、幅広いアプリケーションを持つ機械学習において頻繁に発生する問題である。 まず、安定性とエラーを異なる形で関連付けることで、前のベストな結果を改善する高い確率を与える。 次に、両外層パラメータが連続している場合に、外層パラメータのみを更新できるのに対して、第1の安定性を提供する。
  論文  参考訳（メタデータ） (2022-10-03T16:22:57Z)
• NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
  2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。 NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。 我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
  論文  参考訳（メタデータ） (2022-09-29T16:54:53Z)
• Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability [107.65337427333064]
  AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。 本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。 3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
  論文  参考訳（メタデータ） (2022-09-27T09:06:37Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。