論文の概要: Fine-grained Analysis of Stability and Generalization for Stochastic Bilevel Optimization

• arxiv url: http://arxiv.org/abs/2604.04090v1
• Date: Sun, 05 Apr 2026 12:12:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.914398
• Title: Fine-grained Analysis of Stability and Generalization for Stochastic Bilevel Optimization
• Title（参考訳）: 確率的二値最適化のための安定性と一般化の微粒化解析
• Abstract要約: バイレベル最適化(SBO)は、最近多くの機械学習パラダイムに統合されている。 本稿では,二段階最適化手法の体系的解析について述べる。 結果は再読解を必要とせず、より汎用的な目的関数に適用できる。
• 参考スコア（独自算出の注目度）: 71.33048115652474
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stochastic bilevel optimization (SBO) has been integrated into many machine learning paradigms recently, including hyperparameter optimization, meta learning, and reinforcement learning. Along with the wide range of applications, there have been numerous studies on the computational behavior of SBO. However, the generalization guarantees of SBO methods are far less understood from the lens of statistical learning theory. In this paper, we provide a systematic generalization analysis of the first-order gradient-based bilevel optimization methods. Firstly, we establish the quantitative connections between the on-average argument stability and the generalization gap of SBO methods. Then, we derive the upper bounds of on-average argument stability for single-timescale stochastic gradient descent (SGD) and two-timescale SGD, where three settings (nonconvex-nonconvex (NC-NC), convex-convex (C-C), and strongly-convex-strongly-convex (SC-SC)) are considered respectively. Experimental analysis validates our theoretical findings. Compared with the previous algorithmic stability analysis, our results do not require reinitializing the inner-level parameters at each iteration and are applicable to more general objective functions.
• Abstract（参考訳）: 確率的二レベル最適化(SBO)は最近、ハイパーパラメータ最適化、メタラーニング、強化学習など、多くの機械学習パラダイムに統合されている。 幅広い応用とともに、SBOの計算挙動に関する研究も数多く行われている。 しかし、SBO法の一般化保証は統計的学習理論のレンズからははるかに理解されていない。 本稿では,一階勾配に基づく二段階最適化手法の系統的一般化解析について述べる。 まず,SBO法の平均引数安定性と一般化ギャップの定量的関係を確立する。 次に,SGD(Single-timescale stochastic gradient descent)とSGD(Single-timescale SGD)の3つの設定(nonconvex-nonconvex (NC-NC),convex-convex (C-C),strong-convex-strongly-convex (SC-SC))をそれぞれ検討した。 実験分析により理論的知見が得られた。 従来のアルゴリズムの安定性解析と比較すると,各反復における内層パラメータの再初期化は不要であり,より汎用的な目的関数に適用可能である。

関連論文リスト

• Sharper Analysis of Single-Loop Methods for Bilevel Optimization [81.36947969465848]
  単一ループ擬似微分 (AID) 法と反復微分 (ITD) 法に対して, よりシャープな収束結果を確立する。 エラーが$mathcalO(2)$であることを証明する。
  論文  参考訳（メタデータ） (2026-07-11T11:41:42Z)
• Learning Theory of the SVRG: Generalization and Convergence Analysis [20.643275323974425]
  ばらつき低減法 (VR) は, 分散度を低下させる勾配を用いており, その効率性から機械学習における大規模最適化問題の解法として広く応用されている。 本研究は,SVRG(行動可変化グラディエント)をアルゴリズム的安定性のレンズを用いて,代表的VR手法の非空的解析法を開発した。
  論文  参考訳（メタデータ） (2026-05-27T14:17:00Z)
• Stability and Generalization for Stochastic Recursive Momentum-based Algorithms for (Strongly-)Convex One to $K$-Level Stochastic Optimizations [20.809499420384256]
  STORMベースのアルゴリズムは、K$レベル(K geq 3$)の最適化問題を解決するために広く開発されている。 本稿では,STORMに基づく3つの代表的なアルゴリズムを包括的に分析する。
  論文  参考訳（メタデータ） (2024-07-07T07:07:04Z)
• Stability and Generalization of Stochastic Compositional Gradient Descent Algorithms [61.59448949684493]
  学習例から構築した合成降下アルゴリズムの安定性と一般化解析について述べる。 SCGD と SCSC という2つの一般的な合成勾配勾配勾配アルゴリズムの均一安定性について検討した。 SCGD と SCSC の非依存的過剰リスク境界は,安定性結果と最適化誤差をトレードオフすることによって導出する。
  論文  参考訳（メタデータ） (2023-07-07T02:40:09Z)
• On Stability and Generalization of Bilevel Optimization Problem [39.662459636180174]
  (確率的)バイレベル最適化は、幅広いアプリケーションを持つ機械学習において頻繁に発生する問題である。 まず、安定性とエラーを異なる形で関連付けることで、前のベストな結果を改善する高い確率を与える。 次に、両外層パラメータが連続している場合に、外層パラメータのみを更新できるのに対して、第1の安定性を提供する。
  論文  参考訳（メタデータ） (2022-10-03T16:22:57Z)
• NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
  2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。 NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。 我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
  論文  参考訳（メタデータ） (2022-09-29T16:54:53Z)
• Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability [107.65337427333064]
  AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。 本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。 3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
  論文  参考訳（メタデータ） (2022-09-27T09:06:37Z)
• Gradient Descent Averaging and Primal-dual Averaging for Strongly Convex Optimization [15.731908248435348]
  強凸の場合の勾配降下平均化と主双進平均化アルゴリズムを開発する。 一次二重平均化は出力平均化の観点から最適な収束率を導出し、SC-PDAは最適な個々の収束を導出する。 SVMとディープラーニングモデルに関するいくつかの実験は、理論解析の正確性とアルゴリズムの有効性を検証する。
  論文  参考訳（メタデータ） (2020-12-29T01:40:30Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• A Dynamical Systems Approach for Convergence of the Bayesian EM Algorithm [59.99439951055238]
  我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。 本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。 高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-23T01:34:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。