論文の概要: A Provably Convergent Plug-and-Play Framework for Stochastic Bilevel Optimization

• arxiv url: http://arxiv.org/abs/2505.01258v1
• Date: Fri, 02 May 2025 13:26:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-05 17:21:20.036977
• Title: A Provably Convergent Plug-and-Play Framework for Stochastic Bilevel Optimization
• Title（参考訳）: 確率的二値最適化のための確率収束型プラグイン・アンド・プレイフレームワーク
• Authors: Tianshu Chu, Dachuan Xu, Wei Yao, Chengming Yu, Jin Zhang,
• Abstract要約: Bilevelは最近、幅広いアプリケーションと高度な階層最適化機能のために、機械学習に大きな注目を集めている。 本稿では,双方向最適化手法の開発と解析を行うためのBOというプラグイン・アンド・プレイフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 4.703514158152835
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bilevel optimization has recently attracted significant attention in machine learning due to its wide range of applications and advanced hierarchical optimization capabilities. In this paper, we propose a plug-and-play framework, named PnPBO, for developing and analyzing stochastic bilevel optimization methods. This framework integrates both modern unbiased and biased stochastic estimators into the single-loop bilevel optimization framework introduced in [9], with several improvements. In the implementation of PnPBO, all stochastic estimators for different variables can be independently incorporated, and an additional moving average technique is applied when using an unbiased estimator for the upper-level variable. In the theoretical analysis, we provide a unified convergence and complexity analysis for PnPBO, demonstrating that the adaptation of various stochastic estimators (including PAGE, ZeroSARAH, and mixed strategies) within the PnPBO framework achieves optimal sample complexity, comparable to that of single-level optimization. This resolves the open question of whether the optimal complexity bounds for solving bilevel optimization are identical to those for single-level optimization. Finally, we empirically validate our framework, demonstrating its effectiveness on several benchmark problems and confirming our theoretical findings.
• Abstract（参考訳）: バイレベル最適化は、幅広いアプリケーションと高度な階層最適化機能のために、最近機械学習に大きな注目を集めている。 本稿では,確率的二段階最適化手法の開発と解析のためのPnPBOというプラグイン・アンド・プレイフレームワークを提案する。 このフレームワークは、[9]で導入されたシングルループバイレベル最適化フレームワークに、現代のバイアスなしおよびバイアス付き確率推定器の両方を統合し、いくつかの改善を加えています。 PnPBOの実装では、異なる変数に対する全ての確率推定器を独立に組み込むことができ、上層変数に対する非バイアス推定器を使用する際に、追加の移動平均手法を適用することができる。 理論解析において,PnPBOフレームワークにおける様々な確率的推定器(PAGE, ZeroSARAH, 混合戦略を含む)の適応は, 単一レベルの最適化に匹敵する最適なサンプル複雑性を実現することを示す。 このことは、双レベル最適化の最適複雑性境界が単レベル最適化の最適複雑性境界と同一であるかどうかという未解決の問題を解決する。 最後に、我々のフレームワークを実証的に検証し、いくつかのベンチマーク問題においてその有効性を実証し、理論的な結果を確認した。

関連論文リスト

• Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
  本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。 本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
  論文  参考訳（メタデータ） (2025-04-04T16:10:18Z)
• Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling [96.47086913559289]
  勾配に基づくアルゴリズムはバイレベル最適化に広く用いられている。 本研究では,より高速な収束率を実現する非置換サンプリングに基づくアルゴリズムを提案する。 合成および実世界の両方のアプリケーションに対してアルゴリズムを検証する。
  論文  参考訳（メタデータ） (2024-11-07T17:05:31Z)
• SPABA: A Single-Loop and Probabilistic Stochastic Bilevel Algorithm Achieving Optimal Sample Complexity [5.046146134689904]
  SPABAを実装する際には,双レベル最適化と単レベル最適化の間に複雑性解析のギャップがないことが示されている。 本稿では,複雑性解析の状況を改善するために,他の2ループあるいはネストした2レベルアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-29T05:36:03Z)
• A Framework for Bilevel Optimization on Riemannian Manifolds [16.15440177316457]
  両レベル最適化問題を解くためのフレームワークを導入する。 本稿では,いくつかの過次推定手法を提案し,その推定誤差を解析する。 フレームワークを拡張し、二段階最適化を包含し、一般的なリトラクションを取り入れます。
  論文  参考訳（メタデータ） (2024-02-06T10:45:51Z)
• Benchmarking PtO and PnO Methods in the Predictive Combinatorial Optimization Regime [59.27851754647913]
  予測最適化(英: Predictive optimization)は、エネルギーコストを意識したスケジューリングや広告予算配分など、多くの現実世界のアプリケーションの正確なモデリングである。 我々は,広告のための新しい産業データセットを含む8つの問題に対して,既存のPtO/PnOメソッド11をベンチマークするモジュラーフレームワークを開発した。 本研究は,8ベンチマーク中7ベンチマークにおいて,PnOアプローチがPtOよりも優れていることを示すが,PnOの設計選択に銀の弾丸は見つからない。
  論文  参考訳（メタデータ） (2023-11-13T13:19:34Z)
• Contextual Stochastic Bilevel Optimization [50.36775806399861]
  文脈情報と上層変数の期待を最小化する2レベル最適化フレームワークCSBOを導入する。 メタラーニング、パーソナライズドラーニング、エンド・ツー・エンドラーニング、Wassersteinはサイド情報(WDRO-SI)を分散的に最適化している。
  論文  参考訳（メタデータ） (2023-10-27T23:24:37Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Batched Data-Driven Evolutionary Multi-Objective Optimization Based on Manifold Interpolation [6.560512252982714]
  バッチ化されたデータ駆動型進化的多目的最適化を実現するためのフレームワークを提案する。 オフザシェルフ進化的多目的最適化アルゴリズムがプラグイン方式で適用できるのは、非常に一般的である。 提案するフレームワークは, より高速な収束と各種PF形状に対する強いレジリエンスを特徴とする。
  論文  参考訳（メタデータ） (2021-09-12T23:54:26Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。