論文の概要: Convergence of Consensus-Based Particle Methods for Nonconvex Bi-Level Optimization

• arxiv url: http://arxiv.org/abs/2605.19667v1
• Date: Tue, 19 May 2026 11:00:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.289742
• Title: Convergence of Consensus-Based Particle Methods for Nonconvex Bi-Level Optimization
• Title（参考訳）: 非凸二層最適化のための合意に基づく粒子法の収束性
• Authors: Yutong Chao, Xudong Sun, Konstantin Riedl, Majid Khadiv, Jalal Etesami,
• Abstract要約: 平均場法則は、目標二段階解の任意のワッサーシュタイン近傍に到達し、打点時間まで明示的な指数率を持つことを示す。
• 参考スコア（独自算出の注目度）: 6.757107749537041
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we study a consensus-based optimization method for nonconvex bi-level optimization, where the objective is to minimize an upper-level function over the set of global minimizers of a lower-level problem. The proposed approach is derivative-free, and constructs its consensus point via smooth quantile selection combined with a Gibbs-type Laplace approximation. We establish convergence guarantees for both the associated \textit{mean-field} dynamics and its \textit{finite-particle} approximation. In particular, under suitable assumptions on smooth quantile localization, error bounds, and stability, we show that the mean-field law reaches any arbitrary prescribed Wasserstein neighborhood of the target bi-level solution with an explicit exponential rate up to the hitting time. Numerical experiments on a two-dimensional constrained problem and neural network training further support the theoretical results.
• Abstract（参考訳）: 本稿では,非凸二レベル最適化のためのコンセンサスに基づく最適化手法について検討し,低レベル問題の大域最小化問題に対する上層関数の最小化を目的とする。 提案手法は微分自由であり, 滑らかな量子化選択とギブス型ラプラス近似を組み合わせることで, コンセンサス点を構成する。 我々は、関連する \textit{mean-field} ダイナミクスとその \textit{finite- Particle} 近似の収束保証を確立する。 特に、滑らかな量子化、誤差境界、安定性に関する適切な仮定の下では、平均場法則が目標二段階解の任意の所定のワッサーシュタイン近傍に到達し、打点時間まで明示的な指数速度を示すことを示す。 二次元制約問題とニューラルネットワークトレーニングに関する数値実験は、理論的な結果をさらに支持する。

関連論文リスト

• Bilevel Optimization with Lower-Level Uniform Convexity: Theory and Algorithm [28.40732302523826]
  双レベル最適化は、上位レベルの問題が下位レベルの問題によって制約される階層的なフレームワークである。 既存の二レベル最適化手法は、低レベル関数に対する強い凸性やポリアック・オジャシエヴィチ(PL)条件を仮定する。 両レベル最適化は, 一般凸下層関数に対して本質的に難解であり, 極小過次関数の探索が目的であることを示す。
  論文  参考訳（メタデータ） (2026-02-04T03:09:52Z)
• Towards a Unified Analysis of Neural Networks in Nonparametric Instrumental Variable Regression: Optimization and Generalization [66.08522228989634]
  非パラメトリックインスツルメンタル変数回帰(NPIV)における2段階最小二乗法(2SLS)アプローチのためのニューラルネットワークの最初の大域収束結果を確立する。 これは平均場ランゲヴィンダイナミクス(MFLD)を通して持ち上げられた視点を採用することで達成される。
  論文  参考訳（メタデータ） (2025-11-18T17:51:17Z)
• Bridging Constraints and Stochasticity: A Fully First-Order Method for Stochastic Bilevel Optimization with Linear Constraints [3.567855687957749]
  この研究は、一階法のみを用いた線形制約付き双レベル最適化に対する最初の有限時間収束保証を提供する。 線形制約、雑音、有限時間解析を両レベル最適化において同時に扱うという前例のない課題に対処する。
  論文  参考訳（メタデータ） (2025-11-13T00:59:20Z)
• Low-Rank Extragradient Methods for Scalable Semidefinite Optimization [17.384717824118255]
  この問題が低ランクの解を許容する高次元かつ高可算な設定に焦点をあてる。 これらの条件下では、よく知られた過次法が制約付き最適化問題の解に収束することを示す理論的結果がいくつか提示される。
  論文  参考訳（メタデータ） (2024-02-14T10:48:00Z)
• Explicit Second-Order Min-Max Optimization: Practical Algorithms and Complexity Analysis [71.05708939639537]
  本研究では,非制約問題に対するグローバルなサドル点を求めるために,不正確なNewton型手法をいくつか提案し,解析する。 提案手法は,Sur分解の必要回数の$O(log(1/eps)$因子をシェービングすることで,既存のライン検索に基づくmin-max最適化を改善する。
  論文  参考訳（メタデータ） (2022-10-23T21:24:37Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。