論文の概要: Analysis of Kernel Mirror Prox for Measure Optimization

• arxiv url: http://arxiv.org/abs/2403.00147v1
• Date: Thu, 29 Feb 2024 21:55:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 18:53:35.941030
• Title: Analysis of Kernel Mirror Prox for Measure Optimization
• Title（参考訳）: カーネルミラープロキシの最適化のための解析
• Authors: Pavel Dvurechensky and Jia-Jie Zhu
• Abstract要約: 我々は、MFNE(Mixed Functional Nash Equilibrium)と呼ばれる機能的サドル点最適化問題のクラスを統一したフレームワークで研究する。 我々は,サドル点最適化力学を相互作用するFisher-Rao-RKHS勾配流としてモデル化する。 このクラス MFNE 問題の無限次元設定において、KMP の統一収束解析を提供する。
• 参考スコア（独自算出の注目度）: 4.6080589718744305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: By choosing a suitable function space as the dual to the non-negative measure cone, we study in a unified framework a class of functional saddle-point optimization problems, which we term the Mixed Functional Nash Equilibrium (MFNE), that underlies several existing machine learning algorithms, such as implicit generative models, distributionally robust optimization (DRO), and Wasserstein barycenters. We model the saddle-point optimization dynamics as an interacting Fisher-Rao-RKHS gradient flow when the function space is chosen as a reproducing kernel Hilbert space (RKHS). As a discrete time counterpart, we propose a primal-dual kernel mirror prox (KMP) algorithm, which uses a dual step in the RKHS, and a primal entropic mirror prox step. We then provide a unified convergence analysis of KMP in an infinite-dimensional setting for this class of MFNE problems, which establishes a convergence rate of $O(1/N)$ in the deterministic case and $O(1/\sqrt{N})$ in the stochastic case, where $N$ is the iteration counter. As a case study, we apply our analysis to DRO, providing algorithmic guarantees for DRO robustness and convergence.
• Abstract（参考訳）: 非負の測度錐の双対として適切な関数空間を選択することにより、我々は、暗黙的生成モデル、分散ロバスト最適化(DRO)、ワッサーシュタインバリセンタなどの既存の機械学習アルゴリズムの基盤となる、MFNE(Mixed Functional Nash Equilibrium)と呼ばれる一連の機能的サドルポイント最適化問題を統一フレームワークで研究する。 我々は、関数空間が再生カーネルヒルベルト空間(RKHS)として選択されるとき、サドル点最適化ダイナミクスを相互作用するフィッシャー-ラオ-RKHS勾配流としてモデル化する。 離散時間対応として、rkhsにおける双対ステップと原始エントロピーミラーproxステップを用いるkmp(primal-dual kernel mirror prox)アルゴリズムを提案する。 次に、このクラスのMFNE問題に対して無限次元の設定でKMPの統一収束解析を提供し、決定論的場合において$O(1/N)$、確率論的の場合$O(1/\sqrt{N})$とすると、$N$は反復カウンタとなる。 ケーススタディとして、我々の分析をDROに適用し、DROの堅牢性と収束性に対するアルゴリズム的な保証を提供する。

関連論文リスト

• A Primal-Dual Algorithm for Faster Distributionally Robust Optimization [12.311794669976047]
  本稿では,Dragoについて述べる。Dragoは,DRO問題に対して,最先端の線形収束率を実現するアルゴリズムである。 分類と回帰の数値的なベンチマークで理論的結果を支持する。
  論文  参考訳（メタデータ） (2024-03-16T02:06:14Z)
• ALEXR: An Optimal Single-Loop Algorithm for Convex Finite-Sum Coupled Compositional Stochastic Optimization [53.14532968909759]
  ALEXRと呼ばれる,効率的な単ループプリマルデュアルブロックコーディネートアルゴリズムを提案する。 本研究では, ALEXR の凸面および強凸面の収束速度を滑らか性および非滑らか性条件下で確立する。 本稿では,ALEXRの収束速度が,検討されたcFCCO問題に対する1次ブロック座標アルゴリズムの中で最適であることを示すために,より低い複雑性境界を示す。
  論文  参考訳（メタデータ） (2023-12-04T19:00:07Z)
• Improving Sample Efficiency of Model-Free Algorithms for Zero-Sum Markov Games [66.2085181793014]
  モデルフリーのステージベースQ-ラーニングアルゴリズムはモデルベースアルゴリズムと同じ$H$依存の最適性を享受できることを示す。 本アルゴリズムは,楽観的値関数と悲観的値関数のペアとして参照値関数を更新するキーとなる新しい設計を特徴とする。
  論文  参考訳（メタデータ） (2023-08-17T08:34:58Z)
• Gradient-Free Methods for Deterministic and Stochastic Nonsmooth Nonconvex Optimization [94.19177623349947]
  非滑らかな非最適化問題は、機械学習とビジネス製造に現れる。 2つのコア課題は、有限収束を保証する効率的な方法の開発を妨げる。 GFMとSGFMの2相版も提案され, 改良された大規模評価結果が得られた。
  論文  参考訳（メタデータ） (2022-09-12T06:53:24Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• Stochastic Optimization of Areas Under Precision-Recall Curves with Provable Convergence [66.83161885378192]
  ROC(AUROC)と精度リコール曲線(AUPRC)の下の領域は、不均衡問題に対する分類性能を評価するための一般的な指標である。 本稿では,深層学習のためのAUPRCの最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-04-18T06:22:21Z)
• Convergence Analysis of Nonconvex Distributed Stochastic Zeroth-order Coordinate Method [3.860616339202303]
  本稿では,$ZOn$局所コスト関数の合計により形成されるグローバルコスト関数を最小化する分散非最適化問題について検討する。 エージェントは問題を解くためにzo座標法を近似する。
  論文  参考訳（メタデータ） (2021-03-24T03:07:46Z)
• Parallel Stochastic Mirror Descent for MDPs [72.75921150912556]
  無限水平マルコフ決定過程(MDP)における最適政策学習の問題を考える。 リプシッツ連続関数を用いた凸プログラミング問題に対してミラー・ディクセントの変種が提案されている。 このアルゴリズムを一般の場合において解析し,提案手法の動作中に誤差を蓄積しない収束率の推定値を得る。
  論文  参考訳（メタデータ） (2021-02-27T19:28:39Z)
• Sparse Representations of Positive Functions via First and Second-Order Pseudo-Mirror Descent [15.340540198612823]
  推定器の範囲が非負である必要がある場合、予測されるリスク問題を考察する。 Emphpseudo-gradientsを用いた近似ミラーの1階および2階の変種を開発した。 実験は、実際に不均一なプロセス強度推定に好適な性能を示す。
  論文  参考訳（メタデータ） (2020-11-13T21:54:28Z)
• Kernel Distributionally Robust Optimization [17.909696462645023]
  本稿では、ロバスト最適化理論と関数解析の知見を用いたカーネル分散ロバスト最適化(カーネルDRO)を提案する。 提案手法では,カーネルカーネル(RKHS)を用いて幅広い凸曖昧性を構築し,確率測定値と有限次モーメント集合に基づく集合に一般化することができる。 普遍的な RKHS を用いることで、この定理は損失関数の幅広いクラスに適用され、損失やリプシッツ定数の知識のような共通の制限が解かれる。
  論文  参考訳（メタデータ） (2020-06-12T07:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。