論文の概要: Kernel Distributionally Robust Optimization
- arxiv url: http://arxiv.org/abs/2006.06981v3
- Date: Sat, 27 Feb 2021 16:39:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 03:35:55.998473
- Title: Kernel Distributionally Robust Optimization
- Title(参考訳): カーネル分布ロバスト最適化
- Authors: Jia-Jie Zhu, Wittawat Jitkrittum, Moritz Diehl, Bernhard Sch\"olkopf
- Abstract要約: 本稿では、ロバスト最適化理論と関数解析の知見を用いたカーネル分散ロバスト最適化(カーネルDRO)を提案する。
提案手法では,カーネルカーネル(RKHS)を用いて幅広い凸曖昧性を構築し,確率測定値と有限次モーメント集合に基づく集合に一般化することができる。
普遍的な RKHS を用いることで、この定理は損失関数の幅広いクラスに適用され、損失やリプシッツ定数の知識のような共通の制限が解かれる。
- 参考スコア(独自算出の注目度): 17.909696462645023
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose kernel distributionally robust optimization (Kernel DRO) using
insights from the robust optimization theory and functional analysis. Our
method uses reproducing kernel Hilbert spaces (RKHS) to construct a wide range
of convex ambiguity sets, which can be generalized to sets based on integral
probability metrics and finite-order moment bounds. This perspective unifies
multiple existing robust and stochastic optimization methods. We prove a
theorem that generalizes the classical duality in the mathematical problem of
moments. Enabled by this theorem, we reformulate the maximization with respect
to measures in DRO into the dual program that searches for RKHS functions.
Using universal RKHSs, the theorem applies to a broad class of loss functions,
lifting common limitations such as polynomial losses and knowledge of the
Lipschitz constant. We then establish a connection between DRO and stochastic
optimization with expectation constraints. Finally, we propose practical
algorithms based on both batch convex solvers and stochastic functional
gradient, which apply to general optimization and machine learning tasks.
- Abstract(参考訳): 本稿では、ロバスト最適化理論と関数解析の知見を用いたカーネル分散ロバスト最適化(カーネルDRO)を提案する。
本手法では、カーネルヒルベルト空間(RKHS)を用いて、積分確率メトリックと有限次モーメント境界に基づく集合に一般化できる幅広い凸曖昧性集合を構築する。
この視点は、複数の既存のロバストおよび確率的最適化方法を統合する。
モーメントの数学的問題において古典的双対性を一般化する定理を証明する。
この定理により、DRO の測度に関する最大化を RKHS 関数を探索する双対プログラムに変換する。
普遍的 rkhss を用いて、この定理は、多項式損失やリプシッツ定数の知識といった共通の制限を持ち上げて、幅広い損失関数のクラスに適用できる。
次に,予測制約によるDROと確率最適化の接続を確立する。
最後に,一般的な最適化や機械学習タスクに適用可能なバッチ凸解法と確率的関数勾配に基づく実用的なアルゴリズムを提案する。
関連論文リスト
- Streamlining in the Riemannian Realm: Efficient Riemannian Optimization
with Loopless Variance Reduction [4.578425862931332]
本研究はユークリッドとリーマンの設定の両方で用いられる決定的な還元機構に焦点を当てる。
ユークリッド法により動機付け, コインフリップによって引き起こされる計算で外ループを置換するR法を導入する。
フレームワークとしてR-を用いることで、様々な重要な設定に適用可能であることを示す。
論文 参考訳(メタデータ) (2024-03-11T12:49:37Z) - Analysis of Kernel Mirror Prox for Measure Optimization [4.6080589718744305]
我々は、MFNE(Mixed Functional Nash Equilibrium)と呼ばれる機能的サドル点最適化問題のクラスを統一したフレームワークで研究する。
我々は,サドル点最適化力学を相互作用するFisher-Rao-RKHS勾配流としてモデル化する。
このクラス MFNE 問題の無限次元設定において、KMP の統一収束解析を提供する。
論文 参考訳(メタデータ) (2024-02-29T21:55:17Z) - ALEXR: An Optimal Single-Loop Algorithm for Convex Finite-Sum Coupled
Compositional Stochastic Optimization [62.784166781064684]
ALEXRと呼ばれる,効率的な単ループプリマルデュアルブロックコーディネートアルゴリズムを提案する。
本研究では, ALEXR の凸面および強凸面の収束速度を滑らか性および非滑らか性条件下で確立する。
本稿では,ALEXRの収束速度が,検討されたcFCCO問題に対する1次ブロック座標アルゴリズムの中で最適であることを示すために,より低い複雑性境界を示す。
論文 参考訳(メタデータ) (2023-12-04T19:00:07Z) - Extrinsic Bayesian Optimizations on Manifolds [1.3477333339913569]
オイクリッド多様体上の一般最適化問題に対する外部ベイズ最適化(eBO)フレームワークを提案する。
我々のアプローチは、まず多様体を高次元空間に埋め込むことによって、外部ガウス過程を採用することである。
これにより、複素多様体上の最適化のための効率的でスケーラブルなアルゴリズムが導かれる。
論文 参考訳(メタデータ) (2022-12-21T06:10:12Z) - On a class of geodesically convex optimization problems solved via
Euclidean MM methods [50.428784381385164]
ユークリッド凸化関数の違いは、統計学と機械学習の異なるタイプの問題の違いとして記述できることを示す。
最終的に、より広い範囲、より広い範囲の作業を支援するのです。
論文 参考訳(メタデータ) (2022-06-22T23:57:40Z) - Non-Convex Optimization with Certificates and Fast Rates Through Kernel
Sums of Squares [68.8204255655161]
非最適化近似問題を考える。
本稿では,最優先計算を保証するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-04-11T09:37:04Z) - Stability and Generalization for Randomized Coordinate Descent [19.687456295228156]
RCDによってトレーニングされたモデルがどのように例をテストするかを研究する作業はない。
本稿では,アルゴリズム安定性の強力なツールを活用することにより,RCDの一般化解析を初期化する。
解析の結果,RCDは勾配降下よりも安定性がよいことがわかった。
論文 参考訳(メタデータ) (2021-08-17T02:52:50Z) - Optimization on manifolds: A symplectic approach [127.54402681305629]
本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。
我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
論文 参考訳(メタデータ) (2021-07-23T13:43:34Z) - Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave
Min-Max Problems with PL Condition [52.08417569774822]
本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
論文 参考訳(メタデータ) (2020-06-12T00:32:21Z) - Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。
我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。
また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文 参考訳(メタデータ) (2020-02-16T09:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。