論文の概要: Fast Distributionally Robust Learning with Variance Reduced Min-Max
Optimization
- arxiv url: http://arxiv.org/abs/2104.13326v1
- Date: Tue, 27 Apr 2021 16:56:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-28 13:34:17.813369
- Title: Fast Distributionally Robust Learning with Variance Reduced Min-Max
Optimization
- Title(参考訳): 分散低減min-max最適化を用いた高速分布ロバスト学習
- Authors: Yaodong Yu, Tianyi Lin, Eric Mazumdar, Michael I. Jordan
- Abstract要約: 分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。
Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。
我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
- 参考スコア(独自算出の注目度): 85.84019017587477
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributionally robust supervised learning (DRSL) is emerging as a key
paradigm for building reliable machine learning systems for real-world
applications -- reflecting the need for classifiers and predictive models that
are robust to the distribution shifts that arise from phenomena such as
selection bias or nonstationarity. Existing algorithms for solving Wasserstein
DRSL -- one of the most popular DRSL frameworks based around robustness to
perturbations in the Wasserstein distance -- involve solving complex
subproblems or fail to make use of stochastic gradients, limiting their use in
large-scale machine learning problems. We revisit Wasserstein DRSL through the
lens of min-max optimization and derive scalable and efficiently implementable
stochastic extra-gradient algorithms which provably achieve faster convergence
rates than existing approaches. We demonstrate their effectiveness on synthetic
and real data when compared to existing DRSL approaches. Key to our results is
the use of variance reduction and random reshuffling to accelerate stochastic
min-max optimization, the analysis of which may be of independent interest.
- Abstract(参考訳): 分散的ロバストな教師付き学習(drsl)は、現実のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場しています。
Wasserstein DRSL - Wasserstein距離での摂動に対する堅牢性に基づく最も一般的なDRSLフレームワークの1つである。既存のアルゴリズムでは、複雑なサブプロブレムの解決や確率勾配の活用に失敗し、大規模な機械学習問題での使用を制限する。
Wevisit Wasserstein DRSL through the lens of min-max optimization and derive to scalable and efficient implementationable stochastic extra-gradient algorithm that proprovible achieved faster convergence rate than existing approach。
既存のdrsl手法と比較して,合成データおよび実データに対する有効性を示す。
この結果の鍵となるのは,確率的min-max最適化を加速するために分散低減とランダム再シャッフルを用いることである。
関連論文リスト
- Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-04T01:47:37Z) - Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳(メタデータ) (2023-07-08T15:41:48Z) - Learning Sparse Nonlinear Dynamics via Mixed-Integer Optimization [3.7565501074323224]
分散整数最適化 (MIO) を用いたSINDyDy問題の厳密な定式化を提案し, 分散制約付き回帰問題を数秒で証明可能な最適性を求める。
正確なモデル発見における我々のアプローチの劇的な改善について説明するとともに、よりサンプリング効率が高く、ノイズに耐性があり、物理的制約の緩和にも柔軟である。
論文 参考訳(メタデータ) (2022-06-01T01:43:45Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Sinkhorn Distributionally Robust Optimization [15.194516549163245]
一般名詞分布,輸送コスト,損失関数に対する凸プログラミング二重再構成を導出する。
Wasserstein DROと比較して,提案手法はより広範な損失関数のクラスに対して,計算的トラクタビリティの向上を提供する。
論文 参考訳(メタデータ) (2021-09-24T12:40:48Z) - Dual Optimization for Kolmogorov Model Learning Using Enhanced Gradient
Descent [8.714458129632158]
コルモゴロフモデル(コルモゴロフモデル、英: Kolmogorov model、KM)は、確率変数の集合の基本的な確率構造を学ぶための解釈可能で予測可能な表現手法である。
正規化双対最適化と拡張勾配降下法(GD)を併用した計算スケーラブルなKM学習アルゴリズムを提案する。
提案したKM学習アルゴリズムを用いた論理的関係マイニングの精度は80%以上である。
論文 参考訳(メタデータ) (2021-07-11T10:33:02Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳(メタデータ) (2021-07-02T16:21:52Z) - Combining Deep Learning and Optimization for Security-Constrained
Optimal Power Flow [94.24763814458686]
セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。
SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。
本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
論文 参考訳(メタデータ) (2020-07-14T12:38:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。