論文の概要: Taking a Moment for Distributional Robustness

• arxiv url: http://arxiv.org/abs/2405.05461v1
• Date: Wed, 8 May 2024 23:37:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-10 14:32:26.017568
• Title: Taking a Moment for Distributional Robustness
• Title（参考訳）: 分散ロバストネスのモーメント化
• Authors: Jabari Hastings, Christopher Jung, Charlotte Peale, Vasilis Syrgkanis,
• Abstract要約: 我々は、敵の違反違反として知られるものに基づいて、新しいmin-max目標を導入する。 正方形損失の場合、最悪のケースの後悔を最小限に抑えることは、真の条件付き期待値に対する最悪のケースの$ell$-distanceを最小化するのと同等であることを示す。
• 参考スコア（独自算出の注目度）: 19.49177818405511
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A rich line of recent work has studied distributionally robust learning approaches that seek to learn a hypothesis that performs well, in the worst-case, on many different distributions over a population. We argue that although the most common approaches seek to minimize the worst-case loss over distributions, a more reasonable goal is to minimize the worst-case distance to the true conditional expectation of labels given each covariate. Focusing on the minmax loss objective can dramatically fail to output a solution minimizing the distance to the true conditional expectation when certain distributions contain high levels of label noise. We introduce a new min-max objective based on what is known as the adversarial moment violation and show that minimizing this objective is equivalent to minimizing the worst-case $\ell_2$-distance to the true conditional expectation if we take the adversary's strategy space to be sufficiently rich. Previous work has suggested minimizing the maximum regret over the worst-case distribution as a way to circumvent issues arising from differential noise levels. We show that in the case of square loss, minimizing the worst-case regret is also equivalent to minimizing the worst-case $\ell_2$-distance to the true conditional expectation. Although their objective and our objective both minimize the worst-case distance to the true conditional expectation, we show that our approach provides large empirical savings in computational cost in terms of the number of groups, while providing the same noise-oblivious worst-distribution guarantee as the minimax regret approach, thus making positive progress on an open question posed by Agarwal and Zhang (2022).
• Abstract（参考訳）: 最近の研究の豊富な行は、分布的に堅牢な学習アプローチを研究し、集団上の多くの異なる分布について、最悪の場合、うまく機能する仮説を学ぼうとしている。 最も一般的なアプローチは、分布の最悪のケース損失を最小限に抑えることであるが、より合理的なゴールは、各共変量に与えられたラベルの真の条件付き期待への最悪のケース距離を最小化することである。 minmax損失目標にフォーカスすると、特定の分布が高レベルなラベルノイズを含む場合、真の条件付き期待値までの距離を最小化する解を出力できなくなる。 敵の戦略空間を十分に豊かにすれば、最悪の場合の$\ell_2$-distanceを真の条件付き予測に最小化できることを示す。 これまでの研究は、ノイズレベルの差による問題を回避する手段として、最悪の場合の分布に対する最大の後悔を最小化することを示唆してきた。 正方形損失の場合、最悪のケースの後悔を最小限に抑えることは、真の条件付き期待値に対する最悪のケースの$\ell_2$-distanceを最小化するのと同等であることを示す。 彼らの目的と目的はともに、真の条件付き期待から最悪のケース距離を最小化しているが、我々のアプローチは、グループ数の観点から計算コストの大幅な削減を提供すると同時に、ミニマックス後悔のアプローチと同様のノイズの発散保証を提供し、Agarwal と Zhang (2022) が提示したオープンな問題に肯定的な進展をもたらすことを示している。

関連論文リスト

• Optimality in Mean Estimation: Beyond Worst-Case, Beyond Sub-Gaussian, and Beyond $1+\alpha$ Moments [10.889739958035536]
  本稿では,アルゴリズムの微細な最適性を分析するための新しい定義フレームワークを提案する。 平均値の中央値は近傍最適であり, 一定の要因が得られている。 定数係数のずれのない近傍分離推定器を見つけることは自由である。
  論文  参考訳（メタデータ） (2023-11-21T18:50:38Z)
• On the Variance, Admissibility, and Stability of Empirical Risk Minimization [80.26309576810844]
  2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。 軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。 また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T15:25:48Z)
• A Dimensionality Reduction Method for Finding Least Favorable Priors with a Focus on Bregman Divergence [108.28566246421742]
  そこで本研究では,次元に明示的な有界な有限次元設定に最適化を移動させることができる次元削減法を開発した。 この問題を進展させるため、比較的大きな損失関数、すなわちブレグマンの発散によって引き起こされるベイズ的リスクに限定する。
  論文  参考訳（メタデータ） (2022-02-23T16:22:28Z)
• A Fully Problem-Dependent Regret Lower Bound for Finite-Horizon MDPs [117.82903457289584]
  有限水平マルコフ決定過程(MDPs)における新たな問題依存的下界を導出する。 我々の下界は一般の場合よりもかなり小さく、最小の作用ギャップでスケールしないことが示される。 この最後の結果($poly(H)$の条件で、$H$は地平線である)は、楽観的なアルゴリズムのポリシーギャップに基づいて、後悔の意を表すことによって達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-24T13:46:09Z)
• Minimax Off-Policy Evaluation for Multi-Armed Bandits [58.7013651350436]
  有界報酬を用いたマルチアームバンディットモデルにおけるオフポリシー評価の問題点について検討する。 3つの設定でミニマックスレート・オプティマティックな手順を開発。
  論文  参考訳（メタデータ） (2021-01-19T18:55:29Z)
• Robust Mean Estimation in High Dimensions via $\ell_0$ Minimization [21.65637588606572]
  本研究では,高次元におけるロバスト平均推定問題について検討し,データポイントの0.5ドル分を任意に破壊することができることを示した。 圧縮センシングによってモチベーションを得た結果、ロバスト平均推定問題を$ell_p$$(0p1)$の最小化として定式化する。 合成データ実験と実データ実験の両方で、提案アルゴリズムは最先端のロバストな平均推定法を大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2020-08-21T00:19:48Z)
• On Lower Bounds for Standard and Robust Gaussian Process Bandit Optimization [55.937424268654645]
  有界ノルムを持つ関数のブラックボックス最適化問題に対するアルゴリズム非依存な下界を考える。 本稿では, 単純さ, 汎用性, エラー確率への依存性の向上など, 後悔の下位境界を導出するための新しい証明手法を提案する。
  論文  参考訳（メタデータ） (2020-08-20T03:48:14Z)
• Learning Minimax Estimators via Online Learning [55.92459567732491]
  確率分布のパラメータを推定するミニマックス推定器を設計する際の問題点を考察する。 混合ケースナッシュ平衡を求めるアルゴリズムを構築した。
  論文  参考訳（メタデータ） (2020-06-19T22:49:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。