論文の概要: DORO: Distributional and Outlier Robust Optimization

• arxiv url: http://arxiv.org/abs/2106.06142v1
• Date: Fri, 11 Jun 2021 02:59:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 03:09:42.566906
• Title: DORO: Distributional and Outlier Robust Optimization
• Title（参考訳）: DORO: 分散および外部ロバスト最適化
• Authors: Runtian Zhai, Chen Dan, J. Zico Kolter, Pradeep Ravikumar
• Abstract要約: 本稿では,分散ロバスト最適化のためのDOROのフレームワークを提案する。 このアプローチのコアとなるのは、DROがオーバーフィットして潜在的な外れ値に収まらないような、洗練されたリスク関数である。 提案手法の有効性を理論的に証明し, DOROがDROの性能と安定性を向上することを示す。
• 参考スコア（独自算出の注目度）: 98.44757325531631
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many machine learning tasks involve subpopulation shift where the testing data distribution is a subpopulation of the training distribution. For such settings, a line of recent work has proposed the use of a variant of empirical risk minimization(ERM) known as distributionally robust optimization (DRO). In this work, we apply DRO to real, large-scale tasks with subpopulation shift, and observe that DRO performs relatively poorly, and moreover has severe instability. We identify one direct cause of this phenomenon: sensitivity of DRO to outliers in the datasets. To resolve this issue, we propose the framework of DORO, for Distributional and Outlier Robust Optimization. At the core of this approach is a refined risk function which prevents DRO from overfitting to potential outliers. We instantiate DORO for the Cressie-Read family of R\'enyi divergence, and delve into two specific instances of this family: CVaR and $\chi^2$-DRO. We theoretically prove the effectiveness of the proposed method, and empirically show that DORO improves the performance and stability of DRO with experiments on large modern datasets, thereby positively addressing the open question raised by Hashimoto et al., 2018.
• Abstract（参考訳）: 多くの機械学習タスクは、テストデータ分布がトレーニング分布のサブポピュレーションであるサブポピュレーションシフトを含む。 このような設定のために、最近の一連の研究は、分散ロバスト最適化(DRO)として知られる経験的リスク最小化(ERM)の亜種の使用を提案している。 本研究では,DROをサブポピュレーションシフトを伴う大規模タスクに適用し,DROが比較的貧弱であり,さらに不安定であることを示す。 この現象の直接的な原因は、データセットの外れ値に対するDROの感度である。 この問題を解決するために,分散ロバスト最適化と外部ロバスト最適化のためのDOROのフレームワークを提案する。 このアプローチの核心は、droが潜在的な外れ値に過剰に適合することを防ぐ、洗練されたリスク機能である。 R\'enyi divergence の Cressie-Read ファミリーに対して DORO をインスタンス化し、CVaR と $\chi^2$-DRO の2つの特定のインスタンスを探索する。 提案手法の有効性を理論的に証明し,提案手法は大規模データセットを用いた実験によりDROの性能と安定性を向上し,橋本らによるオープンな疑問に肯定的に対処できることを実証的に示す。

関連論文リスト

• Distributionally Robust Optimization [8.750805813120898]
  DROは、不確実な問題パラメータを管理する確率分布自体が不確実であるような不確実性の下で決定問題を研究する。 DROは、あいまいさセットで最悪の分布の下で最善を尽くす決定を求める。 近年の研究では、機械学習における正規化技術と敵の訓練との深い関係が明らかにされている。
  論文  参考訳（メタデータ） (2024-11-04T19:32:24Z)
• Geometry-Calibrated DRO: Combating Over-Pessimism with Free Energy Implications [31.3535638804615]
  機械学習アルゴリズムは、分散シフトの影響を受けやすい平均リスクを最小化する。 分散ロバスト最適化(DRO)は、不確実性セット内の最悪のケースリスクを最適化することでこの問題に対処する。 DROは過ペシミズムに悩まされており、低信頼の予測、パラメータ推定の低さ、一般化の低さにつながっている。 本研究では,過ペシミズムの根本原因を理論的に解析する。
  論文  参考訳（メタデータ） (2023-11-08T23:33:39Z)
• Smoothed $f$-Divergence Distributionally Robust Optimization [5.50764401597583]
  我々は、特別な種類の分布完全ロバスト最適化(DRO)の定式化が理論的優位性をもたらすと論じる。 DROは、Wasserstein または L'evy-Prokhorov (LP) 距離で滑らかなKullback Leibler (KL) の発散に基づく曖昧性集合を用いる。
  論文  参考訳（メタデータ） (2023-06-24T19:22:01Z)
• Bitrate-Constrained DRO: Beyond Worst Case Robustness To Unknown Group Shifts [122.08782633878788]
  いくつかの堅牢なトレーニングアルゴリズム(例えば、グループDRO)は、グループシフトを専門とし、すべてのトレーニングポイントについてグループ情報を必要とする。 グループアノテーションを必要としない他の方法(CVaR DROなど)は、過度に保守的である。 低機能により実現された単純な群関数の精度を維持するモデルを学習する。
  論文  参考訳（メタデータ） (2023-02-06T17:07:16Z)
• Optimal algorithms for group distributionally robust optimization and beyond [48.693477387133484]
  そこで我々は,グループDRO,サブポピュレーションフェアネス,経験的条件値などのDRO問題のクラスに対するアルゴリズムを考案した。 我々の新しいアルゴリズムは、複数のDRO設定のための既存のアルゴリズムよりも高速な収束率を実現する。 経験的にも、私たちのアルゴリズムは既知の手法よりも優れています。
  論文  参考訳（メタデータ） (2022-12-28T02:45:46Z)
• AGRO: Adversarial Discovery of Error-prone groups for Robust Optimization [109.91265884632239]
  群分散ロバスト最適化(G-DRO)は、トレーニングデータに対する事前定義されたグループのセットに対する最悪の損失を最小限にすることができる。 本稿では、分散ロバスト最適化のためのAGRO -- Adversarial Group Discoveryを提案する。 AGROは、既知の最悪のグループの平均モデルパフォーマンスを8%向上させる。
  論文  参考訳（メタデータ） (2022-12-02T00:57:03Z)
• Distributionally Robust Bayesian Optimization with $\varphi$-divergences [45.48814080654241]
  我々は,$varphi$-divergencesにおけるデータシフトに対するロバスト性について考察する。 この設定におけるDRO-BO問題は有限次元最適化問題と等価であり、連続的な文脈でも証明可能な部分線型後悔境界で容易に実装できることを示す。
  論文  参考訳（メタデータ） (2022-03-04T04:34:52Z)
• Algorithmic Bias and Data Bias: Understanding the Relation between Distributionally Robust Optimization and Data Curation [1.370633147306388]
  平均誤差の最小化に基づく機械学習システムは、データの注目すべきサブセット間で矛盾なく動作することが示されている。 社会的、経済的な応用では、データが人を表す場合、差別が過小評価されている性別や民族集団につながる可能性がある。
  論文  参考訳（メタデータ） (2021-06-17T13:18:03Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• An Online Method for A Class of Distributionally Robust Optimization with Non-Convex Objectives [54.29001037565384]
  本稿では,オンライン分散ロバスト最適化(DRO)のクラスを解決するための実用的なオンライン手法を提案する。 本研究は,ネットワークの堅牢性向上のための機械学習における重要な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-17T20:19:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。