論文の概要: Minimax Regret Optimization for Robust Machine Learning under Distribution Shift

• arxiv url: http://arxiv.org/abs/2202.05436v1
• Date: Fri, 11 Feb 2022 04:17:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-14 14:19:43.193220
• Title: Minimax Regret Optimization for Robust Machine Learning under Distribution Shift
• Title（参考訳）: 分散シフト下でのロバスト機械学習のためのミニマックスレグレット最適化
• Authors: Alekh Agarwal and Tong Zhang
• Abstract要約: 未知のテスト分布下で学習モデルを評価した場合の学習シナリオを考察する。 DROの定式化は分布シフト時の一様に小さな後悔を保証しないことを示す。 ミニマックス回帰最適化 (Minimax Regret Optimization, MRO) という代替手法を提案する。
• 参考スコア（独自算出の注目度）: 38.30154154957721
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we consider learning scenarios where the learned model is evaluated under an unknown test distribution which potentially differs from the training distribution (i.e. distribution shift). The learner has access to a family of weight functions such that the test distribution is a reweighting of the training distribution under one of these functions, a setting typically studied under the name of Distributionally Robust Optimization (DRO). We consider the problem of deriving regret bounds in the classical learning theory setting, and require that the resulting regret bounds hold uniformly for all potential test distributions. We show that the DRO formulation does not guarantee uniformly small regret under distribution shift. We instead propose an alternative method called Minimax Regret Optimization (MRO), and show that under suitable conditions this method achieves uniformly low regret across all test distributions. We also adapt our technique to have stronger guarantees when the test distributions are heterogeneous in their similarity to the training data. Given the widespead optimization of worst case risks in current approaches to robust machine learning, we believe that MRO can be a strong alternative to address distribution shift scenarios.
• Abstract（参考訳）: 本稿では,学習モデルが未知のテスト分布で評価される学習シナリオについて検討する。 学習者は、テスト分布がこれらの関数の1つの下でのトレーニング分布の再重み付けであるような重み関数の族にアクセスできる。 古典的学習理論の設定において、後悔境界を導出する問題を考慮し、その結果の後悔境界が全ての潜在的なテスト分布に対して均一に保たなければならない。 DROの定式化は分布シフト時の一様に小さな後悔を保証しないことを示す。 代わりに、Minimax Regret Optimization (MRO) と呼ばれる別の手法を提案し、適切な条件下では、この手法が全てのテスト分布に対して一様に低い後悔を達成することを示す。 また,テスト分布とトレーニングデータとの類似性が異なっていれば,より強固な保証を得るように手法を適用した。 堅牢な機械学習に対する現在のアプローチにおける最悪のケースリスクの幅広い最適化を考えると、MROは分散シフトシナリオに対処する強力な代替手段になり得ると考えています。

関連論文リスト

• Generalizing to any diverse distribution: uniformity, gentle finetuning and rebalancing [55.791818510796645]
  我々は,訓練データから大きく逸脱した場合でも,様々なテスト分布によく適応するモデルを開発することを目的としている。 ドメイン適応、ドメイン一般化、ロバスト最適化といった様々なアプローチは、アウト・オブ・ディストリビューションの課題に対処しようと試みている。 我々は、既知のドメイン内の十分に多様なテスト分布にまたがる最悪のケースエラーを考慮することで、より保守的な視点を採用する。
  論文  参考訳（メタデータ） (2024-10-08T12:26:48Z)
• Dr. FERMI: A Stochastic Distributionally Robust Fair Empirical Risk Minimization Framework [12.734559823650887]
  分散シフトが存在する場合、公正な機械学習モデルはテストデータに対して不公平に振る舞うことがある。 既存のアルゴリズムはデータへの完全なアクセスを必要とし、小さなバッチを使用する場合には使用できない。 本稿では,因果グラフの知識を必要としない収束保証付き分布安定度フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-20T23:25:28Z)
• Learning Against Distributional Uncertainty: On the Trade-off Between Robustness and Specificity [24.874664446700272]
  本稿では,3つのアプローチを統一し,上記の2つの課題に対処する新たな枠組みについて検討する。 提案したモデルのモンテカルロ法に基づく解法(例えば、一貫性と正規性)、非漸近性(例えば、非バイアス性や誤差境界)について検討した。
  論文  参考訳（メタデータ） (2023-01-31T11:33:18Z)
• Distributionally Robust Multiclass Classification and Applications in Deep Image Classifiers [9.979945269265627]
  マルチクラスロジスティック回帰(MLR)のための分布ロバスト最適化(DRO)の定式化を開発する。 本研究では,新しいランダムトレーニング手法を採用することにより,試験誤差率を最大83.5%,損失を最大91.3%削減することを示した。
  論文  参考訳（メタデータ） (2022-10-15T05:09:28Z)
• Learnable Distribution Calibration for Few-Shot Class-Incremental Learning [122.2241120474278]
  FSCIL(Few-shot class-incremental Learning)は、古いクラス分布を記憶し、少数のトレーニングサンプルから新しいクラス分布を推定するという課題に直面している。 本稿では,これら2つの課題を統一フレームワークを用いて体系的に解決することを目的とした,学習可能な分布校正手法を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:40:26Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)
• Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
  ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。 我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。 Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-24T05:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。