論文の概要: Learning from a Biased Sample
- arxiv url: http://arxiv.org/abs/2209.01754v1
- Date: Mon, 5 Sep 2022 04:19:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-07 13:15:05.932366
- Title: Learning from a Biased Sample
- Title(参考訳): 偏りのあるサンプルから学ぶ
- Authors: Roshni Sahoo, Lihua Lei, Stefan Wager
- Abstract要約: 本稿では,テスト分布のファミリーで発生する最悪のリスクを最小限に抑える決定ルールの学習方法を提案する。
我々は,盗難手法を用いてロバストなモデルを学習するための統計的保証を与え,損失関数がターゲットを捕捉する深層学習アルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 5.162622771922123
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The empirical risk minimization approach to data-driven decision making
assumes that we can learn a decision rule from training data drawn under the
same conditions as the ones we want to deploy it under. However, in a number of
settings, we may be concerned that our training sample is biased, and that some
groups (characterized by either observable or unobservable attributes) may be
under- or over-represented relative to the general population; and in this
setting empirical risk minimization over the training set may fail to yield
rules that perform well at deployment. Building on concepts from
distributionally robust optimization and sensitivity analysis, we propose a
method for learning a decision rule that minimizes the worst-case risk incurred
under a family of test distributions whose conditional distributions of
outcomes $Y$ given covariates $X$ differ from the conditional training
distribution by at most a constant factor, and whose covariate distributions
are absolutely continuous with respect to the covariate distribution of the
training data. We apply a result of Rockafellar and Uryasev to show that this
problem is equivalent to an augmented convex risk minimization problem. We give
statistical guarantees for learning a robust model using the method of sieves
and propose a deep learning algorithm whose loss function captures our
robustness target. We empirically validate our proposed method in simulations
and a case study with the MIMIC-III dataset.
- Abstract(参考訳): データ駆動型意思決定に対する実証的リスク最小化アプローチでは、同じ条件下で描画されたトレーニングデータから決定ルールを学習できると仮定しています。
しかし、多くの環境では、トレーニングサンプルが偏りがあり、一部のグループ(観測可能な属性または観測不可能な属性によって特徴付けられる)が一般大衆に対して過度または過度に表現されている場合があり、この設定では、トレーニングセットに対する経験的リスク最小化が、デプロイメントにおいてうまく機能するルールの獲得に失敗する可能性がある。
分布的ロバストな最適化と感度解析から導かれる概念に基づいて,条件分布が与えられた条件分布$Y$と条件分布分布$X$と,条件分布分布が少なくとも一定の因子によって異なり,条件分布が訓練データの共変分布に対して絶対連続であるようなテスト分布の族で発生する最悪のケースリスクを最小化する決定ルールを学習する手法を提案する。
我々はRockafellar と Uryasev の結果を適用し、この問題が拡張凸リスク最小化問題と等価であることを示す。
シーブ法を用いてロバストモデルを学ぶための統計的保証を与え,ロバスト性目標を損失関数が捉えるディープラーニングアルゴリズムを提案する。
シミュレーションにおいて提案手法を実証的に検証し,MIMIC-IIIデータセットを用いたケーススタディを行った。
関連論文リスト
- Distributionally Robust Skeleton Learning of Discrete Bayesian Networks [9.46389554092506]
我々は、潜在的に破損したデータから一般的な離散ベイズネットワークの正確なスケルトンを学習する問題を考察する。
本稿では,有界ワッサーシュタイン距離(KL)における分布群に対する最も有害なリスクを,経験的分布へのKL分散を最適化することを提案する。
本稿では,提案手法が標準正規化回帰手法と密接に関連していることを示す。
論文 参考訳(メタデータ) (2023-11-10T15:33:19Z) - Correcting Underrepresentation and Intersectional Bias for Fair
Classification [55.2480439325792]
偏見バイアスによって劣化したデータから学習する問題について考察し, 正の例を, 一定の数のセンシティブなグループに対して, 異なる未知のレートでフィルタする。
交叉群のメンバーシップが各交叉率を計算不能にするような設定であっても,少数の偏りのないデータを用いてグループワイド・ドロップアウトパラメータを効率的に推定できることが示される。
我々は,この学習と再重み付け過程をカプセル化するアルゴリズムを提案し,高い確率で真の分布に対する仮説のリスクが任意に近いことをPACスタイルの強い保証を提供する。
論文 参考訳(メタデータ) (2023-06-19T18:25:44Z) - Conformal Inference for Invariant Risk Minimization [12.049545417799125]
機械学習モデルの応用は、分布シフトの発生によって著しく阻害される可能性がある。
この問題を解決する一つの方法は、不変リスク最小化(IRM)のような不変学習を用いて不変表現を取得することである。
本稿では,不変表現に対する不確実性推定を記述するために,分布自由予測領域を得る手法を提案する。
論文 参考訳(メタデータ) (2023-05-22T03:48:38Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Approximate Regions of Attraction in Learning with Decision-Dependent
Distributions [11.304363655760513]
我々は、繰り返しリスク最小化を、実行リスク最小化の勾配流の軌跡として分析する。
この設定において、様々な平衡に対するアトラクションの領域を特徴付ける条件を提供する。
本稿では、繰り返しリスク最小化の収束に関する幾何学的条件を提供する性能的アライメントの概念を、性能的リスク最小化に導入する。
論文 参考訳(メタデータ) (2021-06-30T18:38:08Z) - Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。
我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。
Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
論文 参考訳(メタデータ) (2020-07-24T05:18:17Z) - A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。
予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
論文 参考訳(メタデータ) (2020-07-08T11:35:47Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳(メタデータ) (2020-07-07T18:25:25Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳(メタデータ) (2020-06-12T12:23:50Z) - Principled learning method for Wasserstein distributionally robust
optimization with local perturbations [21.611525306059985]
ワッサーシュタイン分布論的ロバスト最適化(WDRO)は、実験データ分布近傍の局所的な最悪のリスクを最小限に抑えるモデルを学習しようとする。
本稿では,新しい近似定理に基づく最小化器を提案し,それに対応するリスク一貫性結果を提供する。
提案手法は,ノイズのあるデータセットのベースラインモデルよりも精度が高いことを示す。
論文 参考訳(メタデータ) (2020-06-05T09:32:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。