論文の概要: Robust Design and Evaluation of Predictive Algorithms under Unobserved Confounding
- arxiv url: http://arxiv.org/abs/2212.09844v5
- Date: Sun, 19 May 2024 19:53:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-22 01:20:28.698855
- Title: Robust Design and Evaluation of Predictive Algorithms under Unobserved Confounding
- Title(参考訳): 観測不能条件下での予測アルゴリズムのロバスト設計と評価
- Authors: Ashesh Rambachan, Amanda Coston, Edward Kennedy,
- Abstract要約: 選択的に観測されたデータにおける予測アルゴリズムの頑健な設計と評価のための統一的なフレームワークを提案する。
我々は、選択されていないユニットと選択されたユニットの間で、平均して結果がどの程度異なるかという一般的な仮定を課す。
我々は,大規模な予測性能推定値のクラスにおける境界値に対するバイアス付き機械学習推定器を開発する。
- 参考スコア(独自算出の注目度): 2.8498944632323755
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Predictive algorithms inform consequential decisions in settings where the outcome is selectively observed given choices made by human decision makers. We propose a unified framework for the robust design and evaluation of predictive algorithms in selectively observed data. We impose general assumptions on how much the outcome may vary on average between unselected and selected units conditional on observed covariates and identified nuisance parameters, formalizing popular empirical strategies for imputing missing data such as proxy outcomes and instrumental variables. We develop debiased machine learning estimators for the bounds on a large class of predictive performance estimands, such as the conditional likelihood of the outcome, a predictive algorithm's mean square error, true/false positive rate, and many others, under these assumptions. In an administrative dataset from a large Australian financial institution, we illustrate how varying assumptions on unobserved confounding leads to meaningful changes in default risk predictions and evaluations of credit scores across sensitive groups.
- Abstract(参考訳): 予測アルゴリズムは、人間の意思決定者が選択した結果が選択的に観察される設定において、連続的な決定を通知する。
選択的に観測されたデータにおける予測アルゴリズムの頑健な設計と評価のための統一的なフレームワークを提案する。
提案手法は,観測された共変量に対する条件付き非選択単位と選択単位間の平均値において,結果がどの程度異なるか,およびニュアンスパラメータを同定し,プロキシ結果や機器変数などの欠落データを計算するための一般的な経験的戦略を定式化するものである。
本研究では, 予測アルゴリズムの平均二乗誤差, 真/偽の正の確率など, 予測性能の大規模推定値の境界値に対するバイアス付き機械学習推定器を開発した。
オーストラリアの大手金融機関の行政データセットにおいて、未観測の共起に関する様々な仮定が、デフォルトリスク予測やセンシティブなグループ間での信用スコアの評価に有意義な変化をもたらすかを説明する。
関連論文リスト
- Calibrated Probabilistic Forecasts for Arbitrary Sequences [58.54729945445505]
実際のデータストリームは、分散シフトやフィードバックループ、敵アクターによって予測不可能に変化する可能性がある。
データがどのように進化するかに関わらず、有効な不確実性推定を保証するための予測フレームワークを提案する。
論文 参考訳(メタデータ) (2024-09-27T21:46:42Z) - Quantifying Uncertainty in Deep Learning Classification with Noise in
Discrete Inputs for Risk-Based Decision Making [1.529943343419486]
本稿では,Deep Neural Network(DNN)モデルの予測不確実性を定量化する数学的枠組みを提案する。
予測の不確実性は、既知の有限離散分布に従う予測器の誤差から生じる。
提案フレームワークは,予測器の離散誤差が存在する場合のアプリケーションにおけるリスクベースの意思決定を支援する。
論文 参考訳(メタデータ) (2023-10-09T19:26:24Z) - Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。
この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
論文 参考訳(メタデータ) (2023-08-03T12:43:21Z) - Explainability's Gain is Optimality's Loss? -- How Explanations Bias
Decision-making [0.0]
説明は、アルゴリズムと人間の意思決定者とのコミュニケーションを促進するのに役立つ。
因果モデルに関する特徴に基づく説明のセマンティクスは、意思決定者の以前の信念から漏れを引き起こす。
このような違いは、準最適かつ偏った決定結果をもたらす可能性がある。
論文 参考訳(メタデータ) (2022-06-17T11:43:42Z) - On the Fairness of Machine-Assisted Human Decisions [3.4069627091757178]
偏りのある人間の意思決定者を含めることで、アルゴリズムの構造と結果の判断の質との間の共通関係を逆転させることができることを示す。
実験室実験では,性別別情報による予測が,意思決定における平均的な性別格差を減少させることを示す。
論文 参考訳(メタデータ) (2021-10-28T17:24:45Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳(メタデータ) (2021-10-13T01:23:48Z) - Characterizing Fairness Over the Set of Good Models Under Selective
Labels [69.64662540443162]
同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。
到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。
選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
論文 参考訳(メタデータ) (2021-01-02T02:11:37Z) - Counterfactual Predictions under Runtime Confounding [74.90756694584839]
本研究は, 過去のデータからすべての関連要因を抽出した環境で, 事実予測タスクについて検討する。
本稿では,この環境下での対実予測モデル学習のための2次ロバスト手法を提案する。
論文 参考訳(メタデータ) (2020-06-30T15:49:05Z) - Fast, Optimal, and Targeted Predictions using Parametrized Decision
Analysis [0.0]
我々はベイズ決定解析のためのパラメータ化された行動のクラスを開発し、最適でスケーラブルで単純な目標予測を生成する。
全国健康栄養検査調査の身体活動データに対する予測が作成されている。
論文 参考訳(メタデータ) (2020-06-23T15:55:47Z) - Learning Overlapping Representations for the Estimation of
Individualized Treatment Effects [97.42686600929211]
観測データから代替案の可能性を推定することは難しい問題である。
入力のドメイン不変表現を学習するアルゴリズムは、しばしば不適切であることを示す。
我々は,様々なベンチマークデータセットの最先端性を大幅に向上させる,ディープカーネル回帰アルゴリズムと後続正規化フレームワークを開発した。
論文 参考訳(メタデータ) (2020-01-14T12:56:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。