論文の概要: Leveraging Expert Consistency to Improve Algorithmic Decision Support
- arxiv url: http://arxiv.org/abs/2101.09648v1
- Date: Sun, 24 Jan 2021 05:40:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-16 09:10:35.213122
- Title: Leveraging Expert Consistency to Improve Algorithmic Decision Support
- Title(参考訳): エキスパートの一貫性を活用してアルゴリズム決定サポートを改善する
- Authors: Maria De-Arteaga, Artur Dubrawski, Alexandra Chouldechova
- Abstract要約: 歴史的専門家の意思決定を豊富な情報源として利用することを検討します。
観察されたラベルだけで学習する制限を緩和するために活用できることを示しています。
- 参考スコア(独自算出の注目度): 89.01584399789951
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to their promise of superior predictive power relative to human
assessment, machine learning models are increasingly being used to support
high-stakes decisions. However, the nature of the labels available for training
these models often hampers the usefulness of predictive models for decision
support. In this paper, we explore the use of historical expert decisions as a
rich--yet imperfect--source of information, and we show that it can be
leveraged to mitigate some of the limitations of learning from observed labels
alone. We consider the problem of estimating expert consistency indirectly when
each case in the data is assessed by a single expert, and propose influence
functions based methodology as a solution to this problem. We then incorporate
the estimated expert consistency into the predictive model meant for decision
support through an approach we term label amalgamation. This allows the machine
learning models to learn from experts in instances where there is expert
consistency, and learn from the observed labels elsewhere. We show how the
proposed approach can help mitigate common challenges of learning from observed
labels alone, reducing the gap between the construct that the algorithm
optimizes for and the construct of interest to experts. After providing
intuition and theoretical results, we present empirical results in the context
of child maltreatment hotline screenings. Here, we find that (1) there are
high-risk cases whose risk is considered by the experts but not wholly captured
in the target labels used to train a deployed model, and (2) the proposed
approach improves recall for these cases.
- Abstract(参考訳): 人間のアセスメントに対する優れた予測力の約束により、機械学習モデルは高利回りの決定をサポートするためにますます使用されています。
しかし、これらのモデルのトレーニングに利用可能なラベルの性質は、しばしば意思決定支援のための予測モデルの有用性を妨げます。
本論文では,歴史的専門家による意思決定を情報の豊富な情報源として利用することを検討し,観察されたラベルのみから学習する制限を緩和するために活用できることを示した。
本稿では,データ中の各ケースを1人の専門家が評価した場合に,専門家の一貫性を間接的に推定する問題を考察し,その解決策として影響関数に基づく方法論を提案する。
次に、評価された専門家の一貫性を、ラベルアマルガメーションと呼ばれるアプローチを通じて意思決定支援を目的とした予測モデルに組み込む。
これにより、機械学習モデルは、専門家の一貫性のあるインスタンスで専門家から学び、観察されたラベルから他の場所で学ぶことができる。
提案手法は,観測ラベルのみから学習する一般的な課題を緩和し,アルゴリズムが最適化する構造と専門家への関心の構成とのギャップを減らし得ることを示す。
直感的および理論的結果が得られた後, 児童虐待ホットラインスクリーニングの文脈における経験的結果を示す。
ここでは,(1)専門家がリスクを考慮した高リスクケースが存在するが,展開モデルのトレーニングに使用するターゲットラベルに完全に捕捉されていないこと,(2)提案手法は,これらのケースのリコールを改善する。
関連論文リスト
- Online Decision Mediation [72.80902932543474]
意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。
臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
論文 参考訳(メタデータ) (2023-10-28T05:59:43Z) - In Search of Insights, Not Magic Bullets: Towards Demystification of the
Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。
選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
論文 参考訳(メタデータ) (2023-02-06T16:55:37Z) - Knowledge-driven Active Learning [70.37119719069499]
アクティブな学習戦略は、ディープラーニングモデルをトレーニングするために必要なラベル付きデータの量を最小限にすることを目的としている。
ほとんどの積極的な戦略は不確実なサンプルの選択に基づいており、しばしば決定境界に近いサンプルに制限される。
本稿では、一般的なドメイン知識を考慮し、エキスパートでないユーザがより少ないサンプルでモデルを訓練できるようにする。
論文 参考訳(メタデータ) (2021-10-15T06:11:53Z) - Measuring Fairness Under Unawareness of Sensitive Attributes: A
Quantification-Based Approach [131.20444904674494]
センシティブな属性の無意識下でのグループフェアネスを測定する問題に取り組む。
定量化手法は, フェアネスと無意識の問題に対処するのに特に適していることを示す。
論文 参考訳(メタデータ) (2021-09-17T13:45:46Z) - Beyond traditional assumptions in fair machine learning [5.029280887073969]
この論文は、連続的な意思決定における公正性に対する従来の機械学習アプローチの基礎となる一般的な仮定を精査する。
観測データの統計的特性に基づいたグループフェアネス基準は, 基本的に限定的であることを示す。
我々は、機密データが実際に容易に利用できるという仮定を克服する。
論文 参考訳(メタデータ) (2021-01-29T09:02:15Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-09-30T05:29:01Z) - Identifying Causal-Effect Inference Failure with Uncertainty-Aware
Models [41.53326337725239]
本稿では,不確実性推定を最先端のニューラルネットワーク手法のクラスに統合する実践的アプローチを提案する。
提案手法は,高次元データに共通する「非オーバーラップ」の状況に優雅に対処できることを示す。
正確なモデリングの不確実性は、過度に自信を持ち、潜在的に有害なレコメンデーションを与えるのを防ぐことができる。
論文 参考訳(メタデータ) (2020-07-01T00:37:41Z) - Consistent Estimators for Learning to Defer to an Expert [5.076419064097734]
我々は、意思決定を下流の専門家に延期するか、予測するか選択できる予測器の学習方法を示す。
様々な実験課題に対するアプローチの有効性を示す。
論文 参考訳(メタデータ) (2020-06-02T18:21:38Z) - What's a Good Prediction? Challenges in evaluating an agent's knowledge [0.9281671380673306]
一般知識の精度と有用性の矛盾を示す。
本稿では,オンライン連続学習環境において連続的に発生する代替評価手法を提案する。
本稿では,その利用による予測評価について初めて考察する。
論文 参考訳(メタデータ) (2020-01-23T21:44:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。