論文の概要: When Does Uncertainty Matter?: Understanding the Impact of Predictive Uncertainty in ML Assisted Decision Making

• arxiv url: http://arxiv.org/abs/2011.06167v2
• Date: Fri, 13 Nov 2020 18:36:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 07:27:17.111064
• Title: When Does Uncertainty Matter?: Understanding the Impact of Predictive Uncertainty in ML Assisted Decision Making
• Title（参考訳）: 不確かさはいつ重要か? ML支援意思決定における予測不確かさの影響の理解
• Authors: Sean McGrath, Parth Mehta, Alexandra Zytek, Isaac Lage, Himabindu Lakkaraju
• Abstract要約: 予測に付随する不確かさを観察した場合、人々はモデル予測に同意する傾向にあることを示す。 この発見は、予測不確実性(後続予測分布)の性質にかかわらず成り立つ。 また、ドメインの専門知識やMLに精通しているといった他の要因も、誰かがどのように解釈し、予測の不確実性を意思決定に組み込むかを決定する役割を担っていることもわかりました。
• 参考スコア（独自算出の注目度）: 68.19284302320146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As machine learning (ML) models are increasingly being employed to assist human decision makers, it becomes critical to provide these decision makers with relevant inputs which can help them decide if and how to incorporate model predictions into their decision making. For instance, communicating the uncertainty associated with model predictions could potentially be helpful in this regard. However, there is little to no research that systematically explores if and how conveying predictive uncertainty impacts decision making. In this work, we carry out user studies to systematically assess how people respond to different types of predictive uncertainty i.e., posterior predictive distributions with different shapes and variances, in the context of ML assisted decision making. To the best of our knowledge, this work marks one of the first attempts at studying this question. Our results demonstrate that people are more likely to agree with a model prediction when they observe the corresponding uncertainty associated with the prediction. This finding holds regardless of the properties (shape or variance) of predictive uncertainty (posterior predictive distribution), suggesting that uncertainty is an effective tool for persuading humans to agree with model predictions. Furthermore, we also find that other factors such as domain expertise and familiarity with ML also play a role in determining how someone interprets and incorporates predictive uncertainty into their decision making.
• Abstract（参考訳）: 機械学習(ML)モデルは、人間の意思決定者を支援するためにますます採用されているため、モデル予測を意思決定に組み込むかどうか、どのように組み込むかを決めるのに役立つ、関連するインプットを提供することが重要になる。 例えば、モデル予測に関連する不確実性を伝えることは、この点において役立つ可能性がある。 しかし、予測の不確実性が意思決定にどのように影響するかを体系的に調査する研究はほとんどない。 本研究では,MLによる意思決定の文脈において,様々な種類の予測不確実性,すなわち,形状や分散の異なる後部予測分布に対して,人々がどう反応するかを体系的に評価する。 私たちの知る限りでは、この研究はこの問題を研究する最初の試みの1つです。 以上の結果から,予測に付随する不確実性を観察した場合,モデル予測に賛同する傾向が示唆された。 この発見は予測の不確実性(後の予測分布)の性質(形状または分散)によらず、不確実性はモデル予測に人間を説得するための有効なツールであることを示唆している。 さらに、ドメインの専門知識やMLに精通するといった他の要因も、誰かがどのように解釈し、予測の不確実性を意思決定に組み込むかを決定する役割を担っていることもわかりました。

関連論文リスト

• Uncertainty-based Fairness Measures [14.61416119202288]
  機械学習(ML)モデルの異常予測は、現実の環境で広く受け入れられることを妨げる。 本稿では,MLモデルが既存の点ベース公正度尺度と同等であるように見えるが,予測の不確実性の観点からは人口集団に偏っていることを示す。
  論文  参考訳（メタデータ） (2023-12-18T15:49:03Z)
• Introducing an Improved Information-Theoretic Measure of Predictive Uncertainty [6.3398383724486544]
  予測の不確実性は、ベイズ平均(BMA)予測分布のエントロピーによってよく測定される。 これらの制限を克服するために理論的に根ざした尺度を導入する。 提案手法は, 制御された合成タスクにおいて, より合理的に振る舞う。
  論文  参考訳（メタデータ） (2023-11-14T16:55:12Z)
• Model-agnostic variable importance for predictive uncertainty: an entropy-based approach [1.912429179274357]
  既存の説明可能性の手法が不確実性を考慮したモデルにどのように拡張できるかを示す。 我々は、不確実性の原因とモデル性能への影響の両方を理解するために、これらのアプローチの有用性を実証する。
  論文  参考訳（メタデータ） (2023-10-19T15:51:23Z)
• Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
  本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。 この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
  論文  参考訳（メタデータ） (2023-08-03T12:43:21Z)
• What Should I Know? Using Meta-gradient Descent for Predictive Feature Discovery in a Single Stream of Experience [63.75363908696257]
  計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。 この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。 本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
  論文  参考訳（メタデータ） (2022-06-13T21:31:06Z)
• On the Fairness of Machine-Assisted Human Decisions [3.4069627091757178]
  偏りのある人間の意思決定者を含めることで、アルゴリズムの構造と結果の判断の質との間の共通関係を逆転させることができることを示す。 実験室実験では,性別別情報による予測が,意思決定における平均的な性別格差を減少させることを示す。
  論文  参考訳（メタデータ） (2021-10-28T17:24:45Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• Quantifying sources of uncertainty in drug discovery predictions with probabilistic models [0.0]
  予測の不確実性を知ることは、高価な投資決定を行い、患者の安全が最重要である場合に重要である。 薬物発見における機械学習(ML)モデルは、通常、単一の最良の見積もりのみを提供し、不確実性のすべての源を無視します。 確率的予測モデル(PPM)は、データとモデルの両方に不確実性を取り入れ、予測値の分布を返すことができる。
  論文  参考訳（メタデータ） (2021-05-18T18:54:54Z)
• Counterfactual Predictions under Runtime Confounding [74.90756694584839]
  本研究は, 過去のデータからすべての関連要因を抽出した環境で, 事実予測タスクについて検討する。 本稿では,この環境下での対実予測モデル学習のための2次ロバスト手法を提案する。
  論文  参考訳（メタデータ） (2020-06-30T15:49:05Z)
• Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
  変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。 これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。 おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
  論文  参考訳（メタデータ） (2020-02-17T19:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。