論文の概要: When Does Uncertainty Matter?: Understanding the Impact of Predictive Uncertainty in ML Assisted Decision Making

• arxiv url: http://arxiv.org/abs/2011.06167v3
• Date: Mon, 12 Jun 2023 21:57:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 19:12:59.121071
• Title: When Does Uncertainty Matter?: Understanding the Impact of Predictive Uncertainty in ML Assisted Decision Making
• Title（参考訳）: 不確かさはいつ重要か? ML支援意思決定における予測不確かさの影響の理解
• Authors: Sean McGrath, Parth Mehta, Alexandra Zytek, Isaac Lage, Himabindu Lakkaraju
• Abstract要約: 我々は,異なるレベルの専門知識を持つ人々が,異なるタイプの予測不確実性にどう反応するかを評価するために,ユーザスタディを実施している。 その結果,後続の予測分布を示すことは,MLモデルの予測との相違点が小さくなることがわかった。 このことは、後続の予測分布は、人間の分布の種類や専門性を考慮し、注意を払って使用するべき有用な決定支援として役立つ可能性があることを示唆している。
• 参考スコア（独自算出の注目度）: 68.19284302320146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As machine learning (ML) models are increasingly being employed to assist human decision makers, it becomes critical to provide these decision makers with relevant inputs which can help them decide if and how to incorporate model predictions into their decision making. For instance, communicating the uncertainty associated with model predictions could potentially be helpful in this regard. In this work, we carry out user studies (1,330 responses from 190 participants) to systematically assess how people with differing levels of expertise respond to different types of predictive uncertainty (i.e., posterior predictive distributions with different shapes and variances) in the context of ML assisted decision making for predicting apartment rental prices. We found that showing posterior predictive distributions led to smaller disagreements with the ML model's predictions, regardless of the shapes and variances of the posterior predictive distributions we considered, and that these effects may be sensitive to expertise in both ML and the domain. This suggests that posterior predictive distributions can potentially serve as useful decision aids which should be used with caution and take into account the type of distribution and the expertise of the human.
• Abstract（参考訳）: 機械学習(ML)モデルは、人間の意思決定者を支援するためにますます採用されているため、モデル予測を意思決定に組み込むかどうか、どのように組み込むかを決めるのに役立つ、関連するインプットを提供することが重要になる。 例えば、モデル予測に関連する不確実性を伝えることは、この点において役立つ可能性がある。 本研究では, 住宅賃貸価格予測のためのml支援意思決定の文脈において, 異なるレベルの専門知識を有する人々が, 異なるタイプの予測不確実性(すなわち, 異なる形状とばらつきを持つ後方予測分布)にどう反応するかを体系的に評価するために, ユーザ調査 (190人から1,330 回答) を実施する。 その結果、後発予測分布を示すことは、我々が検討した後発予測分布の形状やばらつきに関係なく、mlモデルの予測に不一致を生じさせ、これらの影響は、mlとドメインの両方の専門知識に敏感であることがわかった。 これは、後方予測分布は、注意して使用し、分布の種類と人間の専門知識を考慮に入れるべき有用な意思決定支援として役立つ可能性があることを示唆している。

関連論文リスト

• Uncertainty-based Fairness Measures [14.61416119202288]
  機械学習(ML)モデルの異常予測は、現実の環境で広く受け入れられることを妨げる。 本稿では,MLモデルが既存の点ベース公正度尺度と同等であるように見えるが,予測の不確実性の観点からは人口集団に偏っていることを示す。
  論文  参考訳（メタデータ） (2023-12-18T15:49:03Z)
• Introducing an Improved Information-Theoretic Measure of Predictive Uncertainty [6.3398383724486544]
  予測の不確実性は、ベイズ平均(BMA)予測分布のエントロピーによってよく測定される。 これらの制限を克服するために理論的に根ざした尺度を導入する。 提案手法は, 制御された合成タスクにおいて, より合理的に振る舞う。
  論文  参考訳（メタデータ） (2023-11-14T16:55:12Z)
• Model-agnostic variable importance for predictive uncertainty: an entropy-based approach [1.912429179274357]
  既存の説明可能性の手法が不確実性を考慮したモデルにどのように拡張できるかを示す。 我々は、不確実性の原因とモデル性能への影響の両方を理解するために、これらのアプローチの有用性を実証する。
  論文  参考訳（メタデータ） (2023-10-19T15:51:23Z)
• Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
  本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。 この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
  論文  参考訳（メタデータ） (2023-08-03T12:43:21Z)
• What Should I Know? Using Meta-gradient Descent for Predictive Feature Discovery in a Single Stream of Experience [63.75363908696257]
  計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。 この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。 本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
  論文  参考訳（メタデータ） (2022-06-13T21:31:06Z)
• On the Fairness of Machine-Assisted Human Decisions [3.4069627091757178]
  偏りのある人間の意思決定者を含めることで、アルゴリズムの構造と結果の判断の質との間の共通関係を逆転させることができることを示す。 実験室実験では,性別別情報による予測が,意思決定における平均的な性別格差を減少させることを示す。
  論文  参考訳（メタデータ） (2021-10-28T17:24:45Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• Quantifying sources of uncertainty in drug discovery predictions with probabilistic models [0.0]
  予測の不確実性を知ることは、高価な投資決定を行い、患者の安全が最重要である場合に重要である。 薬物発見における機械学習(ML)モデルは、通常、単一の最良の見積もりのみを提供し、不確実性のすべての源を無視します。 確率的予測モデル(PPM)は、データとモデルの両方に不確実性を取り入れ、予測値の分布を返すことができる。
  論文  参考訳（メタデータ） (2021-05-18T18:54:54Z)
• Counterfactual Predictions under Runtime Confounding [74.90756694584839]
  本研究は, 過去のデータからすべての関連要因を抽出した環境で, 事実予測タスクについて検討する。 本稿では,この環境下での対実予測モデル学習のための2次ロバスト手法を提案する。
  論文  参考訳（メタデータ） (2020-06-30T15:49:05Z)
• Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
  変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。 これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。 おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
  論文  参考訳（メタデータ） (2020-02-17T19:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。