論文の概要: Conformal Prediction Sets Improve Human Decision Making

• arxiv url: http://arxiv.org/abs/2401.13744v3
• Date: Mon, 10 Jun 2024 01:12:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 03:59:13.481259
• Title: Conformal Prediction Sets Improve Human Decision Making
• Title（参考訳）: 人間の意思決定を改善するコンフォーマル予測セット
• Authors: Jesse C. Cresswell, Yi Sui, Bhargava Kumar, Noël Vouitsis,
• Abstract要約: 本研究では,人間による意思決定を支援するために,共形予測セットの有用性について検討する。 その結果、人間に共形予測を与えると、その精度は、同じカバレッジ保証の固定サイズ予測セットよりも向上することがわかった。
• 参考スコア（独自算出の注目度）: 5.151594941369301
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In response to everyday queries, humans explicitly signal uncertainty and offer alternative answers when they are unsure. Machine learning models that output calibrated prediction sets through conformal prediction mimic this human behaviour; larger sets signal greater uncertainty while providing alternatives. In this work, we study the usefulness of conformal prediction sets as an aid for human decision making by conducting a pre-registered randomized controlled trial with conformal prediction sets provided to human subjects. With statistical significance, we find that when humans are given conformal prediction sets their accuracy on tasks improves compared to fixed-size prediction sets with the same coverage guarantee. The results show that quantifying model uncertainty with conformal prediction is helpful for human-in-the-loop decision making and human-AI teams.
• Abstract（参考訳）: 日常的なクエリに応答して、人間は明確に不確実性を信号し、不確実であるときに代替の回答を提供する。 共形予測を通じて校正された予測セットを出力する機械学習モデルは、この人間の振る舞いを模倣する。 本研究では,共形予測セットを用いて事前登録したランダム化制御試験を行うことにより,人間による意思決定を支援する上での共形予測セットの有用性について検討する。 統計的に有意な点から、人間に共形予測を与えると、その精度は、同じカバレッジ保証を持つ固定サイズ予測セットよりも向上することがわかった。 その結果,共形予測によるモデルの不確かさの定量化は,ループ内意思決定やAIチームにとって有用であることが示唆された。

関連論文リスト

• Bin-Conditional Conformal Prediction of Fatalities from Armed Conflict [0.5312303275762104]
  両条件共形予測(bin-conditional conformal prediction)と呼ぶ共形予測アルゴリズムを新たに導入する。 この手法により,任意の予測モデルに対して,個々のレベルの予測間隔を得ることができる。 両条件共形予測アルゴリズムを用いて、武装紛争による死亡率の予測を行う。
  論文  参考訳（メタデータ） (2024-10-18T14:41:42Z)
• Performative Prediction on Games and Mechanism Design [69.7933059664256]
  エージェントが過去の正確性に基づいて予測を信頼するかを判断する集団リスクジレンマについて検討する。 予測が集合的な結果を形成するにつれて、社会福祉は関心の指標として自然に現れる。 よりよいトレードオフを実現し、それらをメカニズム設計に使用する方法を示します。
  論文  参考訳（メタデータ） (2024-08-09T16:03:44Z)
• Towards Human-AI Complementarity with Prediction Sets [14.071862670474832]
  予測セットに基づく意思決定支援システムは、人間の専門家が分類タスクを解くのに役立つことが証明されている。 共形予測を用いて構築された予測集合は、一般に平均精度の点で準最適であることを示す。 我々は,多種多様な専門家モデルと非最適スコアに対して,同等あるいはより優れた性能を提供する予測セットを見つけることが保証される,欲求的アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2024-05-27T18:00:00Z)
• Efficient Normalized Conformal Prediction and Uncertainty Quantification for Anti-Cancer Drug Sensitivity Prediction with Deep Regression Forests [0.0]
  予測間隔で機械学習モデルをペアリングするための有望な方法として、コンフォーマル予測が登場した。 本研究では,深部回帰林から得られた分散度を算出し,各試料の不確かさを推定する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T19:09:53Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• CovarianceNet: Conditional Generative Model for Correct Covariance Prediction in Human Motion Prediction [71.31516599226606]
  本稿では,将来の軌道の予測分布に関連する不確かさを正確に予測する手法を提案する。 我々のアプローチであるCovariaceNetは、ガウス潜在変数を持つ条件付き生成モデルに基づいている。
  論文  参考訳（メタデータ） (2021-09-07T09:38:24Z)
• Test-time Collective Prediction [73.74982509510961]
  マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。 エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。 我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
  論文  参考訳（メタデータ） (2021-06-22T18:29:58Z)
• Optimized conformal classification using gradient descent approximation [0.2538209532048866]
  コンフォーマル予測器は、ユーザ定義の信頼性レベルで予測を行うことができる。 我々は,共形予測器を直接最大予測効率で訓練する手法を検討する。 実世界の複数のデータセット上で本手法を検証し,本手法が有望であることを示す。
  論文  参考訳（メタデータ） (2021-05-24T13:14:41Z)
• Private Prediction Sets [72.75711776601973]
  機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。 これら2つのデシラタを共同で扱う枠組みを提案する。 本手法を大規模コンピュータビジョンデータセット上で評価する。
  論文  参考訳（メタデータ） (2021-02-11T18:59:11Z)
• When Does Uncertainty Matter?: Understanding the Impact of Predictive Uncertainty in ML Assisted Decision Making [68.19284302320146]
  我々は,異なるレベルの専門知識を持つ人々が,異なるタイプの予測不確実性にどう反応するかを評価するために,ユーザスタディを実施している。 その結果,後続の予測分布を示すことは,MLモデルの予測との相違点が小さくなることがわかった。 このことは、後続の予測分布は、人間の分布の種類や専門性を考慮し、注意を払って使用するべき有用な決定支援として役立つ可能性があることを示唆している。
  論文  参考訳（メタデータ） (2020-11-12T02:23:53Z)
• Fast, Optimal, and Targeted Predictions using Parametrized Decision Analysis [0.0]
  我々はベイズ決定解析のためのパラメータ化された行動のクラスを開発し、最適でスケーラブルで単純な目標予測を生成する。 全国健康栄養検査調査の身体活動データに対する予測が作成されている。
  論文  参考訳（メタデータ） (2020-06-23T15:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。