論文の概要: On the Utility of Prediction Sets in Human-AI Teams
- arxiv url: http://arxiv.org/abs/2205.01411v1
- Date: Tue, 3 May 2022 10:53:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-04 20:46:23.390663
- Title: On the Utility of Prediction Sets in Human-AI Teams
- Title(参考訳): 人間-AIチームにおける予測セットの有用性について
- Authors: Varun Babbar, Umang Bhatt, Adrian Weller
- Abstract要約: コンフォーマル予測 (CP) は理論的な基礎と校正された予測セットの構築に焦点を当てた、確立された研究のラインである。
このような予測がAIチームにおける専門家の意思決定にどのように影響するかを考察する。
D-CPは、いくつかの例でCPを実行する方法であり、専門家を軽視する手法である。
- 参考スコア(独自算出の注目度): 31.10635260890126
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Research on human-AI teams usually provides experts with a single label,
which ignores the uncertainty in a model's recommendation. Conformal prediction
(CP) is a well established line of research that focuses on building a
theoretically grounded, calibrated prediction set, which may contain multiple
labels. We explore how such prediction sets impact expert decision-making in
human-AI teams. Our evaluation on human subjects finds that set valued
predictions positively impact experts. However, we notice that the predictive
sets provided by CP can be very large, which leads to unhelpful AI assistants.
To mitigate this, we introduce D-CP, a method to perform CP on some examples
and defer to experts. We prove that D-CP can reduce the prediction set size of
non-deferred examples. We show how D-CP performs in quantitative and in human
subject experiments ($n=120$). Our results suggest that CP prediction sets
improve human-AI team performance over showing the top-1 prediction alone, and
that experts find D-CP prediction sets are more useful than CP prediction sets.
- Abstract(参考訳): 人間-AIチームの研究は通常、モデル推奨の不確実性を無視した単一のラベルを専門家に提供する。
コンフォーマル予測 (CP) は、理論上の基礎と校正された予測セットの構築に焦点を当てた、確立された研究のラインである。
このような予測がAIチームにおける専門家の意思決定にどのように影響するかを考察する。
評価の結果,有意な予測が有意な影響を与えることがわかった。
しかし、CPが提供する予測セットが非常に大きくなり、不必要なAIアシスタントにつながることに気が付く。
これを緩和するために,いくつかの例でcpを実行し,専門家に提案する手法であるd-cpを紹介する。
D-CPが非遅延例の予測セットサイズを削減できることを実証する。
D-CPの定量的および人体実験における性能を示す(n=120$)。
以上の結果から,CP予測セットはトップ1の予測のみよりも人間とAIのチームパフォーマンスが向上し,D-CP予測セットがCP予測セットよりも有用であることが示唆された。
関連論文リスト
- Evaluating the Utility of Conformal Prediction Sets for AI-Advised Image
Labeling [14.009838333100612]
コンフォーマル予測セット(Conformal prediction set)は、特定のカバレッジで予測セットを生成するための、配布不要なメソッドのクラスである。
我々は、共形予測セットの有用性を、AIが推奨する画像ラベリングのためのTop-$とTop-k$の表示と比較する。
本研究は,共形予測セットの実践的課題を実証的に特定し,実世界の意思決定に組み込む方法について考察した。
論文 参考訳(メタデータ) (2024-01-16T23:19:30Z) - RR-CP: Reliable-Region-Based Conformal Prediction for Trustworthy
Medical Image Classification [24.52922162675259]
コンフォーマル予測(CP)は、与えられたテストサンプルに対して一連の予測を生成する。
集合のサイズは、予測がどの程度あるかを示す。
信頼度に基づくコンフォーマル予測(RR-CP)と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-09-09T11:14:04Z) - Designing Decision Support Systems Using Counterfactual Prediction Sets [17.863556085198205]
分類タスクの意思決定支援システムは主に、基底真理ラベルの価値を予測するために設計されている。
本稿では,オンライン学習の観点から,このようなシステムの設計を再考する。
私たちは専門家のモデルを必要としない方法論を開発しています。
論文 参考訳(メタデータ) (2023-06-06T18:00:09Z) - Incentivizing honest performative predictions with proper scoring rules [4.932130498861987]
その予測が下された後に専門家の信念を正確に反映していれば、予測は固定点であると言える。
二項予測に対して、専門家の予測が結果に与える影響が限定されている場合、最適なレポートが任意に固定点に近づくスコアリングルールを定義することができる。
論文 参考訳(メタデータ) (2023-05-28T00:53:26Z) - Inductive Conformal Prediction: A Straightforward Introduction with
Examples in Python [0.0]
Inductive Conformal Prediction (ICP) は、ユーザ定義の信頼性とカバレッジを保証するために考案された、分布自由かつモデルに依存しないアルゴリズムのセットである。
ICPは、真の出力が高い確率で設定された予測セットに属することを望んでおり、リスクの高い設定において特に重要である。
本論文は実演であり,本論を紹介する際に例を挙げる。
論文 参考訳(メタデータ) (2022-06-23T16:35:43Z) - What Should I Know? Using Meta-gradient Descent for Predictive Feature
Discovery in a Single Stream of Experience [63.75363908696257]
計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。
この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。
本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
論文 参考訳(メタデータ) (2022-06-13T21:31:06Z) - Taming Overconfident Prediction on Unlabeled Data from Hindsight [50.9088560433925]
ラベルのないデータに対する予測の不確実性を最小化することは、半教師付き学習において優れた性能を達成するための鍵となる要素である。
本稿では,アダプティブシャーニング(Adaptive Sharpening, ADS)と呼ばれる2つのメカニズムを提案する。
ADSは、プラグインにすることで最先端のSSLメソッドを大幅に改善する。
論文 参考訳(メタデータ) (2021-12-15T15:17:02Z) - Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。
エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。
我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文 参考訳(メタデータ) (2021-06-22T18:29:58Z) - Counterfactual Predictions under Runtime Confounding [74.90756694584839]
本研究は, 過去のデータからすべての関連要因を抽出した環境で, 事実予測タスクについて検討する。
本稿では,この環境下での対実予測モデル学習のための2次ロバスト手法を提案する。
論文 参考訳(メタデータ) (2020-06-30T15:49:05Z) - Malicious Experts versus the multiplicative weights algorithm in online
prediction [85.62472761361107]
2人の専門家と1人の予測者による予測問題を考える。
専門家の一人が正直で、各ラウンドで確率$mu$で正しい予測をしていると仮定する。
もう一つは悪意のあるもので、各ラウンドで真の結果を知り、予測者の損失を最大化するために予測を行う。
論文 参考訳(メタデータ) (2020-03-18T20:12:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。