論文の概要: On the Utility of Prediction Sets in Human-AI Teams

• arxiv url: http://arxiv.org/abs/2205.01411v1
• Date: Tue, 3 May 2022 10:53:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-04 20:46:23.390663
• Title: On the Utility of Prediction Sets in Human-AI Teams
• Title（参考訳）: 人間-AIチームにおける予測セットの有用性について
• Authors: Varun Babbar, Umang Bhatt, Adrian Weller
• Abstract要約: コンフォーマル予測 (CP) は理論的な基礎と校正された予測セットの構築に焦点を当てた、確立された研究のラインである。 このような予測がAIチームにおける専門家の意思決定にどのように影響するかを考察する。 D-CPは、いくつかの例でCPを実行する方法であり、専門家を軽視する手法である。
• 参考スコア（独自算出の注目度）: 31.10635260890126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Research on human-AI teams usually provides experts with a single label, which ignores the uncertainty in a model's recommendation. Conformal prediction (CP) is a well established line of research that focuses on building a theoretically grounded, calibrated prediction set, which may contain multiple labels. We explore how such prediction sets impact expert decision-making in human-AI teams. Our evaluation on human subjects finds that set valued predictions positively impact experts. However, we notice that the predictive sets provided by CP can be very large, which leads to unhelpful AI assistants. To mitigate this, we introduce D-CP, a method to perform CP on some examples and defer to experts. We prove that D-CP can reduce the prediction set size of non-deferred examples. We show how D-CP performs in quantitative and in human subject experiments ($n=120$). Our results suggest that CP prediction sets improve human-AI team performance over showing the top-1 prediction alone, and that experts find D-CP prediction sets are more useful than CP prediction sets.
• Abstract（参考訳）: 人間-AIチームの研究は通常、モデル推奨の不確実性を無視した単一のラベルを専門家に提供する。 コンフォーマル予測 (CP) は、理論上の基礎と校正された予測セットの構築に焦点を当てた、確立された研究のラインである。 このような予測がAIチームにおける専門家の意思決定にどのように影響するかを考察する。 評価の結果,有意な予測が有意な影響を与えることがわかった。 しかし、CPが提供する予測セットが非常に大きくなり、不必要なAIアシスタントにつながることに気が付く。 これを緩和するために,いくつかの例でcpを実行し,専門家に提案する手法であるd-cpを紹介する。 D-CPが非遅延例の予測セットサイズを削減できることを実証する。 D-CPの定量的および人体実験における性能を示す(n=120$)。 以上の結果から,CP予測セットはトップ1の予測のみよりも人間とAIのチームパフォーマンスが向上し,D-CP予測セットがCP予測セットよりも有用であることが示唆された。

関連論文リスト

• Performative Prediction on Games and Mechanism Design [69.7933059664256]
  エージェントが過去の正確性に基づいて予測を信頼するかを判断する集団リスクジレンマについて検討する。 予測が集合的な結果を形成するにつれて、社会福祉は関心の指標として自然に現れる。 よりよいトレードオフを実現し、それらをメカニズム設計に使用する方法を示します。
  論文  参考訳（メタデータ） (2024-08-09T16:03:44Z)
• Towards Human-AI Complementarity with Prediction Sets [14.071862670474832]
  予測セットに基づく意思決定支援システムは、人間の専門家が分類タスクを解くのに役立つことが証明されている。 共形予測を用いて構築された予測集合は、一般に平均精度の点で準最適であることを示す。 我々は,多種多様な専門家モデルと非最適スコアに対して,同等あるいはより優れた性能を提供する予測セットを見つけることが保証される,欲求的アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2024-05-27T18:00:00Z)
• Evaluating the Utility of Conformal Prediction Sets for AI-Advised Image Labeling [14.009838333100612]
  コンフォーマル予測セットは、特定のカバレッジで予測セットを生成する。 我々は,共形予測セットの有用性と,AIによる画像ラベリングのためのTop-1およびTop-k予測の表示の比較を行った。
  論文  参考訳（メタデータ） (2024-01-16T23:19:30Z)
• RR-CP: Reliable-Region-Based Conformal Prediction for Trustworthy Medical Image Classification [24.52922162675259]
  コンフォーマル予測(CP)は、与えられたテストサンプルに対して一連の予測を生成する。 集合のサイズは、予測がどの程度あるかを示す。 信頼度に基づくコンフォーマル予測(RR-CP)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-09T11:14:04Z)
• Designing Decision Support Systems Using Counterfactual Prediction Sets [15.121082690769525]
  分類タスクの意思決定支援システムは主に、基底真理ラベルの価値を予測するために設計されている。 本稿では,オンライン学習の観点から,このようなシステムの設計を再考する。 私たちは専門家のモデルを必要としない方法論を開発しています。
  論文  参考訳（メタデータ） (2023-06-06T18:00:09Z)
• Incentivizing honest performative predictions with proper scoring rules [4.932130498861987]
  その予測が下された後に専門家の信念を正確に反映していれば、予測は固定点であると言える。 二項予測に対して、専門家の予測が結果に与える影響が限定されている場合、最適なレポートが任意に固定点に近づくスコアリングルールを定義することができる。
  論文  参考訳（メタデータ） (2023-05-28T00:53:26Z)
• What Should I Know? Using Meta-gradient Descent for Predictive Feature Discovery in a Single Stream of Experience [63.75363908696257]
  計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。 この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。 本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
  論文  参考訳（メタデータ） (2022-06-13T21:31:06Z)
• Test-time Collective Prediction [73.74982509510961]
  マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。 エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。 我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
  論文  参考訳（メタデータ） (2021-06-22T18:29:58Z)
• Counterfactual Predictions under Runtime Confounding [74.90756694584839]
  本研究は, 過去のデータからすべての関連要因を抽出した環境で, 事実予測タスクについて検討する。 本稿では,この環境下での対実予測モデル学習のための2次ロバスト手法を提案する。
  論文  参考訳（メタデータ） (2020-06-30T15:49:05Z)
• Malicious Experts versus the multiplicative weights algorithm in online prediction [85.62472761361107]
  2人の専門家と1人の予測者による予測問題を考える。 専門家の一人が正直で、各ラウンドで確率$mu$で正しい予測をしていると仮定する。 もう一つは悪意のあるもので、各ラウンドで真の結果を知り、予測者の損失を最大化するために予測を行う。
  論文  参考訳（メタデータ） (2020-03-18T20:12:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。