論文の概要: Towards Human-AI Complementarity with Prediction Sets

• arxiv url: http://arxiv.org/abs/2405.17544v2
• Date: Tue, 12 Nov 2024 09:57:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:18:51.010318
• Title: Towards Human-AI Complementarity with Prediction Sets
• Title（参考訳）: 予測セットによる人間とAIの相補性を目指して
• Authors: Giovanni De Toni, Nastaran Okati, Suhas Thejaswi, Eleni Straitouri, Manuel Gomez-Rodriguez,
• Abstract要約: 予測セットに基づく意思決定支援システムは、人間の専門家が分類タスクを解くのに役立つことが証明されている。 共形予測を用いて構築された予測集合は、一般に平均精度の点で準最適であることを示す。 我々は,多種多様な専門家モデルと非最適スコアに対して,同等あるいはより優れた性能を提供する予測セットを見つけることが保証される,欲求的アルゴリズムを導入する。
• 参考スコア（独自算出の注目度）: 14.071862670474832
• License:
• Abstract: Decision support systems based on prediction sets have proven to be effective at helping human experts solve classification tasks. Rather than providing single-label predictions, these systems provide sets of label predictions constructed using conformal prediction, namely prediction sets, and ask human experts to predict label values from these sets. In this paper, we first show that the prediction sets constructed using conformal prediction are, in general, suboptimal in terms of average accuracy. Then, we show that the problem of finding the optimal prediction sets under which the human experts achieve the highest average accuracy is NP-hard. More strongly, unless P = NP, we show that the problem is hard to approximate to any factor less than the size of the label set. However, we introduce a simple and efficient greedy algorithm that, for a large class of expert models and non-conformity scores, is guaranteed to find prediction sets that provably offer equal or greater performance than those constructed using conformal prediction. Further, using a simulation study with both synthetic and real expert predictions, we demonstrate that, in practice, our greedy algorithm finds near-optimal prediction sets offering greater performance than conformal prediction.
• Abstract（参考訳）: 予測セットに基づく意思決定支援システムは、人間の専門家が分類タスクを解くのに役立つことが証明されている。 これらのシステムは、単一ラベル予測を提供するのではなく、共形予測、すなわち予測セットを用いて構築されたラベル予測のセットを提供し、これらのセットからラベル値を予測するように人間の専門家に求める。 本稿では、まず、共形予測を用いて構築された予測セットが、一般に平均精度の点において最適以下であることを示す。 そして,人的専門家が平均精度を最大に達成する最適な予測セットを見つけるという問題はNPハードであることを示す。 より強く、P = NP でない限り、この問題はラベル集合のサイズより小さい任意の因子に近似することが困難であることを示す。 しかし,多種多様な専門家モデルと非整合性スコアに対して,共形予測を用いて構築したモデルと同等以上の性能を確実に提供する予測セットを見つけることが保証される,単純で効率的なグリーディアルゴリズムを導入する。 さらに, 実測値と実測値の両方を用いたシミュレーション実験により, 本アルゴリズムでは, 共形予測よりも高い性能を示す準最適予測セットが得られた。

関連論文リスト

• Conformal Prediction Sets Improve Human Decision Making [5.151594941369301]
  本研究では,人間による意思決定を支援するために,共形予測セットの有用性について検討する。 その結果、人間に共形予測を与えると、その精度は、同じカバレッジ保証の固定サイズ予測セットよりも向上することがわかった。
  論文  参考訳（メタデータ） (2024-01-24T19:01:22Z)
• Evaluating the Utility of Conformal Prediction Sets for AI-Advised Image Labeling [14.009838333100612]
  コンフォーマル予測セットは、特定のカバレッジで予測セットを生成する。 我々は,共形予測セットの有用性と,AIによる画像ラベリングのためのTop-1およびTop-k予測の表示の比較を行った。
  論文  参考訳（メタデータ） (2024-01-16T23:19:30Z)
• PAC Prediction Sets Under Label Shift [52.30074177997787]
  予測セットは、個々のラベルではなくラベルのセットを予測することによって不確実性を捉える。 ラベルシフト設定においてPAC保証付き予測セットを構築するための新しいアルゴリズムを提案する。 提案手法を5つのデータセットで評価する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:57Z)
• Conformal Prediction for Deep Classifier via Label Ranking [29.784336674173616]
  コンフォーマル予測(Conformal prediction)は、予測セットを所望のカバレッジ保証で生成する統計フレームワークである。 我々は、$textitSorted Adaptive Prediction Sets$ (SAPS)という新しいアルゴリズムを提案する。 SAPSは最大ソフトマックス確率を除いて全ての確率値を捨てる。
  論文  参考訳（メタデータ） (2023-10-10T08:54:14Z)
• Designing Decision Support Systems Using Counterfactual Prediction Sets [15.121082690769525]
  分類タスクの意思決定支援システムは主に、基底真理ラベルの価値を予測するために設計されている。 本稿では,オンライン学習の観点から,このようなシステムの設計を再考する。 私たちは専門家のモデルを必要としない方法論を開発しています。
  論文  参考訳（メタデータ） (2023-06-06T18:00:09Z)
• Predictive Inference with Feature Conformal Prediction [80.77443423828315]
  本稿では,特徴空間への共形予測の範囲を拡大する特徴共形予測を提案する。 理論的観点からは、特徴共形予測は軽度の仮定の下で正則共形予測よりも確実に優れていることを示す。 提案手法は,バニラ共形予測だけでなく,他の適応共形予測手法と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-10-01T02:57:37Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• Test-time Collective Prediction [73.74982509510961]
  マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。 エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。 我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
  論文  参考訳（メタデータ） (2021-06-22T18:29:58Z)
• Optimized conformal classification using gradient descent approximation [0.2538209532048866]
  コンフォーマル予測器は、ユーザ定義の信頼性レベルで予測を行うことができる。 我々は,共形予測器を直接最大予測効率で訓練する手法を検討する。 実世界の複数のデータセット上で本手法を検証し,本手法が有望であることを示す。
  論文  参考訳（メタデータ） (2021-05-24T13:14:41Z)
• Private Prediction Sets [72.75711776601973]
  機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。 これら2つのデシラタを共同で扱う枠組みを提案する。 本手法を大規模コンピュータビジョンデータセット上で評価する。
  論文  参考訳（メタデータ） (2021-02-11T18:59:11Z)
• AutoCP: Automated Pipelines for Accurate Prediction Intervals [84.16181066107984]
  本稿では、自動予測のための自動機械学習(Automatic Machine Learning for Conformal Prediction, AutoCP)というAutoMLフレームワークを提案する。 最高の予測モデルを選択しようとする慣れ親しんだAutoMLフレームワークとは異なり、AutoCPは、ユーザが指定したターゲットカバレッジ率を達成する予測間隔を構築する。 さまざまなデータセットでAutoCPをテストしたところ、ベンチマークアルゴリズムを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-06-24T23:13:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。