論文の概要: Evaluating the Utility of Conformal Prediction Sets for AI-Advised Image Labeling

• arxiv url: http://arxiv.org/abs/2401.08876v5
• Date: Mon, 18 Mar 2024 20:43:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 23:41:33.425236
• Title: Evaluating the Utility of Conformal Prediction Sets for AI-Advised Image Labeling
• Title（参考訳）: AI適応画像ラベリングにおけるコンフォーマル予測セットの有用性の評価
• Authors: Dongping Zhang, Angelos Chatzimparmpas, Negar Kamali, Jessica Hullman,
• Abstract要約: コンフォーマル予測セット(Conformal prediction set)は、特定のカバレッジで予測セットを生成するための、配布不要なメソッドのクラスである。 我々は,共形予測セットの有用性と,AIによる画像ラベリングのためのTop-1およびTop-k予測の表示の比較を行った。 本研究は,共形予測セットの実践的課題を実証的に特定し,実世界の意思決定に組み込む方法について考察した。
• 参考スコア（独自算出の注目度）: 14.009838333100612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As deep neural networks are more commonly deployed in high-stakes domains, their black-box nature makes uncertainty quantification challenging. We investigate the effects of presenting conformal prediction sets--a distribution-free class of methods for generating prediction sets with specified coverage--to express uncertainty in AI-advised decision-making. Through a large online experiment, we compare the utility of conformal prediction sets to displays of Top-1 and Top-k predictions for AI-advised image labeling. In a pre-registered analysis, we find that the utility of prediction sets for accuracy varies with the difficulty of the task: while they result in accuracy on par with or less than Top-1 and Top-k displays for easy images, prediction sets excel at assisting humans in labeling out-of-distribution (OOD) images, especially when the set size is small. Our results empirically pinpoint practical challenges of conformal prediction sets and provide implications on how to incorporate them for real-world decision-making.
• Abstract（参考訳）: ディープ・ニューラル・ネットワークはより一般的に高い領域に展開されるため、ブラックボックスの性質は不確実な定量化を困難にしている。 本稿では,AIが推奨する意思決定における不確実性を表現するために,特定のカバレッジで予測セットを生成する手法の分布自由クラスである共形予測セットの提示の効果について検討する。 大規模なオンライン実験を通じて、共形予測セットの有用性と、AIが推奨する画像ラベリングのためのTop-1およびTop-k予測の表示を比較した。 事前登録された分析では,精度の予測セットの有用性はタスクの難易度に応じて変化し,Top-1やTop-kの表示と同等以上の精度で画像を容易に表示できる一方で,特にセットサイズが小さい場合には,人間にアウト・オブ・ディストリビューション(OOD)画像のラベル付けを支援できる予測セットが優れていることがわかった。 本研究は,共形予測セットの実践的課題を実証的に特定し,実世界の意思決定に組み込む方法について考察した。

関連論文リスト

• Towards Human-AI Complementarity with Predictions Sets [14.071862670474832]
  予測セットに基づく意思決定支援システムは、人間の専門家が分類タスクを解くのに役立つことが証明されている。 共形予測を用いて構築された予測集合は、一般に平均精度の点で準最適であることを示す。 我々は,多種多様な専門家モデルと非最適スコアに対して,同等あるいはより優れた性能を提供する予測セットを見つけることが保証される,欲求的アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2024-05-27T18:00:00Z)
• Conformal Prediction Sets Improve Human Decision Making [5.151594941369301]
  本研究では,人間による意思決定を支援するために,共形予測セットの有用性について検討する。 その結果、人間に共形予測を与えると、その精度は、同じカバレッジ保証の固定サイズ予測セットよりも向上することがわかった。
  論文  参考訳（メタデータ） (2024-01-24T19:01:22Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Making Decisions under Outcome Performativity [9.962472413291803]
  我々は、新しい最適性の概念、パフォーマンス的全予測を導入する。 性能的全予測器は、最適な決定ルールを同時に符号化する単一の予測器である。 本研究では,性能予測の自然な制約の下で,効率的な性能予測器が存在することを示す。
  論文  参考訳（メタデータ） (2022-10-04T17:04:47Z)
• Predictive Inference with Feature Conformal Prediction [80.77443423828315]
  本稿では,特徴空間への共形予測の範囲を拡大する特徴共形予測を提案する。 理論的観点からは、特徴共形予測は軽度の仮定の下で正則共形予測よりも確実に優れていることを示す。 提案手法は,バニラ共形予測だけでなく,他の適応共形予測手法と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-10-01T02:57:37Z)
• What Should I Know? Using Meta-gradient Descent for Predictive Feature Discovery in a Single Stream of Experience [63.75363908696257]
  計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。 この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。 本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
  論文  参考訳（メタデータ） (2022-06-13T21:31:06Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• Taming Overconfident Prediction on Unlabeled Data from Hindsight [50.9088560433925]
  ラベルのないデータに対する予測の不確実性を最小化することは、半教師付き学習において優れた性能を達成するための鍵となる要素である。 本稿では,アダプティブシャーニング(Adaptive Sharpening, ADS)と呼ばれる2つのメカニズムを提案する。 ADSは、プラグインにすることで最先端のSSLメソッドを大幅に改善する。
  論文  参考訳（メタデータ） (2021-12-15T15:17:02Z)
• Few-shot Conformal Prediction with Auxiliary Tasks [29.034390810078172]
  対象タスクがトレーニングに利用可能なデータに制限がある場合に,コンフォメーション予測を行うための新しい手法を開発した。 共形予測をメタラーニングパラダイムとしてキャスティングすることで、望ましい限界保証を維持しつつ、より厳密な予測セットを得る。 本手法は,自然言語処理,コンピュータビジョン,薬物発見のための計算化学において,数発の分類と回帰タスクにまたがる効果を示す。
  論文  参考訳（メタデータ） (2021-02-17T17:46:57Z)
• Distribution-Free, Risk-Controlling Prediction Sets [112.9186453405701]
  ユーザ特定レベルにおける将来のテストポイントにおける期待損失を制御するブラックボックス予測器から設定値予測を生成する方法を示す。 提案手法は,予測セットのサイズをキャリブレーションするホールドアウトセットを用いて,任意のデータセットに対して明確な有限サンプル保証を提供する。
  論文  参考訳（メタデータ） (2021-01-07T18:59:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。