論文の概要: Evaluating the Utility of Conformal Prediction Sets for AI-Advised Image Labeling

• arxiv url: http://arxiv.org/abs/2401.08876v1
• Date: Tue, 16 Jan 2024 23:19:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 17:39:30.532635
• Title: Evaluating the Utility of Conformal Prediction Sets for AI-Advised Image Labeling
• Title（参考訳）: AI適応画像ラベリングにおけるコンフォーマル予測セットの有用性の評価
• Authors: Dongping Zhang, Angelos Chatzimparmpas, Negar Kamali, and Jessica Hullman
• Abstract要約: ディープニューラルネットワークは、より一般的にハイテイクなドメインにデプロイされるため、その解釈可能性の欠如は、不確実性を難しくする。 ユーティリティ予測セットをTop-1およびTop-k画像の表示と比較する。 その結果、実践的な課題を実証的に特定し、現実の意思決定にそれらを組み込む方法に意味を与えます。
• 参考スコア（独自算出の注目度）: 14.009838333100612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As deep neural networks are more commonly deployed in high-stakes domains, their lack of interpretability makes uncertainty quantification challenging. We investigate the effects of presenting conformal prediction sets$\unicode{x2013}$a method for generating valid confidence sets in distribution-free uncertainty quantification$\unicode{x2013}$to express uncertainty in AI-advised decision-making. Through a large pre-registered experiment, we compare the utility of conformal prediction sets to displays of Top-1 and Top-k predictions for AI-advised image labeling. We find that the utility of prediction sets for accuracy varies with the difficulty of the task: while they result in accuracy on par with or less than Top-1 and Top-k displays for easy images, prediction sets excel at assisting humans in labeling out-of-distribution (OOD) images especially when the set size is small. Our results empirically pinpoint the practical challenges of conformal prediction sets and provide implications on how to incorporate them for real-world decision-making.
• Abstract（参考訳）: ディープニューラルネットワークは高スループット領域に一般的に展開されるため、その解釈可能性の欠如は不確実性定量化を難しくする。 共形予測セット$\unicode{x2013}$aの分布のない不確実性定量化$\unicode{x2013}$aの方法が、aiが助言する意思決定における不確実性を表現するために有効であることを検証した。 大規模事前登録実験により,aiによる画像ラベリングにおいて,コンフォメーション予測セットの有用性をtop-1およびtop-k予測の表示と比較した。 予測セットの精度は,top-1やtop-kディスプレイと同等かそれ以上の精度で簡単な画像が得られるが,予測セットは,特にサイズが小さければ,out-of-distribution (ood) 画像のラベル付けを支援するのに優れている。 本研究は,共形予測セットの実際的課題を実証的に特定し,実世界の意思決定にどのように組み込むかを示す。

関連論文リスト

• Towards Human-AI Complementarity with Prediction Sets [14.071862670474832]
  予測セットに基づく意思決定支援システムは、人間の専門家が分類タスクを解くのに役立つことが証明されている。 共形予測を用いて構築された予測集合は、一般に平均精度の点で準最適であることを示す。 我々は,多種多様な専門家モデルと非最適スコアに対して,同等あるいはより優れた性能を提供する予測セットを見つけることが保証される,欲求的アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2024-05-27T18:00:00Z)
• Conformal Prediction Sets Improve Human Decision Making [5.151594941369301]
  本研究では,人間による意思決定を支援するために,共形予測セットの有用性について検討する。 その結果、人間に共形予測を与えると、その精度は、同じカバレッジ保証の固定サイズ予測セットよりも向上することがわかった。
  論文  参考訳（メタデータ） (2024-01-24T19:01:22Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Making Decisions under Outcome Performativity [9.962472413291803]
  我々は、新しい最適性の概念、パフォーマンス的全予測を導入する。 性能的全予測器は、最適な決定ルールを同時に符号化する単一の予測器である。 本研究では,性能予測の自然な制約の下で,効率的な性能予測器が存在することを示す。
  論文  参考訳（メタデータ） (2022-10-04T17:04:47Z)
• Predictive Inference with Feature Conformal Prediction [80.77443423828315]
  本稿では,特徴空間への共形予測の範囲を拡大する特徴共形予測を提案する。 理論的観点からは、特徴共形予測は軽度の仮定の下で正則共形予測よりも確実に優れていることを示す。 提案手法は,バニラ共形予測だけでなく,他の適応共形予測手法と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-10-01T02:57:37Z)
• What Should I Know? Using Meta-gradient Descent for Predictive Feature Discovery in a Single Stream of Experience [63.75363908696257]
  計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。 この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。 本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
  論文  参考訳（メタデータ） (2022-06-13T21:31:06Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• Taming Overconfident Prediction on Unlabeled Data from Hindsight [50.9088560433925]
  ラベルのないデータに対する予測の不確実性を最小化することは、半教師付き学習において優れた性能を達成するための鍵となる要素である。 本稿では,アダプティブシャーニング(Adaptive Sharpening, ADS)と呼ばれる2つのメカニズムを提案する。 ADSは、プラグインにすることで最先端のSSLメソッドを大幅に改善する。
  論文  参考訳（メタデータ） (2021-12-15T15:17:02Z)
• Few-shot Conformal Prediction with Auxiliary Tasks [29.034390810078172]
  対象タスクがトレーニングに利用可能なデータに制限がある場合に,コンフォメーション予測を行うための新しい手法を開発した。 共形予測をメタラーニングパラダイムとしてキャスティングすることで、望ましい限界保証を維持しつつ、より厳密な予測セットを得る。 本手法は,自然言語処理,コンピュータビジョン,薬物発見のための計算化学において,数発の分類と回帰タスクにまたがる効果を示す。
  論文  参考訳（メタデータ） (2021-02-17T17:46:57Z)
• Distribution-Free, Risk-Controlling Prediction Sets [112.9186453405701]
  ユーザ特定レベルにおける将来のテストポイントにおける期待損失を制御するブラックボックス予測器から設定値予測を生成する方法を示す。 提案手法は,予測セットのサイズをキャリブレーションするホールドアウトセットを用いて,任意のデータセットに対して明確な有限サンプル保証を提供する。
  論文  参考訳（メタデータ） (2021-01-07T18:59:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。