論文の概要: Conformal Structured Prediction
- arxiv url: http://arxiv.org/abs/2410.06296v1
- Date: Tue, 8 Oct 2024 18:56:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-01 10:11:01.926745
- Title: Conformal Structured Prediction
- Title（参考訳）: 等角構造予測
- Authors: Botong Zhang, Shuo Li, Osbert Bastani,
- Abstract要約: 本稿では,構造予測設定における共形予測のための一般的な枠組みを提案する。
本稿では,提案アルゴリズムを用いて,複数の領域において所望のカバレッジ保証を満たす予測セットを構築する方法について述べる。
- 参考スコア（独自算出の注目度）: 32.23920437534215
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conformal prediction has recently emerged as a promising strategy for quantifying the uncertainty of a predictive model; these algorithms modify the model to output sets of labels that are guaranteed to contain the true label with high probability. However, existing conformal prediction algorithms have largely targeted classification and regression settings, where the structure of the prediction set has a simple form as a level set of the scoring function. However, for complex structured outputs such as text generation, these prediction sets might include a large number of labels and therefore be hard for users to interpret. In this paper, we propose a general framework for conformal prediction in the structured prediction setting, that modifies existing conformal prediction algorithms to output structured prediction sets that implicitly represent sets of labels. In addition, we demonstrate how our approach can be applied in domains where the prediction sets can be represented as a set of nodes in a directed acyclic graph; for instance, for hierarchical labels such as image classification, a prediction set might be a small subset of coarse labels implicitly representing the prediction set of all their more fine-descendants. We demonstrate how our algorithm can be used to construct prediction sets that satisfy a desired coverage guarantee in several domains.
- Abstract（参考訳）: コンフォーマル予測は、予測モデルの不確実性を定量化するための有望な戦略として最近現れており、これらのアルゴリズムは、真のラベルを高い確率で含むことが保証されるラベルの集合を出力するためにモデルを修正している。
しかし、既存の共形予測アルゴリズムは、主に分類と回帰の設定を目標としており、予測セットの構造はスコアリング関数のレベルセットとして単純な形式である。
しかし、テキスト生成のような複雑な構造化された出力の場合、これらの予測セットには多数のラベルが含まれており、ユーザが解釈するのは困難である。
本稿では,既存の共形予測アルゴリズムをラベル集合を暗黙的に表現する構造化予測集合に変形させる構造予測設定における共形予測のための一般的な枠組みを提案する。
さらに、有向非巡回グラフのノードの集合として予測集合を表現できる領域において、我々のアプローチがどのように適用できるかを実証する。例えば、画像分類のような階層的なラベルの場合、予測集合は、より微細な被写体の予測集合を暗黙的に表す粗いラベルの小さなサブセットであるかもしれない。
本稿では,提案アルゴリズムを用いて,複数の領域において所望のカバレッジ保証を満たす予測セットを構築する方法を示す。
関連論文リスト
- Conformal Prediction in Hierarchical Classification [18.730305100193927]
分割共形予測フレームワークを階層分類に拡張し、予測セットは予め定義された階層の内部ノードに制限される。
第1のアルゴリズムは予測セットとして内部ノードを返すが、第2のアルゴリズムは複雑さの概念を用いてこの制限を緩和する。
いくつかのベンチマークデータセットの実証評価により,提案アルゴリズムの有効性が示された。
論文 参考訳（メタデータ） (2025-01-31T11:10:19Z) - Conformal Prediction Sets with Improved Conditional Coverage using Trust Scores [52.92618442300405]
有限サンプルにおいて、正確に分布のない条件付きカバレッジを達成することは不可能である。
本稿では,最も重要となる範囲を対象とするコンフォメーション予測アルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-01-17T12:01:56Z) - Conformal Generative Modeling with Improved Sample Efficiency through Sequential Greedy Filtering [55.15192437680943]
生成モデルは出力に対する厳密な統計的保証を欠いている。
厳密な統計的保証を満たす予測セットを生成する逐次共形予測法を提案する。
このことは、高い確率で予測セットが少なくとも1つの許容可能な(または有効な)例を含むことを保証している。
論文 参考訳（メタデータ） (2024-10-02T15:26:52Z) - Towards Human-AI Complementarity with Prediction Sets [14.071862670474832]
予測セットに基づく意思決定支援システムは、人間の専門家が分類タスクを解くのに役立つことが証明されている。
共形予測を用いて構築された予測集合は、一般に平均精度の点で準最適であることを示す。
我々は,多種多様な専門家モデルと非最適スコアに対して,同等あるいはより優れた性能を提供する予測セットを見つけることが保証される,欲求的アルゴリズムを導入する。
論文 参考訳（メタデータ） (2024-05-27T18:00:00Z) - Uncertainty Quantification for Neurosymbolic Programs via Compositional Conformal Prediction [36.88661670156255]
コンフォーマル予測は、機械学習における不確実性を定量化するための有望な戦略として登場した。
本稿では,共形予測をニューロシンボリックプログラムに適用するための新しい枠組みを提案する。
MNISTとMS-COCOの画像を入力として利用するプログラムについて,本手法の評価を行った。
論文 参考訳（メタデータ） (2024-05-24T20:15:53Z) - Stochastic Online Conformal Prediction with Semi-Bandit Feedback [29.334511328067777]
実例が時間とともに現れるオンライン学習環境について検討し、その目標は予測セットを動的に構築することである。
本稿では,この設定を対象とする新しい共形予測アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-05-22T00:42:49Z) - PAC Prediction Sets Under Label Shift [52.30074177997787]
予測セットは、個々のラベルではなくラベルのセットを予測することによって不確実性を捉える。
ラベルシフト設定においてPAC保証付き予測セットを構築するための新しいアルゴリズムを提案する。
提案手法を5つのデータセットで評価する。
論文 参考訳（メタデータ） (2023-10-19T17:57:57Z) - Predictive Inference with Feature Conformal Prediction [80.77443423828315]
本稿では,特徴空間への共形予測の範囲を拡大する特徴共形予測を提案する。
理論的観点からは、特徴共形予測は軽度の仮定の下で正則共形予測よりも確実に優れていることを示す。
提案手法は,バニラ共形予測だけでなく,他の適応共形予測手法と組み合わせることができる。
論文 参考訳（メタデータ） (2022-10-01T02:57:37Z) - Efficient and Differentiable Conformal Prediction with General Function
Classes [96.74055810115456]
本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。
本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。
実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
論文 参考訳（メタデータ） (2022-02-22T18:37:23Z) - Few-shot Conformal Prediction with Auxiliary Tasks [29.034390810078172]
対象タスクがトレーニングに利用可能なデータに制限がある場合に,コンフォメーション予測を行うための新しい手法を開発した。
共形予測をメタラーニングパラダイムとしてキャスティングすることで、望ましい限界保証を維持しつつ、より厳密な予測セットを得る。
本手法は,自然言語処理,コンピュータビジョン,薬物発見のための計算化学において,数発の分類と回帰タスクにまたがる効果を示す。
論文 参考訳（メタデータ） (2021-02-17T17:46:57Z) - Distribution-Free, Risk-Controlling Prediction Sets [112.9186453405701]
ユーザ特定レベルにおける将来のテストポイントにおける期待損失を制御するブラックボックス予測器から設定値予測を生成する方法を示す。
提案手法は,予測セットのサイズをキャリブレーションするホールドアウトセットを用いて,任意のデータセットに対して明確な有限サンプル保証を提供する。
論文 参考訳（メタデータ） (2021-01-07T18:59:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。