論文の概要: PAC Prediction Sets Under Label Shift

• arxiv url: http://arxiv.org/abs/2310.12964v1
• Date: Thu, 19 Oct 2023 17:57:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 13:46:01.314660
• Title: PAC Prediction Sets Under Label Shift
• Title（参考訳）: ラベルシフト下でのPAC予測
• Authors: Wenwen Si, Sangdon Park, Insup Lee, Edgar Dobriban and Osbert Bastani
• Abstract要約: 予測セットは、個々のラベルではなくラベルのセットを予測することによって不確実性を捉える。 ラベルシフト設定においてPAC保証付き予測セットを構築するための新しいアルゴリズムを提案する。 提案手法を5つのデータセットで評価する。
• 参考スコア（独自算出の注目度）: 52.30074177997787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prediction sets capture uncertainty by predicting sets of labels rather than individual labels, enabling downstream decisions to conservatively account for all plausible outcomes. Conformal inference algorithms construct prediction sets guaranteed to contain the true label with high probability. These guarantees fail to hold in the face of distribution shift, which is precisely when reliable uncertainty quantification can be most useful. We propose a novel algorithm for constructing prediction sets with PAC guarantees in the label shift setting. This method estimates the predicted probabilities of the classes in a target domain, as well as the confusion matrix, then propagates uncertainty in these estimates through a Gaussian elimination algorithm to compute confidence intervals for importance weights. Finally, it uses these intervals to construct prediction sets. We evaluate our approach on five datasets: the CIFAR-10, ChestX-Ray and Entity-13 image datasets, the tabular CDC Heart dataset, and the AGNews text dataset. Our algorithm satisfies the PAC guarantee while producing smaller, more informative, prediction sets compared to several baselines.
• Abstract（参考訳）: 予測セットは、個々のラベルではなくラベルのセットを予測することで不確実性を捉え、下流の判断がすべての妥当な結果に保守的に説明できる。 コンフォーマル推論アルゴリズムは、真のラベルを高い確率で含むことが保証される予測セットを構成する。 これらの保証は、信頼性の高い不確かさの定量化が最も有用であるときに、分布シフトに直面して保持できない。 ラベルシフト設定においてPAC保証付き予測セットを構築するための新しいアルゴリズムを提案する。 この方法では、対象領域のクラスと混乱行列の予測確率を推定し、ガウス除去アルゴリズムを用いてこれらの推定値の不確かさを伝搬し、重要重みに対する信頼区間を計算する。 最後に、これらの間隔を使って予測セットを構築する。 我々は、cifar-10、胸部x線およびentity-13画像データセット、表cdcハートデータセット、agnewsテキストデータセットの5つのデータセットに対するアプローチを評価した。 提案アルゴリズムはPAC保証を満たすとともに,より小さく,より情報に富む予測セットを生成する。

関連論文リスト

• Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
  コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T15:37:11Z)
• Stochastic Online Conformal Prediction with Semi-Bandit Feedback [29.334511328067777]
  実例が時間とともに現れるオンライン学習環境について検討し、その目標は予測セットを動的に構築することである。 本稿では,この設定を対象とする新しい共形予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-22T00:42:49Z)
• A Conformal Prediction Score that is Robust to Label Noise [13.22445242068721]
  ラベルノイズに頑健なコンフォメーションスコアを導入する。 ノイズラベル付きデータとノイズレベルを用いて、ノイズフリーコンフォメーションスコアを推定する。 提案手法は,予測セットの平均サイズにおいて,現在の手法よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-04T12:22:02Z)
• Conformal Prediction for Deep Classifier via Label Ranking [29.784336674173616]
  コンフォーマル予測(Conformal prediction)は、予測セットを所望のカバレッジ保証で生成する統計フレームワークである。 我々は、$textitSorted Adaptive Prediction Sets$ (SAPS)という新しいアルゴリズムを提案する。 SAPSは最大ソフトマックス確率を除いて全ての確率値を捨てる。
  論文  参考訳（メタデータ） (2023-10-10T08:54:14Z)
• Practical Adversarial Multivalid Conformal Prediction [27.179891682629183]
  逐次予測のための一般的な共形予測法を提案する。 相手が選択したデータに対して、ターゲットの実証的カバレッジを保証する。 これは計算的に軽量であり、分割共形予測に匹敵する。
  論文  参考訳（メタデータ） (2022-06-02T14:33:00Z)
• Towards PAC Multi-Object Detection and Tracking [26.19794470266982]
  我々は、単一のラベルではなくラベルの集合を予測する、共形予測として知られる戦略を考える。 本稿では,多目的検出・追跡アルゴリズムを提案する。 我々は,COCOおよびMOT-17データセット上でPAC保証付きオブジェクトを検出・追跡できることを実証的に実証した。
  論文  参考訳（メタデータ） (2022-04-15T14:33:42Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)
• Distribution-Free, Risk-Controlling Prediction Sets [112.9186453405701]
  ユーザ特定レベルにおける将来のテストポイントにおける期待損失を制御するブラックボックス予測器から設定値予測を生成する方法を示す。 提案手法は,予測セットのサイズをキャリブレーションするホールドアウトセットを用いて,任意のデータセットに対して明確な有限サンプル保証を提供する。
  論文  参考訳（メタデータ） (2021-01-07T18:59:33Z)
• Uncertainty Sets for Image Classifiers using Conformal Prediction [112.54626392838163]
  本稿では,任意の分類器を修飾して真のラベルを含む予測集合を,90%などのユーザ指定確率で出力するアルゴリズムを提案する。 このアルゴリズムはPlatetスケーリングのようにシンプルで高速だが、すべてのモデルとデータセットに対して正式な有限サンプルカバレッジを保証する。 提案手法は,Plattスケーリング後の可逆クラスの小さなスコアを正規化することにより,より安定した予測セットを与えるために,既存の共形予測アルゴリズムを改良する。
  論文  参考訳（メタデータ） (2020-09-29T17:58:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。