論文の概要: Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning

• arxiv url: http://arxiv.org/abs/2410.09878v2
• Date: Thu, 28 Nov 2024 12:55:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:15:45.733221
• Title: Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning
• Title（参考訳）: データ・ポジショニングにおける確率的信頼可能な等角予測セット
• Authors: Yan Scholten, Stephan Günnemann,
• Abstract要約: コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
• 参考スコア（独自算出の注目度）: 53.42244686183879
• License:
• Abstract: Conformal prediction provides model-agnostic and distribution-free uncertainty quantification through prediction sets that are guaranteed to include the ground truth with any user-specified probability. Yet, conformal prediction is not reliable under poisoning attacks where adversaries manipulate both training and calibration data, which can significantly alter prediction sets in practice. As a solution, we propose reliable prediction sets (RPS): the first efficient method for constructing conformal prediction sets with provable reliability guarantees under poisoning. To ensure reliability under training poisoning, we introduce smoothed score functions that reliably aggregate predictions of classifiers trained on distinct partitions of the training data. To ensure reliability under calibration poisoning, we construct multiple prediction sets, each calibrated on distinct subsets of the calibration data. We then aggregate them into a majority prediction set, which includes a class only if it appears in a majority of the individual sets. Both proposed aggregations mitigate the influence of datapoints in the training and calibration data on the final prediction set. We experimentally validate our approach on image classification tasks, achieving strong reliability while maintaining utility and preserving coverage on clean data. Overall, our approach represents an important step towards more trustworthy uncertainty quantification in the presence of data poisoning.
• Abstract（参考訳）: コンフォーマル予測は、ユーザーが特定した確率で基底真理を含むことが保証される予測セットを通じて、モデルに依存しない、分布に依存しない不確実性定量化を提供する。 しかし、共形予測は、敵がトレーニングデータと校正データの両方を操作した場合の毒殺攻撃では信頼性が低く、実際には予測セットを著しく変更することができる。 そこで本研究では, 信頼性の高い予測セット (RPS) を提案する。 そこで,本研究では,トレーニングデータの異なる分割に基づいて訓練された分類器の予測を確実に集約するスムーズなスコア関数を導入する。 キャリブレーション中毒下での信頼性を確保するため,キャリブレーションデータの異なるサブセットに基づいて複数の予測セットを構築した。 すると、それらを多数予想集合に集約し、それが個々の集合の過半数に現れる場合にのみクラスを含む。 どちらのアグリゲーションも、最終的な予測セットに対するトレーニングおよびキャリブレーションデータにおけるデータポイントの影響を軽減する。 我々は,画像分類タスクに対する我々のアプローチを実験的に検証し,実用性を維持しつつ信頼性を向上し,クリーンなデータに対するカバレッジを保っている。 全体として、当社のアプローチは、データ中毒の存在下での信頼性の高い不確実性定量化に向けた重要なステップである。

関連論文リスト

• Robust Yet Efficient Conformal Prediction Sets [53.78604391939934]
  コンフォーマル予測(CP)は、任意のモデルの出力を真のラベルを含むことが保証された予測セットに変換することができる。 整合性スコアの最悪のケース変化をバウンドすることで、証明可能なロバストな集合を導出する。
  論文  参考訳（メタデータ） (2024-07-12T10:59:44Z)
• Split Conformal Prediction under Data Contamination [14.23965125128232]
  データ汚染環境における分割共形予測の堅牢性について検討する。 構築した集合のカバレッジと効率に及ぼす劣化したデータの影響を定量化する。 本稿では,汚染ロバスト・コンフォーマル予測(Contamination Robust Conformal Prediction)と呼ぶ分類設定の調整を提案する。
  論文  参考訳（メタデータ） (2024-07-10T14:33:28Z)
• Domain-adaptive and Subgroup-specific Cascaded Temperature Regression for Out-of-distribution Calibration [16.930766717110053]
  本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。 予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。 回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
  論文  参考訳（メタデータ） (2024-02-14T14:35:57Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Calibrated Selective Classification [34.08454890436067]
  そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。 本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。 われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
  論文  参考訳（メタデータ） (2022-08-25T13:31:09Z)
• Robust Flow-based Conformal Inference (FCI) with Statistical Guarantee [4.821312633849745]
  本研究では,予測集合の構築や,複雑なデータや高次元データに対するアウトレイラの推測など,一連の共形推論手法を開発する。 ベンチマークデータセットを用いて,ロバストなフローベース共形推論手法の評価を行った。
  論文  参考訳（メタデータ） (2022-05-22T04:17:30Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Private Prediction Sets [72.75711776601973]
  機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。 これら2つのデシラタを共同で扱う枠組みを提案する。 本手法を大規模コンピュータビジョンデータセット上で評価する。
  論文  参考訳（メタデータ） (2021-02-11T18:59:11Z)
• Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
  本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。 本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。 私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
  論文  参考訳（メタデータ） (2020-08-10T17:09:16Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。