論文の概要: Approximate Conditional Coverage via Neural Model Approximations

• arxiv url: http://arxiv.org/abs/2205.14310v1
• Date: Sat, 28 May 2022 02:59:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 14:18:50.945500
• Title: Approximate Conditional Coverage via Neural Model Approximations
• Title（参考訳）: ニューラルモデル近似による近似条件被覆
• Authors: Allen Schmaltz and Danielle Rasooly
• Abstract要約: 実験的に信頼性の高い近似条件付きカバレッジを得るためのデータ駆動手法を解析する。 我々は、限界範囲のカバレッジ保証を持つ分割型代替案で、実質的な(そして、そうでない)アンダーカバーの可能性を実証する。
• 参考スコア（独自算出の注目度）: 0.030458514384586396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Constructing reliable prediction sets is an obstacle for applications of neural models: Distribution-free conditional coverage is theoretically impossible, and the exchangeability assumption underpinning the coverage guarantees of standard split-conformal approaches is violated on domain shifts. Given these challenges, we propose and analyze a data-driven procedure for obtaining empirically reliable approximate conditional coverage, calculating unique quantile thresholds for each label for each test point. We achieve this via the strong signals for prediction reliability from KNN-based model approximations over the training set and approximations over constrained samples from the held-out calibration set. We demonstrate the potential for substantial (and otherwise unknowable) under-coverage with split-conformal alternatives with marginal coverage guarantees when not taking these distances and constraints into account with protein secondary structure prediction, grammatical error detection, sentiment classification, and fact verification, covering supervised sequence labeling, zero-shot sequence labeling (i.e., feature detection), document classification (with sparsity/interpretability constraints), and retrieval-classification, including class-imbalanced and domain-shifted settings.
• Abstract（参考訳）: 分布のない条件付きカバレッジは理論的には不可能であり、標準的な分割型アプローチのカバレッジを保証する交換可能性の仮定はドメインシフトに違反する。 これらの課題を踏まえ、実験的に信頼性の高い近似条件付きカバレッジを得るためのデータ駆動手法の提案と解析を行い、各テストポイントのラベルごとに独自の量子しきい値を算出する。 学習セット上でのknnモデル近似とホールドアウトキャリブレーションセットからの制約付きサンプルに対する近似から予測信頼性を推定する強信号を用いてこれを達成する。 We demonstrate the potential for substantial (and otherwise unknowable) under-coverage with split-conformal alternatives with marginal coverage guarantees when not taking these distances and constraints into account with protein secondary structure prediction, grammatical error detection, sentiment classification, and fact verification, covering supervised sequence labeling, zero-shot sequence labeling (i.e., feature detection), document classification (with sparsity/interpretability constraints), and retrieval-classification, including class-imbalanced and domain-shifted settings.

関連論文リスト

• Sparse Activations as Conformal Predictors [19.298282860984116]
  共形予測と疎ソフトマックス様変換の新たな関連性を見いだす。 本研究では, キャリブレーションプロセスが広く使用されている温度スケーリング法に対応するように, 分類のための新しい非整合性スコアを導入する。 提案手法は, 適用範囲, 効率, 適応性の観点から, 競合する結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-02-20T17:53:41Z)
• Epistemic Uncertainty in Conformal Scores: A Unified Approach [2.449909275410288]
  等角予測法は、分布のない保証を持つ予測帯域を生成するが、不確実性を明示的に捉えることはできない。 モデルに依存しないアプローチである $texttEPICSCORE$ を導入する。 $texttEPICSCORE$は、限られたデータを持つ領域の予測間隔を適応的に拡張し、データが豊富であるコンパクト間隔を維持します。
  論文  参考訳（メタデータ） (2025-02-10T19:42:54Z)
• Noise-Adaptive Conformal Classification with Marginal Coverage [53.74125453366155]
  本稿では,ランダムラベルノイズによる交換性からの偏差を効率的に処理できる適応型共形推論手法を提案する。 本手法は,合成および実データに対して,その有効性を示す広範囲な数値実験により検証する。
  論文  参考訳（メタデータ） (2025-01-29T23:55:23Z)
• Conformal Prediction Sets with Improved Conditional Coverage using Trust Scores [52.92618442300405]
  有限サンプルにおいて、正確に分布のない条件付きカバレッジを達成することは不可能である。 本稿では,最も重要となる範囲を対象とするコンフォメーション予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-01-17T12:01:56Z)
• Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
  コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T15:37:11Z)
• Probabilistic Conformal Prediction with Approximate Conditional Validity [81.30551968980143]
  本研究では,共形手法の柔軟性と条件分布の推定を組み合わせ,予測セットを生成する手法を開発した。 我々の手法は、条件付きカバレッジの観点から既存の手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-07-01T20:44:48Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)
• Practical Adversarial Multivalid Conformal Prediction [27.179891682629183]
  逐次予測のための一般的な共形予測法を提案する。 相手が選択したデータに対して、ターゲットの実証的カバレッジを保証する。 これは計算的に軽量であり、分割共形予測に匹敵する。
  論文  参考訳（メタデータ） (2022-06-02T14:33:00Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)
• Estimation and Applications of Quantiles in Deep Binary Classification [0.0]
  チェック損失に基づく量子回帰は統計学において広く使われている推論パラダイムである。 二項分類設定におけるチェック損失の類似について考察する。 我々は、予測が信頼できるかどうかを判断するために使用できる個別信頼度スコアを開発する。
  論文  参考訳（メタデータ） (2021-02-09T07:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。