論文の概要: Generalization and Informativeness of Weighted Conformal Risk Control Under Covariate Shift

• arxiv url: http://arxiv.org/abs/2501.11413v1
• Date: Mon, 20 Jan 2025 11:26:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:23:51.279327
• Title: Generalization and Informativeness of Weighted Conformal Risk Control Under Covariate Shift
• Title（参考訳）: 共変量シフト下における重み付き等角的リスク制御の一般化とインフォーマル性
• Authors: Matteo Zecchin, Fredrik Hellström, Sangwoo Park, Shlomo Shamai, Osvaldo Simeone,
• Abstract要約: 重み付き共形リスク制御(W-CRC)は、トレーニングフェーズ中に収集されたデータを使用して、ポイント予測をテスト時に有効なリスク保証を備えた予測セットに変換する。 W-CRCは統計的信頼性を提供するが、その効率(予測セットのサイズによって測定される)はテスト時にのみ評価できる。
• 参考スコア（独自算出の注目度）: 40.43703709267958
• License:
• Abstract: Predictive models are often required to produce reliable predictions under statistical conditions that are not matched to the training data. A common type of training-testing mismatch is covariate shift, where the conditional distribution of the target variable given the input features remains fixed, while the marginal distribution of the inputs changes. Weighted conformal risk control (W-CRC) uses data collected during the training phase to convert point predictions into prediction sets with valid risk guarantees at test time despite the presence of a covariate shift. However, while W-CRC provides statistical reliability, its efficiency -- measured by the size of the prediction sets -- can only be assessed at test time. In this work, we relate the generalization properties of the base predictor to the efficiency of W-CRC under covariate shifts. Specifically, we derive a bound on the inefficiency of the W-CRC predictor that depends on algorithmic hyperparameters and task-specific quantities available at training time. This bound offers insights on relationships between the informativeness of the prediction sets, the extent of the covariate shift, and the size of the calibration and training sets. Experiments on fingerprinting-based localization validate the theoretical results.
• Abstract（参考訳）: 予測モデルは、トレーニングデータと一致しない統計的条件下で信頼できる予測を生成するためにしばしば必要とされる。 トレーニングテストミスマッチの一般的なタイプは共変量シフト(covariate shift)であり、入力特徴が与えられたターゲット変数の条件分布は一定であり、入力の限界分布は変化する。 重み付き共形リスク制御(W-CRC)は、トレーニングフェーズ中に収集したデータを、共変量シフトがあるにもかかわらず、テスト時に有効なリスク保証を備えた予測セットに変換する。 しかしながら、W-CRCは統計的信頼性を提供するが、その効率(予測セットのサイズによって測定される)はテスト時にのみ評価できる。 本研究では, 基底予測器の一般化特性と, 共変量シフト下でのW-CRCの効率を関連付ける。 具体的には、アルゴリズムのハイパーパラメータとトレーニング時に利用可能なタスク固有量に依存するW-CRC予測器の非効率性に基づく。 この境界は、予測セットの情報性、共変量シフトの程度、キャリブレーションとトレーニングセットのサイズの間の関係に関する洞察を与える。 フィンガープリントに基づく局所化実験は理論的結果を検証する。

関連論文リスト

• Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
  コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T15:37:11Z)
• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 この設定では、一般化されたクロスバリデーション推定器(GCV)がサンプル外リスクを正確に予測できないことを示す。 さらに、テストポイントがトレーニングセットと非自明な相関を持つ場合、時系列予測でしばしば発生する設定にまで分析を拡張します。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• Training-Conditional Coverage Bounds under Covariate Shift [2.3072402651280517]
  コンフォメーション予測手法の訓練条件カバレッジ特性について検討した。 分割共形法の結果はほぼ仮定なしであるが、完全共形法とJackknife+法の結果は強い仮定に依存する。
  論文  参考訳（メタデータ） (2024-05-26T15:07:16Z)
• Domain-adaptive and Subgroup-specific Cascaded Temperature Regression for Out-of-distribution Calibration [16.930766717110053]
  本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。 予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。 回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
  論文  参考訳（メタデータ） (2024-02-14T14:35:57Z)
• Adapting to Continuous Covariate Shift via Online Density Ratio Estimation [64.8027122329609]
  分散シフトへの対処は、現代の機械学習における中心的な課題の1つだ。 歴史的情報を適切に再利用するオンライン手法を提案する。 我々の密度比推定法は, ダイナミックなリセットバウンドを楽しむことにより, 良好に動作できることが証明された。
  論文  参考訳（メタデータ） (2023-02-06T04:03:33Z)
• A Learning Based Hypothesis Test for Harmful Covariate Shift [3.1406146587437904]
  リスクの高いドメインの機械学習システムは、アウト・オブ・ディストリビューションテストの例で予測をすべきでないことを特定する必要がある。 本研究では、トレーニングデータに同意し、テストデータに同意するように訓練された分類器のアンサンブル間の不一致を利用して、モデルがデプロイ設定から削除されるかどうかを判断する。
  論文  参考訳（メタデータ） (2022-12-06T04:15:24Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)
• Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
  本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。 本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。 私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
  論文  参考訳（メタデータ） (2020-08-10T17:09:16Z)
• Balance-Subsampled Stable Prediction [55.13512328954456]
  本稿では, 分数分解設計理論に基づく新しいバランスサブサンプル安定予測法を提案する。 設計理論解析により,提案手法は分布シフトによって誘導される予測器間の共起効果を低減できることを示した。 合成および実世界の両方のデータセットに関する数値実験により、BSSPアルゴリズムは未知のテストデータ間で安定した予測を行うためのベースライン法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2020-06-08T07:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。