論文の概要: Semi-Supervised Risk Control via Prediction-Powered Inference

• arxiv url: http://arxiv.org/abs/2412.11174v1
• Date: Sun, 15 Dec 2024 13:00:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 14:01:22.300270
• Title: Semi-Supervised Risk Control via Prediction-Powered Inference
• Title（参考訳）: 予測パワー推論による半監督型リスク制御
• Authors: Bat-Sheva Einbinder, Liran Ringel, Yaniv Romano,
• Abstract要約: リスク制御予測セット(RCPS)は、任意の機械学習モデルの出力を変換し、厳密なエラー率制御で予測ルールを設計するツールである。 ラベルのないデータを利用してハイパーパラメータを厳格に調整する半教師付きキャリブレーション手法を導入する。 提案手法は予測駆動型推論フレームワーク上に構築され,リスク管理タスクに慎重に適合する。
• 参考スコア（独自算出の注目度）: 14.890609936348277
• License:
• Abstract: The risk-controlling prediction sets (RCPS) framework is a general tool for transforming the output of any machine learning model to design a predictive rule with rigorous error rate control. The key idea behind this framework is to use labeled hold-out calibration data to tune a hyper-parameter that affects the error rate of the resulting prediction rule. However, the limitation of such a calibration scheme is that with limited hold-out data, the tuned hyper-parameter becomes noisy and leads to a prediction rule with an error rate that is often unnecessarily conservative. To overcome this sample-size barrier, we introduce a semi-supervised calibration procedure that leverages unlabeled data to rigorously tune the hyper-parameter without compromising statistical validity. Our procedure builds upon the prediction-powered inference framework, carefully tailoring it to risk-controlling tasks. We demonstrate the benefits and validity of our proposal through two real-data experiments: few-shot image classification and early time series classification.
• Abstract（参考訳）: リスク制御予測セット(RCPS)フレームワークは、任意の機械学習モデルの出力を変換し、厳密なエラー率制御で予測ルールを設計するための一般的なツールである。 このフレームワークの主要なアイデアは、ラベル付きホールトアウトキャリブレーションデータを使用して、結果の予測ルールのエラー率に影響を与えるハイパーパラメータをチューニングすることだ。 しかし、そのようなキャリブレーション方式の限界は、限られた保留データで調整されたハイパーパラメータがノイズになり、しばしば不必要に保守的なエラー率の予測規則が導かれることである。 このサンプルサイズの障壁を克服するために、ラベルのないデータを利用して統計的妥当性を損なうことなく、高度パラメータを厳格に調整する半教師付きキャリブレーション手法を導入する。 提案手法は予測駆動型推論フレームワーク上に構築され,リスク管理タスクに慎重に適合する。 提案手法の利点と妥当性を2つの実データ実験により示す。

関連論文リスト

• Online scalable Gaussian processes with conformal prediction for guaranteed coverage [32.21093722162573]
  結果として生じる不確実な値の整合性は、学習関数がGPモデルで指定された特性に従うという前提に基づいている。 提案するGPは,分散のない後処理フレームワークである共形予測(CP)を用いて,有意なカバレッジで予測セットを生成する。
  論文  参考訳（メタデータ） (2024-10-07T19:22:15Z)
• Conformal Generative Modeling with Improved Sample Efficiency through Sequential Greedy Filtering [55.15192437680943]
  生成モデルは出力に対する厳密な統計的保証を欠いている。 厳密な統計的保証を満たす予測セットを生成する逐次共形予測法を提案する。 このことは、高い確率で予測セットが少なくとも1つの許容可能な(または有効な)例を含むことを保証している。
  論文  参考訳（メタデータ） (2024-10-02T15:26:52Z)
• Towards Certification of Uncertainty Calibration under Adversarial Attacks [96.48317453951418]
  攻撃はキャリブレーションを著しく損なう可能性を示し, 対向的摂動下でのキャリブレーションにおける最悪のキャリブレーション境界として認定キャリブレーションを提案する。 我々は,新しいキャリブレーション攻撃を提案し,テクスタディバーショナルキャリブレーショントレーニングによりモデルキャリブレーションを改善する方法を示す。
  論文  参考訳（メタデータ） (2024-05-22T18:52:09Z)
• Episodic Gaussian Process-Based Learning Control with Vanishing Tracking Errors [10.627020714408445]
  本稿では,任意の追跡精度を保証するために,GPモデル学習のためのエピソード手法を開発する。 導出理論の有効性はいくつかのシミュレーションで示されている。
  論文  参考訳（メタデータ） (2023-07-10T08:43:28Z)
• U-Calibration: Forecasting for an Unknown Agent [29.3181385170725]
  単一のスコアリングルールに対する予測を最適化することは、すべてのエージェントに対して低い後悔を保証できないことを示す。 予測列の最大後悔度に匹敵するU校正と呼ばれる予測を評価するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-06-30T23:05:26Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Loss-Controlling Calibration for Predictive Models [5.51361762392299]
  交換可能なデータに対する損失制御予測を行うための予測モデルの校正のための学習フレームワークを提案する。 対照的に、損失制御手法によって構築された予測器は、設定された予測器に限らない。 提案手法は,選択的回帰および高影響気象予報問題に適用する。
  論文  参考訳（メタデータ） (2023-01-11T09:44:55Z)
• Few-Shot Calibration of Set Predictors via Meta-Learned Cross-Validation-Based Conformal Prediction [33.33774397643919]
  本稿では,設定した予測サイズを減らすことを目的としたメタ学習ソリューションを提案する。 より効率的なバリデーションベースのCPではなく、クロスバリデーションベースのCP上に構築されている。 これは、厳格なタスク・マージナル保証を減らすのではなく、正式なタスク毎のキャリブレーション保証を保持する。
  論文  参考訳（メタデータ） (2022-10-06T17:21:03Z)
• Distribution-Free, Risk-Controlling Prediction Sets [112.9186453405701]
  ユーザ特定レベルにおける将来のテストポイントにおける期待損失を制御するブラックボックス予測器から設定値予測を生成する方法を示す。 提案手法は,予測セットのサイズをキャリブレーションするホールドアウトセットを用いて,任意のデータセットに対して明確な有限サンプル保証を提供する。
  論文  参考訳（メタデータ） (2021-01-07T18:59:33Z)
• AutoCP: Automated Pipelines for Accurate Prediction Intervals [84.16181066107984]
  本稿では、自動予測のための自動機械学習(Automatic Machine Learning for Conformal Prediction, AutoCP)というAutoMLフレームワークを提案する。 最高の予測モデルを選択しようとする慣れ親しんだAutoMLフレームワークとは異なり、AutoCPは、ユーザが指定したターゲットカバレッジ率を達成する予測間隔を構築する。 さまざまなデータセットでAutoCPをテストしたところ、ベンチマークアルゴリズムを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-06-24T23:13:11Z)
• Understanding and Mitigating the Tradeoff Between Robustness and Accuracy [88.51943635427709]
  逆行訓練は、堅牢なエラーを改善するために、摂動でトレーニングセットを増強する。 拡張摂動が最適線形予測器からノイズのない観測を行う場合であっても,標準誤差は増大する可能性がある。
  論文  参考訳（メタデータ） (2020-02-25T08:03:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。