論文の概要: Efficient and Differentiable Conformal Prediction with General Function
Classes
- arxiv url: http://arxiv.org/abs/2202.11091v1
- Date: Tue, 22 Feb 2022 18:37:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-23 15:05:21.806120
- Title: Efficient and Differentiable Conformal Prediction with General Function
Classes
- Title（参考訳）: 一般関数クラスを用いた効率的・微分可能な等角予測
- Authors: Yu Bai, Song Mei, Huan Wang, Yingbo Zhou, Caiming Xiong
- Abstract要約: 本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。
本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。
実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
- 参考スコア（独自算出の注目度）: 96.74055810115456
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quantifying the data uncertainty in learning tasks is often done by learning
a prediction interval or prediction set of the label given the input. Two
commonly desired properties for learned prediction sets are \emph{valid
coverage} and \emph{good efficiency} (such as low length or low cardinality).
Conformal prediction is a powerful technique for learning prediction sets with
valid coverage, yet by default its conformalization step only learns a single
parameter, and does not optimize the efficiency over more expressive function
classes.
In this paper, we propose a generalization of conformal prediction to
multiple learnable parameters, by considering the constrained empirical risk
minimization (ERM) problem of finding the most efficient prediction set subject
to valid empirical coverage. This meta-algorithm generalizes existing conformal
prediction algorithms, and we show that it achieves approximate valid
population coverage and near-optimal efficiency within class, whenever the
function class in the conformalization step is low-capacity in a certain sense.
Next, this ERM problem is challenging to optimize as it involves a
non-differentiable coverage constraint. We develop a gradient-based algorithm
for it by approximating the original constrained ERM using differentiable
surrogate losses and Lagrangians. Experiments show that our algorithm is able
to learn valid prediction sets and improve the efficiency significantly over
existing approaches in several applications such as prediction intervals with
improved length, minimum-volume prediction sets for multi-output regression,
and label prediction sets for image classification.
- Abstract（参考訳）: 学習タスクにおけるデータの不確かさの定量化は、入力されたラベルの予測間隔や予測セットを学習することで行われることが多い。
学習された予測集合に求められる2つの性質は、 \emph{valid coverage} と \emph{good efficiency} (例えば、低長さまたは低濃度)である。
コンフォーマル予測は、有効なカバレッジを持つ予測セットを学習するための強力なテクニックであるが、デフォルトでは、そのコンフォーマル化ステップは単一のパラメータのみを学習し、より表現力のある関数クラスよりも効率を最適化しない。
本稿では,複数の学習可能なパラメータに対する共形予測の一般化を,有効な経験的カバレッジの対象となる最も効率的な予測セットを見つけるための制約付き経験的リスク最小化(ERM)問題を考察して提案する。
このメタアルゴリズムは既存のコンフォメーション予測アルゴリズムを一般化し、コンフォメーションステップの関数クラスが一定の意味で低容量である場合、クラス内で有効な人口被覆と準最適効率を達成することを示す。
次に、このERM問題は、微分不可能なカバレッジ制約を伴うため、最適化が困難である。
微分代用損失とラグランジアンを用いて、元の制約付きERMを近似して勾配に基づくアルゴリズムを開発した。
実験結果から,提案アルゴリズムは精度の高い予測セットを学習し,提案手法を改良した予測間隔,複数出力回帰のための最小体積予測セット,画像分類のためのラベル予測セットなど,既存手法に比べて効率が向上することが示された。
関連論文リスト
- Weighted Aggregation of Conformity Scores for Classification [9.559062601251464]
コンフォーマル予測は、有効なカバレッジ保証を備えた予測セットを構築するための強力なフレームワークである。
本稿では,共形予測器の性能向上のために,複数のスコア関数を組み合わせた新しい手法を提案する。
論文 参考訳（メタデータ） (2024-07-14T14:58:03Z) - PAC-Bayes Generalization Certificates for Learned Inductive Conformal
Prediction [27.434939269672288]
我々はPAC-Bayes理論を用いて、集合値予測器のカバレッジと効率の一般化境界を求める。
我々はこれらの理論結果を活用し、キャリブレーションデータを用いてモデルのパラメータやスコア関数を微調整する実用的なアルゴリズムを提供する。
我々は, 回帰および分類タスクに対するアプローチの評価を行い, ICP 上の Hoeffding bound-based PAC 保証を用いて, 基準値の調整を行った。
論文 参考訳（メタデータ） (2023-12-07T19:40:44Z) - Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。
解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
論文 参考訳（メタデータ） (2023-03-31T02:10:30Z) - Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。
合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文 参考訳（メタデータ） (2023-02-23T18:57:14Z) - Non-Clairvoyant Scheduling with Predictions Revisited [77.86290991564829]
非論理的スケジューリングでは、優先度不明な処理条件でジョブをスケジューリングするためのオンライン戦略を見つけることが課題である。
我々はこのよく研究された問題を、アルゴリズム設計に(信頼できない)予測を統合する、最近人気の高い学習強化された設定で再検討する。
これらの予測には所望の特性があり, 高い性能保証を有するアルゴリズムと同様に, 自然な誤差測定が可能であることを示す。
論文 参考訳（メタデータ） (2022-02-21T13:18:11Z) - Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient
for Out-of-Distribution Generalization [52.7137956951533]
既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。
本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。
自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
論文 参考訳（メタデータ） (2022-02-14T16:42:16Z) - Robustification of Online Graph Exploration Methods [59.50307752165016]
我々は、古典的で有名なオンライングラフ探索問題の学習強化版について研究する。
本稿では,予測をよく知られたNearest Neighbor(NN)アルゴリズムに自然に統合するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-12-10T10:02:31Z) - Optimized conformal classification using gradient descent approximation [0.2538209532048866]
コンフォーマル予測器は、ユーザ定義の信頼性レベルで予測を行うことができる。
我々は,共形予測器を直接最大予測効率で訓練する手法を検討する。
実世界の複数のデータセット上で本手法を検証し,本手法が有望であることを示す。
論文 参考訳（メタデータ） (2021-05-24T13:14:41Z) - Few-shot Conformal Prediction with Auxiliary Tasks [29.034390810078172]
対象タスクがトレーニングに利用可能なデータに制限がある場合に,コンフォメーション予測を行うための新しい手法を開発した。
共形予測をメタラーニングパラダイムとしてキャスティングすることで、望ましい限界保証を維持しつつ、より厳密な予測セットを得る。
本手法は,自然言語処理,コンピュータビジョン,薬物発見のための計算化学において,数発の分類と回帰タスクにまたがる効果を示す。
論文 参考訳（メタデータ） (2021-02-17T17:46:57Z) - Integrated Optimization of Predictive and Prescriptive Tasks [0.0]
予測タスクを記述タスクとして直接統合する新しいフレームワークを提案する。
予測アルゴリズムのパラメータを2レベル最適化技術により、処方問題内でトレーニングします。
論文 参考訳（メタデータ） (2021-01-02T02:43:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。