論文の概要: Perturb and Correct: Post-Hoc Ensembles using Affine Redundancy
- arxiv url: http://arxiv.org/abs/2605.01632v1
- Date: Sat, 02 May 2026 22:48:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-05 20:33:49.859065
- Title: Perturb and Correct: Post-Hoc Ensembles using Affine Redundancy
- Title(参考訳): アフィン冗長性を用いた閉経後アンサンブルの摂動と正確性
- Authors: Eleanor Quint,
- Abstract要約: P&C(Perturb-and-Correct)は,1つの事前学習ネットワークから多様な予測器を構築する手法である。
P&Cは後続のアフィン層に最小二乗補正を施したランダムな隠れ層摂動を適用し、キャリブレーションデータに同意する予測器を発生させる。
実証的には、P&C は MuJoCo の動的予測と CIFAR-10 OOD 検出にまたがる強力な ID/OOD トレードオフを実現している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Models that are indistinguishable on in-distribution data can behave very differently under distribution shift. We introduce Perturb-and-Correct (P&C), a post-hoc method for constructing epistemically diverse predictors from a single pretrained network. P&C applies random hidden layer perturbations with a least-squares correction in the subsequent affine layer, producing predictors that agree on calibration data while remaining free to disagree away from it. We analyze this mechanism through the post-correction residual and its first-order sensitivity: the residual is controlled near the calibration distribution by a leverage term, while corrected sensitivity grows as inputs deviate from the calibration geometry. Empirically, P&C achieves a strong ID/OOD tradeoff across MuJoCo dynamics prediction and CIFAR-10 OOD detection, matching or outperforming standard post-hoc baselines while requiring only a single pretrained model. Our findings highlight the potential in further exploiting overparameterization as a strength of deep learning models.
- Abstract(参考訳): 分散データで区別できないモデルは、分散シフトの下で非常に異なる振る舞いをする。
P&C(Perturb-and-Correct)は、1つの事前学習ネットワークからエピステマティックに多様な予測子を構築するポストホックな手法である。
P&Cは後続のアフィン層に最小二乗補正を施したランダムな隠れ層摂動を適用し、キャリブレーションデータに同意する予測器を発生させる。
残差はキャリブレーション分布付近でレバレッジ項によって制御され、入力がキャリブレーション幾何から逸脱するにつれて補正感度が増大する。
実証的には、P&C は MuJoCo の動的予測と CIFAR-10 OOD 検出にまたがる強力な ID/OOD トレードオフを実現している。
本研究は,深層学習モデルの強みとして,過パラメータ化のさらなる活用の可能性を明らかにするものである。
関連論文リスト
- Activation-Space Uncertainty Quantification for Pretrained Networks [2.001149416674759]
本稿では,ベイズモデリングをウェイトからアクティベーションにシフトさせるポストホック法であるガウス過程活性化(GAPA)を紹介する。
GAPAは標準的な非線形性を、後部平均が元のアクティベーションと正確に一致するアクティベーションに置き換え、構築によるバックボーンのポイント予測を保存する。
現代のアーキテクチャにスケールするために、キャッシュされたトレーニングアクティベーションに対するスパース変分誘導点近似と、ローカルk-アレスト近傍条件の組み合わせを用いる。
論文 参考訳(メタデータ) (2026-02-16T17:17:08Z) - Approximating Full Conformal Prediction for Neural Network Regression with Gauss-Newton Influence [8.952347049759094]
我々は、保留データなしで、保留後のニューラルネットワーク回帰器の予測間隔を構築する。
ガウス・ニュートンの影響を利用して1回、局所摂動モデルパラメータを訓練する。
論文 参考訳(メタデータ) (2025-07-27T13:34:32Z) - Error-quantified Conformal Inference for Time Series [55.11926160774831]
時系列予測の不確かさの定量化は、時系列データの時間的依存と分布シフトのために困難である。
量子化損失関数をスムースにすることで,iError-quantified Conformal Inference (ECI)を提案する。
ECIは有効な誤発見制御と、他のベースラインよりも厳密な予測セットを出力することができる。
論文 参考訳(メタデータ) (2025-02-02T15:02:36Z) - Rethinking Early Stopping: Refine, Then Calibrate [49.966899634962374]
キャリブレーション・リファインメント分解の新規な変分定式化について述べる。
我々は,校正誤差と精錬誤差が訓練中に同時に最小化されないという理論的,実証的な証拠を提供する。
論文 参考訳(メタデータ) (2025-01-31T15:03:54Z) - Domain-adaptive and Subgroup-specific Cascaded Temperature Regression
for Out-of-distribution Calibration [16.930766717110053]
本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。
予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。
回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
論文 参考訳(メタデータ) (2024-02-14T14:35:57Z) - Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。
トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
論文 参考訳(メタデータ) (2024-02-13T11:25:20Z) - Multiclass Alignment of Confidence and Certainty for Network Calibration [10.15706847741555]
最近の研究では、ディープニューラルネットワーク(DNN)が過信的な予測を行う傾向があることが示されている。
予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる簡易なプラグアンドプレイ補助損失を特徴とする列車時キャリブレーション法を提案する。
本手法は,領域内および領域外両方のキャリブレーション性能を実現する。
論文 参考訳(メタデータ) (2023-09-06T00:56:24Z) - Transferable Calibration with Lower Bias and Variance in Domain
Adaptation [139.4332115349543]
ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインへの学習マシンの転送を可能にする。
DAモデルの予測的不確実性を推定する方法は、安全クリティカルなシナリオにおける意思決定に不可欠である。
TransCalは既存のDAメソッドの校正に簡単に適用できる。
論文 参考訳(メタデータ) (2020-07-16T11:09:36Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。
古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。
提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文 参考訳(メタデータ) (2020-06-23T07:18:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。