論文の概要: Activation-Space Uncertainty Quantification for Pretrained Networks

• arxiv url: http://arxiv.org/abs/2602.14934v1
• Date: Mon, 16 Feb 2026 17:17:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 16:22:50.556619
• Title: Activation-Space Uncertainty Quantification for Pretrained Networks
• Title（参考訳）: 事前学習ネットワークにおける活性化空間不確かさの定量化
• Authors: Richard Bergna, Stefan Depeweg, Sergio Calvo-Ordoñez, Jonathan Plenk, Alvaro Cartea, Jose Miguel Hernández-Lobato,
• Abstract要約: 本稿では,ベイズモデリングをウェイトからアクティベーションにシフトさせるポストホック法であるガウス過程活性化(GAPA)を紹介する。 GAPAは標準的な非線形性を、後部平均が元のアクティベーションと正確に一致するアクティベーションに置き換え、構築によるバックボーンのポイント予測を保存する。 現代のアーキテクチャにスケールするために、キャッシュされたトレーニングアクティベーションに対するスパース変分誘導点近似と、ローカルk-アレスト近傍条件の組み合わせを用いる。
• 参考スコア（独自算出の注目度）: 2.001149416674759
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reliable uncertainty estimates are crucial for deploying pretrained models; yet, many strong methods for quantifying uncertainty require retraining, Monte Carlo sampling, or expensive second-order computations and may alter a frozen backbone's predictions. To address this, we introduce Gaussian Process Activations (GAPA), a post-hoc method that shifts Bayesian modeling from weights to activations. GAPA replaces standard nonlinearities with Gaussian-process activations whose posterior mean exactly matches the original activation, preserving the backbone's point predictions by construction while providing closed-form epistemic variances in activation space. To scale to modern architectures, we use a sparse variational inducing-point approximation over cached training activations, combined with local k-nearest-neighbor subset conditioning, enabling deterministic single-pass uncertainty propagation without sampling, backpropagation, or second-order information. Across regression, classification, image segmentation, and language modeling, GAPA matches or outperforms strong post-hoc baselines in calibration and out-of-distribution detection while remaining efficient at test time.
• Abstract（参考訳）: 信頼性の高い不確実性推定は、事前訓練されたモデルの配置に不可欠であるが、不確実性を定量化する強力な方法は、再訓練、モンテカルロサンプリング、あるいは高価な2階計算を必要とし、凍結したバックボーンの予測を変更する可能性がある。 これを解決するために,ベイズモデリングを重みから活性化に変換するポストホック法であるGaussian Process Activations (GAPA)を導入する。 GAPAは標準的な非線形性を、後方平均が元のアクティベーションと正確に一致するガウス過程のアクティベーションに置き換え、アクティベーション空間におけるクローズドフォームのエピステマティックな分散を提供しながら、構築によってバックボーンのポイント予測を保存する。 現代のアーキテクチャにスケールするために、キャッシュされたトレーニングアクティベーションに対するスパースなインジェクションポイント近似と、ローカルk-nearest-neighborサブセット条件を組み合わせることで、サンプリング、バックプロパゲーション、第2次情報なしに決定論的単一パス不確実性伝播を可能にする。 回帰、分類、画像分割、言語モデリング全般において、GAPAは、テスト時に効率を保ちながら、キャリブレーションやアウト・オブ・ディストリビューション検出において、強力なポストホックベースラインをマッチまたは上回る。

関連論文リスト

• Post-Hoc Split-Point Self-Consistency Verification for Efficient, Unified Quantification of Aleatoric and Epistemic Uncertainty in Deep Learning [5.996056764788456]
  不確実性定量化(UQ)は、信頼できる深層学習には不可欠であるが、既存の手法は計算集約的であるか、タスク固有の部分的な見積もりのみを提供する。 本研究では,事前訓練したモデルの変更や再訓練を伴わずに,アレタリックおよびてんかんの不確実性を共同でキャプチャするポストホック・シングルフォワード・パス・フレームワークを提案する。 提案手法は,EmphSplit-Point Analysis (SPA) を用いて,予測残差を上下サブセットに分解し,各側でEmphMean Absolute Residuals (MAR) を演算する。
  論文  参考訳（メタデータ） (2025-09-16T17:16:01Z)
• Approximating Full Conformal Prediction for Neural Network Regression with Gauss-Newton Influence [8.952347049759094]
  我々は、保留データなしで、保留後のニューラルネットワーク回帰器の予測間隔を構築する。 ガウス・ニュートンの影響を利用して1回、局所摂動モデルパラメータを訓練する。
  論文  参考訳（メタデータ） (2025-07-27T13:34:32Z)
• TULiP: Test-time Uncertainty Estimation via Linearization and Weight Perturbation [11.334867025651233]
  OOD検出のための理論駆動型不確実性推定器TULiPを提案する。 本手法では,収束前にネットワークに適用される仮説的摂動を考察する。 提案手法は,特に近分布試料について,最先端の性能を示す。
  論文  参考訳（メタデータ） (2025-05-22T17:16:41Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Flexible Bayesian Last Layer Models Using Implicit Priors and Diffusion Posterior Sampling [7.084307990641011]
  ベイズ最後の層重みの変分学習に拡散法と暗黙の先行法を組み合わせた新しい手法を提案する。 そこで本手法は,BLLモデルの表現能力を高めることを目的とする。
  論文  参考訳（メタデータ） (2024-08-07T12:59:58Z)
• Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
  テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。 テスト時間フォワード最適化適応法(FOA)を提案する。 FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
  論文  参考訳（メタデータ） (2024-04-02T05:34:33Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Posterior Coreset Construction with Kernelized Stein Discrepancy for Model-Based Reinforcement Learning [78.30395044401321]
  我々は、強化学習(MBRL)のための新しいモデルベースアプローチを開発する。 ターゲット遷移モデルの仮定を緩和し、混合モデルの一般的な族に属する。 連続的な制御環境では、壁時計の時間を最大50%削減することができる。
  論文  参考訳（メタデータ） (2022-06-02T17:27:49Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。