論文の概要: Evidential Transformation Network: Turning Pretrained Models into Evidential Models for Post-hoc Uncertainty Estimation

• arxiv url: http://arxiv.org/abs/2604.08627v1
• Date: Thu, 09 Apr 2026 16:09:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-13 17:57:53.50336
• Title: Evidential Transformation Network: Turning Pretrained Models into Evidential Models for Post-hoc Uncertainty Estimation
• Title（参考訳）: エビデンシャル・トランスフォーメーション・ネットワーク:事前学習したモデルをポストホック不確実性推定のためのエビデンシャル・モデルに変換する
• Authors: Yongchan Chun, Chanhee Park, Jeongho Yoon, Jaehyung Seo, Heuiseok Lim,
• Abstract要約: 本研究では,事前学習した予測器を明らかなモデルに変換する軽量なポストホックモジュールであるエビデンシャルトランスフォーメーションネットワーク(ETN)を提案する。 ETNは、精度を保ち、計算オーバーヘッドを最小限に抑えながら、ポストホックベースラインに対する不確実性評価を一貫して改善する。
• 参考スコア（独自算出の注目度）: 21.687249397347017
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained models have become standard in both vision and language, yet they typically do not provide reliable measures of confidence. Existing uncertainty estimation methods, such as deep ensembles and MC dropout, are often too computationally expensive to deploy in practice. Evidential Deep Learning (EDL) offers a more efficient alternative, but it requires models to be trained to output evidential quantities from the start, which is rarely true for pretrained networks. To enable EDL-style uncertainty estimation in pretrained models, we propose the Evidential Transformation Network (ETN), a lightweight post-hoc module that converts a pretrained predictor into an evidential model. ETN operates in logit space: it learns a sample-dependent affine transformation of the logits and interprets the transformed outputs as parameters of a Dirichlet distribution for uncertainty estimation. We evaluate ETN on image classification and large language model question-answering benchmarks under both in-distribution and out-of-distribution settings. ETN consistently improves uncertainty estimation over post-hoc baselines while preserving accuracy and adding only minimal computational overhead.
• Abstract（参考訳）: 事前訓練されたモデルは、視覚と言語の両方で標準となっているが、通常は信頼性の信頼できる尺度を提供していない。 ディープアンサンブルやMCドロップアウトのような既存の不確実性推定手法は、実際に展開するには計算コストがかかりすぎることが多い。 Evidential Deep Learning (EDL) は、より効率的な代替手段を提供するが、事前訓練されたネットワークでは珍しく、最初から明らかな量を出力するためにモデルを訓練する必要がある。 事前学習モデルにおけるEDLスタイルの不確実性推定を可能にするために,事前学習した予測器を明確なモデルに変換する軽量なポストホックモジュールであるEvidential Transformation Network (ETN)を提案する。 ETNはロジット空間で動作し、ロジットのサンプル依存アフィン変換を学び、変換された出力を不確実性推定のためのディリクレ分布のパラメータとして解釈する。 画像分類と大規模言語モデルの問合せベンチマークにおいて,分布内および分布外の両方でETNを評価する。 ETNは、精度を保ち、計算オーバーヘッドを最小限に抑えながら、ポストホックベースラインに対する不確実性評価を一貫して改善する。

関連論文リスト

• Revisiting the Scaling Properties of Downstream Metrics in Large Language Model Training [11.179110411255708]
  トレーニング予算からベンチマークパフォーマンスのスケーリングをモデル化するための直接的なフレームワークを提案する。 その結果, 直接的アプローチは従来提案していた2段階の手順よりも優れていることがわかった。 事前学習損失と下流評価結果の完全なセットを公表する。
  論文  参考訳（メタデータ） (2025-12-09T18:33:48Z)
• Quantifying Uncertainty in the Presence of Distribution Shifts [18.273290530700567]
  ニューラルネットワークは正確な予測を行うが、しばしば信頼できる不確実性推定を提供することができない。 我々は不確実性推定のためのベイズ的枠組みを提案する。 本手法は,合成データと実世界のデータの両方で評価する。
  論文  参考訳（メタデータ） (2025-06-23T04:30:36Z)
• Principled Input-Output-Conditioned Post-Hoc Uncertainty Estimation for Regression Networks [1.4671424999873808]
  不確実性は安全性に敏感なアプリケーションでは重要であるが、予測性能に悪影響を及ぼすため、市販のニューラルネットワークから排除されることが多い。 本稿では,従来の入力と凍結モデルの両方に補助モデルを適用することにより,回帰タスクにおけるポストホック不確実性推定のための理論的基盤となるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-01T09:13:27Z)
• Fixed-Mean Gaussian Processes for Post-hoc Bayesian Deep Learning [11.22428369342346]
  普遍カーネルを用いた場合、後続平均を任意の連続関数に固定する、スパース変分ガウス過程(GP)の新たなファミリを導入する。 具体的には、このGPの平均値を事前学習したDNNの出力に固定し、GPの予測分散を効果的に適合させて予測の不確かさを推定する。 実験の結果,FMGPは最先端手法と比較して不確実性評価と計算効率を両立させることがわかった。
  論文  参考訳（メタデータ） (2024-12-05T14:17:16Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Post-hoc Uncertainty Learning using a Dirichlet Meta-Model [28.522673618527417]
  本研究では,不確実性定量化能力の優れた事前学習モデルを構築するための新しいベイズメタモデルを提案する。 提案手法は追加のトレーニングデータを必要としないため,不確かさの定量化に十分な柔軟性がある。 提案するメタモデルアプローチの柔軟性と,これらのアプリケーションに対する優れた経験的性能を実証する。
  論文  参考訳（メタデータ） (2022-12-14T17:34:11Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。