論文の概要: Not Just How Much, But Where: Decomposing Epistemic Uncertainty into Per-Class Contributions
- arxiv url: http://arxiv.org/abs/2602.21160v1
- Date: Tue, 24 Feb 2026 18:05:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-25 17:34:53.875377
- Title: Not Just How Much, But Where: Decomposing Epistemic Uncertainty into Per-Class Contributions
- Title（参考訳）: 病的不確かさをクラスごとのコントリビューションに分解する
- Authors: Mame Diarra Toure, David A. Stephens,
- Abstract要約: 安全クリティカルな分類では、失敗のコストはしばしば非対称である。
MI をクラスごとのベクトル $C_k(x)=_k2/ (2_k)$, $_k=mathbbE[p_k]$ と $_k2=mathrmVar[p_k]$ に分解する。
- 参考スコア（独自算出の注目度）: 1.2891210250935148
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In safety-critical classification, the cost of failure is often asymmetric, yet Bayesian deep learning summarises epistemic uncertainty with a single scalar, mutual information (MI), that cannot distinguish whether a model's ignorance involves a benign or safety-critical class. We decompose MI into a per-class vector $C_k(x)=σ_k^{2}/(2μ_k)$, with $μ_k{=}\mathbb{E}[p_k]$ and $σ_k^2{=}\mathrm{Var}[p_k]$ across posterior samples. The decomposition follows from a second-order Taylor expansion of the entropy; the $1/μ_k$ weighting corrects boundary suppression and makes $C_k$ comparable across rare and common classes. By construction $\sum_k C_k \approx \mathrm{MI}$, and a companion skewness diagnostic flags inputs where the approximation degrades. After characterising the axiomatic properties of $C_k$, we validate it on three tasks: (i) selective prediction for diabetic retinopathy, where critical-class $C_k$ reduces selective risk by 34.7\% over MI and 56.2\% over variance baselines; (ii) out-of-distribution detection on clinical and image benchmarks, where $\sum_k C_k$ achieves the highest AUROC and the per-class view exposes asymmetric shifts invisible to MI; and (iii) a controlled label-noise study in which $\sum_k C_k$ shows less sensitivity to injected aleatoric noise than MI under end-to-end Bayesian training, while both metrics degrade under transfer learning. Across all tasks, the quality of the posterior approximation shapes uncertainty at least as strongly as the choice of metric, suggesting that how uncertainty is propagated through the network matters as much as how it is measured.
- Abstract（参考訳）: 安全クリティカルな分類では、失敗のコストは非対称であることが多いが、ベイズ深層学習は、モデルの無知が良性または安全クリティカルなクラスにかかわるかどうかを区別できない単一のスカラー、相互情報(MI)と、疫学的な不確実性を要約している。
MI をクラス別ベクトル $C_k(x)=σ_k^{2}/(2μ_k)$, with $μ_k{=}\mathbb{E}[p_k]$ and $σ_k^2{=}\mathrm{Var}[p_k]$ に分解する。
1/μ_k$重み付けは境界の抑制を補正し、珍しいクラスと一般的なクラスで$C_k$に匹敵する。
構築によって、$\sum_k C_k \approx \mathrm{MI}$ と、近似が劣化する箇所で対応する歪診断フラグが入力される。
C_k$の公理特性を特徴づけた後、3つのタスクで検証する。
(i)糖尿病網膜症に対する選択的予測 : 臨界クラス$C_k$はMIに対する34.7\%、分散ベースラインに対する56.2\%の選択リスクを減少させる。
(ii)臨床および画像ベンチマークにおける分布外検出($\sum_k C_k$)はAUROCの最高値であり、クラスごとのビューはMIに見えない非対称なシフトを露呈する。
3) 終末ベイズ訓練におけるMIよりも, $\sum_k C_k$ のアレータリックノイズに対する感受性が低かったが, 両指標は移行学習において劣化した。
全てのタスクにおいて、後部近似の品質は、少なくとも計量の選択と同じくらい強い不確実性を形作っており、ネットワークを通して不確実性がどのように伝播されるかは、その測定方法と同じくらい重要であることを示唆している。
関連論文リスト
- Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - Phase-space entropy at acquisition reflects downstream learnability [54.4100065023873]
楽器分解位相空間に基づく取得レベルスカラー$S_mathcal B$を提案する。
本稿では, (S_mathcal B) が周期サンプリングの位相空間コヒーレンスを正確に同定できることを理論的に示す。
$|S_mathcal B|$は一貫してサンプリングジオメトリをランク付けし、トレーニングなしで下流での再構築/認識の困難を予測します。
論文 参考訳（メタデータ） (2025-12-22T10:03:51Z) - Spectral Sentinel: Scalable Byzantine-Robust Decentralized Federated Learning via Sketched Random Matrix Theory on Blockchain [0.0]
ビザンチンのクライアントは、不均一な(Non-IID)データの下での濃度勾配を中毒する。
本稿では,ビザンチン検出・集約フレームワークであるSpectral Sentinelを提案する。
Polygonネットワーク上でブロックチェーンを統合することで,完全なシステムを実現しています。
論文 参考訳（メタデータ） (2025-12-14T09:43:03Z) - Emergence and scaling laws in SGD learning of shallow neural networks [64.48316762675141]
等方性ガウスデータに基づいてP$ニューロンを持つ2層ニューラルネットワークを学習するためのオンライン勾配降下(SGD)の複雑さについて検討した。
平均二乗誤差(MSE)を最小化するために,学生2層ネットワークのトレーニングのためのSGDダイナミックスを高精度に解析する。
論文 参考訳（メタデータ） (2025-04-28T16:58:55Z) - Self-Ensembling Gaussian Splatting for Few-Shot Novel View Synthesis [55.561961365113554]
3D Gaussian Splatting (3DGS) は新規ビュー合成(NVS)において顕著な効果を示した
本稿では,Self-Ensembling Gaussian Splatting(SE-GS)を紹介する。
我々は,トレーニング中に不確実性を認識した摂動戦略を導入することで,自己理解を実現する。
LLFF, Mip-NeRF360, DTU, MVImgNetデータセットによる実験結果から, 本手法がNVSの品質を向上させることを示す。
論文 参考訳（メタデータ） (2024-10-31T18:43:48Z) - Agnostic Smoothed Online Learning without Knowledge of the Base Measure [5.167069404528051]
本稿では,$mu$の事前知識を必要とせずに,オンライン学習を円滑に行うためのサブ線形後悔を保証するアルゴリズムを提案する。
R-Coverは、次元$d$を持つ関数クラスに対して、適応的後悔$tilde O(sqrtdT/sigma)$を持つ。
論文 参考訳（メタデータ） (2024-10-07T15:25:21Z) - TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。
近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。
1)予測共分散は予測平均のランダム性を真に捉えているか?
その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
論文 参考訳（メタデータ） (2023-10-29T09:54:03Z) - Kernel-Based Tests for Likelihood-Free Hypothesis Testing [21.143798051525646]
2つのバランスの取れたクラスから$n$の観測が与えられたとき、追加の$m$入力をラベル付けするタスクを考える。
この問題の特別なケースはよく知られており、$m=1$はバイナリ分類に対応し、$mapprox n$は2サンプルテストに相当する。
最近の研究で、$m$と$n$の間に根本的なトレードオフがあることが判明した。
論文 参考訳（メタデータ） (2023-08-17T15:24:03Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳（メタデータ） (2020-05-29T07:20:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。