論文の概要: VNDUQE: Information-Theoretic Novelty Detection using Deep Variational Information Bottleneck
- arxiv url: http://arxiv.org/abs/2605.11551v1
- Date: Tue, 12 May 2026 05:31:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:56.601434
- Title: VNDUQE: Information-Theoretic Novelty Detection using Deep Variational Information Bottleneck
- Title（参考訳）: VNDUQE:Deep Variational Information Bottleneckを用いた情報理論ノベルティ検出
- Authors: Aryan Gondkar, Hayder Radha, Yiming Deng,
- Abstract要約: 深部変分情報ボトルネック(VIB)による新規性検出の検討
我々は,MNIST 上の VIB モデルを保持桁クラスで学習し,情報理論の指標である KL の発散と予測エントロピーを用いて OOD 検出を評価する。
- 参考スコア（独自算出の注目度）: 4.618615226841302
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Detecting out-of-distribution (OOD) samples is critical for safe deployment of neural networks in safety-critical applications. While maximum softmax probability (MSP) provides a simple baseline, it lacks theoretical grounding and suffers from miscalibration. We propose VNDUQE (VIB-based Novelty Detection and Uncertainty Quantification for Nondestructive Evaluation), which investigates novelty detection through the Deep Variational Information Bottleneck (VIB), which explicitly constrains information flow through learned representations. We train VIB models on MNIST with held-out digit classes and evaluate OOD detection using information-theoretic metrics: KL divergence and prediction entropy. Our results reveal complementary detection signals: KL divergence achieves perfect detection (100\% AUROC on noise) on far-OOD samples (noise, domain shift), while prediction entropy excels at near-OOD detection (94.7\% AUROC on novel digit classes). A parallel detection strategy combining both metrics achieves 95.3\% average AUROC and 92\% true positive rate at 5\% false positive rate, which is a 32 percentage point improvement over baseline MSP (85.0\% AUROC, 60.1\% TPR). Compression via the information bottleneck principle ($β=10^{-3}$) reduces Expected Calibration Error by 38\%, demonstrating that information-theoretic constraints produce fundamentally more reliable uncertainty estimates. These findings directly support active learning with expensive computational oracles, where well-calibrated novelty detection enables principled threshold selection for oracle queries.
- Abstract（参考訳）: オフ・オブ・ディストリビューション(OOD)サンプルの検出は、安全クリティカルなアプリケーションにおけるニューラルネットワークの安全なデプロイに不可欠である。
最大ソフトマックス確率(MSP)は単純なベースラインを提供するが、理論的な根拠がなく、誤校正に苦しむ。
VNDUQE (VIB-based Novelty Detection and Uncertainty Quantification for Nondestructive Evaluation, VNDUQE) を提案する。
我々は,MNIST 上の VIB モデルを保持桁クラスで学習し,情報理論の指標である KL の発散と予測エントロピーを用いて OOD 検出を評価する。
以上の結果から,KLの発散は遠方のOODサンプル(ノイズ,領域シフト)において完全検出(100\%AUROC)を達成し,予測エントロピーは近方のOOD検出(94.7%AUROC)で優れていた。
両指標を組み合わせた並列検出戦略は、平均AUROCが95.3\%、真正が92\%、偽正が5\%であり、ベースラインMSPよりも32ポイント改善されている(85.0\% AUROC、60.1\% TPR)。
情報ボトルネック原理(β=10^{-3}$)による圧縮は期待される校正誤差を38\%削減し、情報理論上の制約が基本的により信頼性の高い不確実性推定をもたらすことを示した。
これらの知見は,高度に校正されたノベルティ検出により,オラクルクエリのしきい値選択が可能となる,高価なオーラクルを用いた能動的学習を直接支援する。
関連論文リスト
- Out-of-Distribution Detection in LiDAR Semantic Segmentation Using Epistemic Uncertainty from Hierarchical GMMs [3.333967282951669]
トレーニング中に遭遇しないインスタンスであるアウト・オブ・ディストリビューション(OOD)オブジェクトは、未知のオブジェクトの既知のクラスへの不正な割り当てを防止するために不可欠である。
本稿では, ディープニューラルネットワークの特徴空間におけるガウス混合モデル(GMM)パラメータの階層的ベイズモデルから導かれる, てんかん不確実性を利用した教師なしOOD検出手法を提案する。
AUROCは18%改善し,AUPRCは22%増加し,FPR95は36%低下した。
論文 参考訳（メタデータ） (2025-10-08T14:40:17Z) - Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
現実の時系列では欠落値が一般的である。
現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。
このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。
本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
論文 参考訳（メタデータ） (2025-09-27T20:57:48Z) - Can input reconstruction be used to directly estimate uncertainty of a
regression U-Net model? -- Application to proton therapy dose prediction for
head and neck cancer patients [0.8343441027226364]
本稿では,別の直接不確実性推定法を提案し,それを回帰U-Netアーキテクチャに適用する。
本手法は頭頸部癌患者に対する陽子線量予測に応用した。
論文 参考訳（メタデータ） (2023-10-30T16:04:34Z) - HAct: Out-of-Distribution Detection with Neural Net Activation
Histograms [7.795929277007233]
本稿では,OOD検出のための新しい記述子HActを提案する。すなわち,入力データの影響下でのニューラルネットワーク層の出力値の確率分布(ヒストグラムで近似)について述べる。
複数の画像分類ベンチマークにおいて,HActはOOD検出における最先端技術よりもはるかに精度が高いことを示す。
論文 参考訳（メタデータ） (2023-09-09T16:22:18Z) - Beyond AUROC & co. for evaluating out-of-distribution detection
performance [50.88341818412508]
安全(r)AIとの関連性を考えると,OOD検出法の比較の基礎が実用的ニーズと整合しているかどうかを検討することが重要である。
我々は,IDとOODの分離が不十分なことを明示する新しい指標であるAUTC(Area Under the Threshold Curve)を提案する。
論文 参考訳（メタデータ） (2023-06-26T12:51:32Z) - Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。
本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-08T07:05:36Z) - LINe: Out-of-Distribution Detection by Leveraging Important Neurons [15.797257361788812]
本稿では,分布内データとOODデータ間のモデル出力の差を解析するための新しい側面を紹介する。
本稿では,分布検出のポストホックアウトのための新しい手法であるLINe( Leveraging Important Neurons)を提案する。
論文 参考訳（メタデータ） (2023-03-24T13:49:05Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳（メタデータ） (2023-02-06T16:38:43Z) - Augmenting Softmax Information for Selective Classification with
Out-of-Distribution Data [7.221206118679026]
既存のポストホック法はOOD検出でのみ評価した場合とは大きく異なる性能を示す。
本稿では,特徴に依存しない情報を用いて,ソフトマックスに基づく信頼度を向上するSCOD(Softmax Information Retaining Combination, SIRC)の新たな手法を提案する。
多様なImageNetスケールのデータセットと畳み込みニューラルネットワークアーキテクチャの実験は、SIRCがSCODのベースラインを一貫して一致または上回っていることを示している。
論文 参考訳（メタデータ） (2022-07-15T14:39:57Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳（メタデータ） (2020-12-10T16:55:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。