論文の概要: Rethinking Vacuity for OOD Detection in Evidential Deep Learning

• arxiv url: http://arxiv.org/abs/2605.06382v1
• Date: Thu, 07 May 2026 15:00:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.925357
• Title: Rethinking Vacuity for OOD Detection in Evidential Deep Learning
• Title（参考訳）: 情報深層学習におけるOOD検出のための真空の再考
• Authors: Claire McNamara,
• Abstract要約: Evidential Deep Learning (EDL) における OOD (Out-of-Distribution) 検出の指標として, 不確実性質量 (UM) が一般的に用いられる。 AUROC と AUPR は,ID と OOD のクラス濃度が 1。 AUROC/AUPR は, ID と OOD の違いにより, モデル予測に変化を伴わずに人工的に膨らませることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vacuity, or Uncertainty Mass (UM), is commonly used as a metric to evaluate Out-of-Distribution (OOD) detection in Evidential Deep Learning (EDL). It generally involves dividing the number of classes ($K$) by the total strength of belief ($S$) of the model's predictions, where $S$ is derived from summing the Dirichlet parameters. As such, UM is sensitive to the cardinality of $K$. In particular, it is unlikely in practice that there is a linear relationship between $K$ and $S$ as $K$ and $S$ increase due to the nature of EDL (suppressing incorrectly assigned evidence). As a result, when comparing In Distribution (ID) and OOD results, it is important that $K_{\mathrm{ID}}$ and $K_{\mathrm{OOD}}$ are equal; something that is not always ensured in practice. We provide an empirical demonstration of how results for AUROC and AUPR can substantially differ when class cardinality between ID and OOD differs by 1, with AUROC differing by as much as 0.318 and AUPR by 0.613 for standard EDL, and AUROC by 0.360 and AUPR by 0.683 for IB-EDL. More concretely, our findings isolate an evaluation artefact: when K differs between ID and OOD, AUROC/AUPR can be artificially inflated without any change in model predictions. We further discuss the evaluation of EDL over causal language models using Multiple-Choice Question-Answer (MCQA) datasets and argue for clearer definitions of ID and OOD in this context. Our primary contribution is an empirical and theoretical demonstration that vacuity-based OOD detection in EDL-fine-tuned LLMs is highly sensitive to uncontrolled differences in evaluated class cardinality.
• Abstract（参考訳）: 不確実性マス(英: Uncertainity Mass, UM)は、Evidential Deep Learning (EDL)におけるOOD(Out-of-Distribution)の検出を評価する指標として一般的に用いられる。 一般に、モデルの予測の総強度(S$)によってクラス数(K$)を割り振るが、そこでは、$S$はディリクレのパラメータを和ることから導かれる。 したがって、UMは$K$の濃度に敏感である。 特に、EDLの性質上、$K$と$S$が$K$と$S$の線形関係を持つ可能性は低い(誤って割り当てられた証拠を抑える)。 その結果、In Distribution (ID) と OOD の結果を比較する際には、$K_{\mathrm{ID}}$ と $K_{\mathrm{OOD}}$ が等しいことが重要である。 IB-EDLではAUROCが0.318,AUPRが0.613,AUROCが0.360,AUPRが0.683であった。 より具体的には、KがIDとOODと異なる場合、AUROC/AUPRはモデル予測を変えることなく人工的に膨らませることができる。 さらに、MCQA(Multiple-Choice Question-Answer)データセットを用いた因果言語モデルに対するEDLの評価について論じ、この文脈におけるIDとOODの明確な定義について議論する。 本研究の主な貢献は,EDL微調整LDMにおける空洞によるOOD検出が,評価されたクラス濃度の制御不能な差異に非常に敏感である,という実証的および理論的実証である。

関連論文リスト

• Going Beyond Conventional OOD Detection [0.0]
  アウト・オブ・ディストリビューション(OOD)検出は、重要なアプリケーションにディープラーニングモデルの安全なデプロイを保証するために重要である。 従来型OOD検出(ASCOOD)への統一的アプローチを提案する。 提案手法は, スパイラル相関の影響を効果的に軽減し, 微粒化特性の獲得を促す。
  論文  参考訳（メタデータ） (2024-11-16T13:04:52Z)
• Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
  言語モデル(LM)は、自然言語生成において有望な性能を示している。 与えられた入力に応答する際の不確実性を正確に定量化することは重要である。 我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-04-04T02:31:05Z)
• Out-of-Distribution Detection & Applications With Ablated Learned Temperature Energy [38.11184252495269]
  OOD検出法としてAblated Learned Temperature Energy(略してAbeT)を導入する。 In-Distribution (ID) と OOD サンプルを区別するためにモデルを学習した理由に関する実証的な知見を提供する。 オブジェクト検出とセマンティックセグメンテーションにおいて,OODオブジェクトに対応する予測境界ボックスと画素を識別する手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-01-22T17:11:01Z)
• Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis, and LLMs Evaluations [111.88727295707454]
  本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。 本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。 我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
  論文  参考訳（メタデータ） (2023-06-07T17:47:03Z)
• Plugin estimators for selective classification with out-of-distribution detection [67.28226919253214]
  現実世界の分類器は、信頼性の低いサンプルの予測を控えることの恩恵を受けることができる。 これらの設定は、選択分類(SC)とアウト・オブ・ディストリビューション(OOD)の検出文献において広範囲に研究されている。 OOD検出による選択分類に関する最近の研究は、これらの問題の統一的な研究を議論している。 本稿では,既存の手法を理論的に基礎づけ,有効かつ一般化したSCOD用プラグイン推定器を提案する。
  論文  参考訳（メタデータ） (2023-01-29T07:45:17Z)
• Partial and Asymmetric Contrastive Learning for Out-of-Distribution Detection in Long-Tailed Recognition [80.07843757970923]
  既存のOOD検出手法は,トレーニングセットが長距離分布している場合,大幅な性能劣化に悩まされていることを示す。 本稿では,部分的および非対称的な教師付きコントラスト学習(PASCL)を提案する。 我々の手法は従来の最先端の手法を1.29%$, $1.45%$, $0.69%$異常検出偽陽性率(FPR)と$3.24%$, 4,.06%$, 7,89%$in-distributionで上回ります。
  論文  参考訳（メタデータ） (2022-07-04T01:53:07Z)
• Towards IID representation learning and its application on biomedical data [2.91364210254152]
  広く受け入れられている独立性と同一分布(IID)の仮定は、因果関係に関する最近の研究で批判されている。 本稿では、疑わしい仮定である代わりに、IIDは学習すべき基本的なタスク関連特性である、と論じる。
  論文  参考訳（メタデータ） (2022-03-01T10:15:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。