論文の概要: Mysteries of the Deep: Role of Intermediate Representations in Out of Distribution Detection
- arxiv url: http://arxiv.org/abs/2510.05782v1
- Date: Tue, 07 Oct 2025 10:55:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-08 17:57:08.216205
- Title: Mysteries of the Deep: Role of Intermediate Representations in Out of Distribution Detection
- Title（参考訳）: 深部ミステリー:分布検出における中間表現の役割
- Authors: I. M. De la Jara, C. Rodriguez-Opazo, D. Teney, D. Ranasinghe, E. Abbasnejad,
- Abstract要約: 大きな事前学習されたモデルをモノリシックエンコーダとして扱い、検出のために最終層表現にのみ依存する。
入力プロジェクションを微妙に変換する残差接続によって形成される事前学習モデルのテキスト中間層を明らかにする。
我々は、これらの中間表現を選択的に組み込むことで、OOD検出の精度を、遠方OODでは textbf$10%、近方OODでは textbf$7% まで向上させることができることを示した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Out-of-distribution (OOD) detection is essential for reliably deploying machine learning models in the wild. Yet, most methods treat large pre-trained models as monolithic encoders and rely solely on their final-layer representations for detection. We challenge this wisdom. We reveal the \textit{intermediate layers} of pre-trained models, shaped by residual connections that subtly transform input projections, \textit{can} encode \textit{surprisingly rich and diverse signals} for detecting distributional shifts. Importantly, to exploit latent representation diversity across layers, we introduce an entropy-based criterion to \textit{automatically} identify layers offering the most complementary information in a training-free setting -- \textit{without access to OOD data}. We show that selectively incorporating these intermediate representations can increase the accuracy of OOD detection by up to \textbf{$10\%$} in far-OOD and over \textbf{$7\%$} in near-OOD benchmarks compared to state-of-the-art training-free methods across various model architectures and training objectives. Our findings reveal a new avenue for OOD detection research and uncover the impact of various training objectives and model architectures on confidence-based OOD detection methods.
- Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)検出は、機械学習モデルを野生に確実にデプロイするために不可欠である。
しかし、ほとんどの手法は、大きな事前学習されたモデルをモノリシックエンコーダとして扱い、検出のために最終層表現に依存している。
私たちはこの知恵に挑戦する。
入力プロジェクションを下位に変換する残差接続によって形成される事前学習モデルの‘textit{intermediate Layer}, \textit{can} encode \textit{surprisingly rich and various signals} を, 分布シフトを検出するために明らかにする。
重要なことは、レイヤ間の遅延表現の多様性を活用するために、トレーニング不要な設定で最も補完的な情報を提供するレイヤを識別する、エントロピーベースの基準を導入します -- \textit{without access to OOD data}。
これらの中間表現を選択的に組み込むことで、OOD検出の精度を極大OODにおける \textbf{$10\%$} と近OODベンチマークにおける \textbf{$7\%$} で向上させることができることを示す。
本研究は,OOD検出研究の新たな道筋を明らかにし,信頼性に基づくOOD検出方法に対する各種トレーニング目標およびモデルアーキテクチャの影響を明らかにする。
関連論文リスト
- RUNA: Object-level Out-of-Distribution Detection via Regional Uncertainty Alignment of Multimodal Representations [33.971901643313856]
RUNAは、アウト・オブ・ディストリビューション(OOD)オブジェクトを検出するための新しいフレームワークである。
これは、OODオブジェクトとIDを効果的に区別するために、地域不確実性アライメント機構を使用する。
実験の結果,RUNAはオブジェクトレベルのOOD検出において最先端の手法を大幅に上回っていることがわかった。
論文 参考訳（メタデータ） (2025-03-28T10:01:55Z) - Can OOD Object Detectors Learn from Foundation Models? [56.03404530594071]
アウト・オブ・ディストリビューション(OOD)オブジェクト検出は、オープンセットのOODデータがないため、難しい課題である。
テキストから画像への生成モデルの最近の進歩に触発されて,大規模オープンセットデータを用いて訓練された生成モデルがOODサンプルを合成する可能性について検討した。
SyncOODは,大規模基盤モデルの能力を活用するシンプルなデータキュレーション手法である。
論文 参考訳（メタデータ） (2024-09-08T17:28:22Z) - WeiPer: OOD Detection using Weight Perturbations of Class Projections [11.130659240045544]
入力のよりリッチな表現を生成する最終完全連結層にクラスプロジェクションの摂動を導入する。
我々はOpenOODフレームワークの複数のベンチマークで最先端のOOD検出結果を得る。
論文 参考訳（メタデータ） (2024-05-27T13:38:28Z) - From Global to Local: Multi-scale Out-of-distribution Detection [129.37607313927458]
アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングプロセス中にラベルが見られない未知のデータを検出することを目的としている。
近年の表現学習の進歩により,距離に基づくOOD検出がもたらされる。
グローバルな視覚情報と局所的な情報の両方を活用する第1のフレームワークであるマルチスケールOOD検出(MODE)を提案する。
論文 参考訳（メタデータ） (2023-08-20T11:56:25Z) - Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection
Capability [70.72426887518517]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。
本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。
本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
論文 参考訳（メタデータ） (2023-06-06T14:23:34Z) - Improving Out-of-Distribution Detection with Disentangled Foreground and Background Features [23.266183020469065]
本稿では,IDトレーニングサンプルから前景と背景の特徴を密接な予測手法によって切り離す新しいフレームワークを提案する。
これは、様々な既存のOOD検出メソッドとシームレスに組み合わせられる汎用フレームワークである。
論文 参考訳（メタデータ） (2023-03-15T16:12:14Z) - Enhancing Out-of-Distribution Detection in Natural Language
Understanding via Implicit Layer Ensemble [22.643719584452455]
out-of-distribution (OOD) 検出は、意図したデータ分布からoutlierを識別することを目的としている。
本研究では,中間機能に階層化表現の学習を促すコントラスト学習に基づく新しいフレームワークを提案する。
私たちのアプローチは他の作業よりもはるかに効果的です。
論文 参考訳（メタデータ） (2022-10-20T06:05:58Z) - Pseudo-OOD training for robust language models [78.15712542481859]
OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。
In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。
我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
論文 参考訳（メタデータ） (2022-10-17T14:32:02Z) - Igeood: An Information Geometry Approach to Out-of-Distribution
Detection [35.04325145919005]
Igeoodは, オフ・オブ・ディストリビューション(OOD)サンプルを効果的に検出する手法である。
Igeoodは任意のトレーニング済みニューラルネットワークに適用され、機械学習モデルにさまざまなアクセス権を持つ。
Igeoodは、さまざまなネットワークアーキテクチャやデータセットにおいて、競合する最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-03-15T11:26:35Z) - Triggering Failures: Out-Of-Distribution detection by learning from
local adversarial attacks in Semantic Segmentation [76.2621758731288]
セグメンテーションにおけるアウト・オブ・ディストリビューション(OOD)オブジェクトの検出に取り組む。
私たちの主な貢献は、ObsNetと呼ばれる新しいOOD検出アーキテクチャであり、ローカル・アタック(LAA)に基づく専用トレーニングスキームと関連付けられています。
3つの異なるデータセットの文献の最近の10つの手法と比較して,速度と精度の両面で最高の性能が得られることを示す。
論文 参考訳（メタデータ） (2021-08-03T17:09:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。