論文の概要: DBMF: A Dual-Branch Multimodal Framework for Out-of-Distribution Detection
- arxiv url: http://arxiv.org/abs/2604.08261v1
- Date: Thu, 09 Apr 2026 13:48:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-10 18:34:05.946416
- Title: DBMF: A Dual-Branch Multimodal Framework for Out-of-Distribution Detection
- Title(参考訳): DBMF: アウト・オブ・ディストリビューション検出のためのデュアルブランチ・マルチモーダルフレームワーク
- Authors: Jiangbei Yue, Sharib Ali,
- Abstract要約: アウト・オブ・ディストリビューション(OOD)検出は、ディープラーニングモデルの信頼性と一般化性を高める上で重要な役割を果たす。
本稿では,テキストイメージブランチとビジョンブランチを導入することで,新しいデュアルブランチマルチモーダルフレームワークを提案する。
この2つの相補的な枝を通してOODサンプルを同定するために,本フレームワークはマルチモーダル表現を完全に活用する。
- 参考スコア(独自算出の注目度): 5.995018629814433
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The complex and dynamic real-world clinical environment demands reliable deep learning (DL) systems. Out-of-distribution (OOD) detection plays a critical role in enhancing the reliability and generalizability of DL models when encountering data that deviate from the training distribution, such as unseen disease cases. However, existing OOD detection methods typically rely either on a single visual modality or solely on image-text matching, failing to fully leverage multimodal information. To overcome the challenge, we propose a novel dual-branch multimodal framework by introducing a text-image branch and a vision branch. Our framework fully exploits multimodal representations to identify OOD samples through these two complementary branches. After training, we compute scores from the text-image branch ($S_t$) and vision branch ($S_v$), and integrate them to obtain the final OOD score $S$ that is compared with a threshold for OOD detection. Comprehensive experiments on publicly available endoscopic image datasets demonstrate that our proposed framework is robust across diverse backbones and improves state-of-the-art performance in OOD detection by up to 24.84%
- Abstract(参考訳): 複雑でダイナミックな実世界の臨床環境は、信頼できる深層学習(DL)システムを必要とする。
アウト・オブ・ディストリビューション(OOD)検出は、未確認の疾患などのトレーニング分布から逸脱するデータに遭遇した場合、DLモデルの信頼性と一般化性を高める上で重要な役割を果たす。
しかし、既存のOOD検出方法は、通常、単一の視覚的モダリティか、画像とテキストのマッチングにのみ依存し、マルチモーダル情報を完全に活用できない。
この課題を克服するために、テキストイメージブランチとビジョンブランチを導入することで、新しいデュアルブランチマルチモーダルフレームワークを提案する。
この2つの相補的な枝を通してOODサンプルを同定するために,本フレームワークはマルチモーダル表現を完全に活用する。
トレーニング後、テキストイメージブランチ(S_t$)とビジョンブランチ(S_v$)からスコアを計算し、それらを統合して、OOD検出のしきい値と比較した最終的なOODスコア(S$)を得る。
公開された内視鏡画像データセットに関する総合的な実験により、提案するフレームワークは多様なバックボーンにわたって堅牢であり、OOD検出における最先端性能を最大24.84%向上することが示された。
関連論文リスト
- Mind the Way You Select Negative Texts: Pursuing the Distance Consistency in OOD Detection with VLMs [80.03370593724422]
Out-of-Distribution (OOD) は未知のクラスからサンプルを識別する。
現在の手法では、否定的なテキストとIDラベルを比較するなど、OOD検出中にモード内距離を組み込むことが多い。
テキストおよび視覚的視点から一貫したモーダル距離拡張を体系的に利用するフレームワークであるInterNegを提案する。
論文 参考訳(メタデータ) (2026-03-03T05:44:47Z) - GOOD: Training-Free Guided Diffusion Sampling for Out-of-Distribution Detection [61.96025941146103]
GOODは,オフザシェルフ内分布(ID)分類器を用いて,OOD領域へのサンプリングトラジェクトリを誘導する新しいフレームワークである。
入力可能性を減らすためにログパーティションの勾配に基づいた画像レベルのガイダンスは、ピクセル空間内の低密度領域に向けてサンプルを駆動する。
我々は、画像と特徴の相違を適応的に組み合わせ、検出の堅牢性を向上する統一OODスコアを導入する。
論文 参考訳(メタデータ) (2025-10-20T03:58:46Z) - Recent Advances in Out-of-Distribution Detection with CLIP-Like Models: A Survey [27.467732819969935]
Out-of-distriion Detection (OOD)は、テスト中のIDデータと分散的に異なるサンプルを識別するようモデルを訓練する現実世界のアプリケーションにとって重要なタスクである。
近年のAIの進歩、特にCLIPのようなビジョンランゲージモデル(VLM)は、従来の単モード画像検出器からマルチモーダル画像テキスト検出器にシフトすることで、OOD検出に革命をもたらした。
CLIPのクロスモーダルな性質に合わせて,画像とテキストの両方に根ざした新たな分類フレームワークを提案する。
論文 参考訳(メタデータ) (2025-05-05T08:22:38Z) - MultiOOD: Scaling Out-of-Distribution Detection for Multiple Modalities [11.884004583641325]
我々は,多種多様なデータセットサイズと様々なモダリティの組み合わせを特徴とする,第一種ベンチマークであるMultiOODを紹介する。
我々はまず,既存のOOD検出アルゴリズムをMultiOOD上で評価した。
本稿では,近隣クラスからの情報を活用することで,より広い特徴空間を探索する新しいアウトリー合成手法NP-Mixを提案する。
論文 参考訳(メタデータ) (2024-05-27T17:59:02Z) - Exploring Large Language Models for Multi-Modal Out-of-Distribution
Detection [67.68030805755679]
大きな言語モデル(LLM)は豊富な世界の知識をエンコードし、クラスごとに記述的な特徴を生成するよう促すことができる。
本稿では,LLMの選択的生成によるOOD検出性能向上のための世界知識の適用を提案する。
論文 参考訳(メタデータ) (2023-10-12T04:14:28Z) - Class Relevance Learning For Out-of-distribution Detection [16.029229052068]
本稿では,OOD検出に適したクラス関連学習手法を提案する。
本手法は,OODパイプライン内のクラス間関係を戦略的に活用し,総合的なクラス関連学習フレームワークを確立する。
論文 参考訳(メタデータ) (2023-09-21T08:38:21Z) - From Global to Local: Multi-scale Out-of-distribution Detection [129.37607313927458]
アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングプロセス中にラベルが見られない未知のデータを検出することを目的としている。
近年の表現学習の進歩により,距離に基づくOOD検出がもたらされる。
グローバルな視覚情報と局所的な情報の両方を活用する第1のフレームワークであるマルチスケールOOD検出(MODE)を提案する。
論文 参考訳(メタデータ) (2023-08-20T11:56:25Z) - General-Purpose Multi-Modal OOD Detection Framework [5.287829685181842]
アウト・オブ・ディストリビューション(OOD)検出は、機械学習(ML)システムの安全性と信頼性を保証するために重要なトレーニングデータとは異なるテストサンプルを特定する。
本稿では,2値分類器とコントラスト学習コンポーネントを組み合わせた,汎用的な弱教師付きOOD検出フレームワークWOODを提案する。
提案したWOODモデルを複数の実世界のデータセット上で評価し、実験結果により、WOODモデルがマルチモーダルOOD検出の最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-07-24T18:50:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。