論文の概要: Harnessing Large Language and Vision-Language Models for Robust Out-of-Distribution Detection

• arxiv url: http://arxiv.org/abs/2501.05228v1
• Date: Thu, 09 Jan 2025 13:36:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 13:59:04.788669
• Title: Harnessing Large Language and Vision-Language Models for Robust Out-of-Distribution Detection
• Title（参考訳）: ロバストなアウト・オブ・ディストリビューション検出のための大規模言語と視覚言語モデルの調和
• Authors: Pei-Kang Lee, Jun-Cheng Chen, Ja-Ling Wu,
• Abstract要約: Out-of-distribution (OOD) 検出はゼロショットアプローチで大幅に進歩した。 本稿では,Far-OODシナリオとNear-OODシナリオの両方において,ゼロショットOOD検出性能を向上させる新しい手法を提案する。 本稿では,提案フレームワークを目標分布に適合させるために,新しい数発のプロンプトチューニングと視覚的プロンプトチューニングを導入する。
• 参考スコア（独自算出の注目度）: 11.277049921075026
• License:
• Abstract: Out-of-distribution (OOD) detection has seen significant advancements with zero-shot approaches by leveraging the powerful Vision-Language Models (VLMs) such as CLIP. However, prior research works have predominantly focused on enhancing Far-OOD performance, while potentially compromising Near-OOD efficacy, as observed from our pilot study. To address this issue, we propose a novel strategy to enhance zero-shot OOD detection performances for both Far-OOD and Near-OOD scenarios by innovatively harnessing Large Language Models (LLMs) and VLMs. Our approach first exploit an LLM to generate superclasses of the ID labels and their corresponding background descriptions followed by feature extraction using CLIP. We then isolate the core semantic features for ID data by subtracting background features from the superclass features. The refined representation facilitates the selection of more appropriate negative labels for OOD data from a comprehensive candidate label set of WordNet, thereby enhancing the performance of zero-shot OOD detection in both scenarios. Furthermore, we introduce novel few-shot prompt tuning and visual prompt tuning to adapt the proposed framework to better align with the target distribution. Experimental results demonstrate that the proposed approach consistently outperforms current state-of-the-art methods across multiple benchmarks, with an improvement of up to 2.9% in AUROC and a reduction of up to 12.6% in FPR95. Additionally, our method exhibits superior robustness against covariate shift across different domains, further highlighting its effectiveness in real-world scenarios.
• Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)検出は、CLIPのような強力なビジョン・ランゲージ・モデル(VLM)を活用することで、ゼロショットアプローチで大幅に進歩した。 しかし、これまでの研究はFar-OODの性能向上に重点を置いていたが、パイロット研究で明らかになったように、Near-OODの有効性は向上する可能性がある。 本稿では,Large Language Models (LLMs) と VLMs を革新的に活用することにより,Far-OOD とNear-OOD の両方のシナリオに対するゼロショット OOD 検出性能を向上させる新しい手法を提案する。 提案手法はまずLLMを用いてIDラベルとその対応する背景記述のスーパークラスを生成し,次にCLIPを用いた特徴抽出を行う。 次に、スーパークラスの特徴から背景特徴を減じることで、IDデータのコアセマンティックな特徴を分離する。 この表現により、WordNetの総合的な候補ラベルセットからOODデータのより適切な負ラベルの選択が容易になり、両方のシナリオにおいてゼロショットOOD検出の性能が向上する。 さらに,提案するフレームワークを目標分布に適合させるために,新しい数発のプロンプトチューニングと視覚的プロンプトチューニングを導入する。 実験の結果、提案手法は複数のベンチマークで常に最先端の手法よりも優れており、AUROCでは最大2.9%、FPR95では最大12.6%向上している。 さらに,異なる領域間の共変量シフトに対して優れたロバスト性を示し,実世界のシナリオにおけるその有効性を強調した。

関連論文リスト

• SeTAR: Out-of-Distribution Detection with Selective Low-Rank Approximation [5.590633742488972]
  ニューラルネットワークの安全なデプロイには、アウト・オブ・ディストリビューション(OOD)検出が不可欠だ。 トレーニング不要なOOD検出手法であるSeTARを提案する。 SeTARは、単純なグリーディ探索アルゴリズムを用いて、モデルの重量行列のポストホックな修正によるOOD検出を強化する。 私たちの研究は、OOD検出のためのスケーラブルで効率的なソリューションを提供し、この分野で新しい最先端を設定します。
  論文  参考訳（メタデータ） (2024-06-18T13:55:13Z)
• Envisioning Outlier Exposure by Large Language Models for Out-of-Distribution Detection [71.93411099797308]
  オープンワールドシナリオに機械学習モデルをデプロイする場合、アウト・オブ・ディストリビューション(OOD)サンプルは不可欠である。 本稿では,大規模言語モデル(LLM)の専門知識と推論能力を活用して,この制約に対処することを提案する。 EOEは、遠、近、きめ細かいOOD検出など、さまざまなタスクに一般化することができる。 EOEは様々なOODタスクで最先端のパフォーマンスを実現し、ImageNet-1Kデータセットに効果的にスケールできる。
  論文  参考訳（メタデータ） (2024-06-02T17:09:48Z)
• WeiPer: OOD Detection using Weight Perturbations of Class Projections [11.130659240045544]
  入力のよりリッチな表現を生成する最終完全連結層にクラスプロジェクションの摂動を導入する。 我々はOpenOODフレームワークの複数のベンチマークで最先端のOOD検出結果を得る。
  論文  参考訳（メタデータ） (2024-05-27T13:38:28Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• How Does Fine-Tuning Impact Out-of-Distribution Detection for Vision-Language Models? [29.75562085178755]
  数ショットダウンストリームタスクに対するOOD検出の微調整の影響について検討する。 以上の結果から,OODスコアの適切な選択はCLIPに基づく微調整に不可欠であることが示唆された。 また, 即時学習は, ゼロショットに比較して最先端のOOD検出性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-06-09T17:16:50Z)
• Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis, and LLMs Evaluations [111.88727295707454]
  本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。 本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。 我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
  論文  参考訳（メタデータ） (2023-06-07T17:47:03Z)
• Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is All You Need [52.88953913542445]
  簡単な再構築手法を用いることで,OOD検出の性能が大幅に向上する可能性が示唆された。 我々は、OOD検出フレームワーク(MOOD)のプリテキストタスクとして、マスケ画像モデリング(Masked Image Modeling)を採用する。
  論文  参考訳（メタデータ） (2023-02-06T08:24:41Z)
• Holistic Sentence Embeddings for Better Out-of-Distribution Detection [12.640837452980332]
  Avg-Avg という単純な埋め込み手法を提案し,各中間層からのトークン表現を文埋め込みとして平均化する。 本分析は, 微調整PLMにおける言語知識の保存に有効であり, 背景変化の検出にも有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-14T03:22:58Z)
• ReAct: Out-of-distribution Detection With Rectified Activations [20.792140933660075]
  オフ・オブ・ディストリビューション (OOD) 検出は, 実用的重要性から近年注目されている。 主な課題の1つは、モデルがしばしばOODデータに対して高い信頼性の予測を生成することである。 我々は,OODデータに対するモデル過信を低減するためのシンプルで効果的な手法であるReActを提案する。
  論文  参考訳（メタデータ） (2021-11-24T21:02:07Z)
• Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
  インテント分類は、音声言語理解(SLU)における主要な課題である 近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。 本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-28T08:27:38Z)
• Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
  既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-21T17:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。