論文の概要: CLIPN for Zero-Shot OOD Detection: Teaching CLIP to Say No
- arxiv url: http://arxiv.org/abs/2308.12213v1
- Date: Wed, 23 Aug 2023 15:51:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-24 13:35:58.311777
- Title: CLIPN for Zero-Shot OOD Detection: Teaching CLIP to Say No
- Title（参考訳）: ゼロショットOOD検出のためのCLIPN:CLIPにノーと言うように教える
- Authors: Hualiang Wang, Yi Li, Huifeng Yao, Xiaomeng Li
- Abstract要約: Out-of-distriion (OOD) 検出とは、入力画像が未知のクラスから来ているかどうかを分類するために、そのモデルをIn-distriion (ID)データセットでトレーニングすることである。
本稿では,CLIP内での"no"(textbf CLIPN)を論理的に活用する新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 12.869519519172275
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Out-of-distribution (OOD) detection refers to training the model on an
in-distribution (ID) dataset to classify whether the input images come from
unknown classes. Considerable effort has been invested in designing various OOD
detection methods based on either convolutional neural networks or
transformers. However, zero-shot OOD detection methods driven by CLIP, which
only require class names for ID, have received less attention. This paper
presents a novel method, namely CLIP saying "no" (\textbf{CLIPN}), which
empowers the logic of saying "no" within CLIP. Our key motivation is to equip
CLIP with the capability of distinguishing OOD and ID samples using
positive-semantic prompts and negation-semantic prompts. Specifically, we
design a novel learnable "no" prompt and a "no" text encoder to capture
negation semantics within images. Subsequently, we introduce two loss
functions: the image-text binary-opposite loss and the text semantic-opposite
loss, which we use to teach CLIPN to associate images with "no" prompts,
thereby enabling it to identify unknown samples. Furthermore, we propose two
threshold-free inference algorithms to perform OOD detection by utilizing
negation semantics from "no" prompts and the text encoder. Experimental results
on 9 benchmark datasets (3 ID datasets and 6 OOD datasets) for the OOD
detection task demonstrate that CLIPN, based on ViT-B-16, outperforms 7
well-used algorithms by at least 2.34\% and 11.64\% in terms of AUROC and FPR95
for zero-shot OOD detection on ImageNet-1K. Our CLIPN can serve as a solid
foundation for effectively leveraging CLIP in downstream OOD tasks. The code is
available on
https://github.com/xmed-lab/CLIPN}{https://github.com/xmed-lab/CLIPN.
- Abstract（参考訳）: out-of-distribution (ood) detectionは、入力画像が未知のクラスから来るかどうかを分類するために、in-distribution (id)データセット上でモデルをトレーニングすることを指す。
畳み込みニューラルネットワークまたはトランスフォーマーに基づく様々なOOD検出手法の設計に多大な努力が費やされている。
しかし、IDのクラス名のみを必要とするCLIPによって駆動されるゼロショットOOD検出手法は、あまり注目されていない。
本稿では,CLIP内での「ノー」の論理を補助する新しい手法,すなわち「ノー」を「ノー」と呼ぶ手法を提案する。
我々の主要な動機は、正のセマンティック・プロンプトと否定のセマンティック・プロンプトを用いてOODとIDのサンプルを識別する能力をCLIPに装備することである。
具体的には,新しい学習可能な「no」プロンプトと「no」テキストエンコーダを設計し,画像内の否定意味をキャプチャする。
次に、画像-テキストバイナリ-オポジット損失とテキスト-セマンティック-オポジット損失という2つの損失関数を導入し、CLIPNに画像と"no"プロンプトを関連付けるように教え、未知のサンプルを識別できるようにする。
さらに, "no"プロンプトからの否定意味とテキストエンコーダを用いて, ood検出を行う2つのしきい値なし推論アルゴリズムを提案する。
OOD検出タスクの9つのベンチマークデータセット(3IDデータセットと6OODデータセット)の実験結果から、VT-B-16に基づくCLIPNは、ImageNet-1K上のゼロショットOOD検出のAUROCとFPR95で、7つのよく使われているアルゴリズムを少なくとも2.34\%、11.64\%で上回っている。
私たちのCLIPNは、下流のOODタスクでCLIPを効果的に活用するための基盤となることができます。
コードはhttps://github.com/xmed-lab/CLIPN}{https://github.com/xmed-lab/CLIPNで入手できる。
関連論文リスト
- Envisioning Outlier Exposure by Large Language Models for Out-of-Distribution Detection [71.93411099797308]
オープンワールドシナリオに機械学習モデルをデプロイする場合、アウト・オブ・ディストリビューション(OOD)サンプルは不可欠である。
本稿では,大規模言語モデル(LLM)の専門知識と推論能力を活用して,この制約に対処することを提案する。
EOEは、遠、近、きめ細かいOOD検出など、さまざまなタスクに一般化することができる。
EOEは様々なOODタスクで最先端のパフォーマンスを実現し、ImageNet-1Kデータセットに効果的にスケールできる。
論文 参考訳（メタデータ） (2024-06-02T17:09:48Z) - Learning Transferable Negative Prompts for Out-of-Distribution Detection [22.983892817676495]
負のプロンプトを学習するための新しいOOD検出手法「NegPrompt」を提案する。
外部の外れ値データに依存することなく、IDデータのみでそのような負のプロンプトを学習する。
さまざまなImageNetベンチマークの実験では、NegPromptが最先端のプロンプトベースのOOD検出方法を上回ることが示されている。
論文 参考訳（メタデータ） (2024-04-04T07:07:34Z) - A noisy elephant in the room: Is your out-of-distribution detector robust to label noise? [49.88894124047644]
我々は、最先端のOOD検出方法20について詳しく検討する。
不正に分類されたIDサンプルとOODサンプルの分離が不十分であることを示す。
論文 参考訳（メタデータ） (2024-04-02T09:40:22Z) - Negative Label Guided OOD Detection with Pretrained Vision-Language Models [96.67087734472912]
Out-of-distriion (OOD) は未知のクラスからサンプルを識別することを目的としている。
我々は,大規模なコーパスデータベースから大量の負のラベルを抽出する,NegLabelと呼ばれる新しいポストホックOOD検出手法を提案する。
論文 参考訳（メタデータ） (2024-03-29T09:19:52Z) - ID-like Prompt Learning for Few-Shot Out-of-Distribution Detection [47.16254775587534]
本稿では,CLIP citeDBLP:conf/icml/RadfordKHRGASAM21を用いて,IDライクな外れ値を検出する新しいOOD検出フレームワークを提案する。
強力なCLIPから恩恵を受けるため、モデルのプロンプトを学習するためには、少数のIDサンプルしか必要ありません。
本手法は,様々な実世界の画像データセットにおいて,より優れた数ショット学習性能を実現する。
論文 参考訳（メタデータ） (2023-11-26T09:06:40Z) - LoCoOp: Few-Shot Out-of-Distribution Detection via Prompt Learning [37.36999826208225]
本稿では,数発のアウト・オブ・ディストリビューション(OOD)検出のための新しい視覚言語プロンプト学習手法を提案する。
LoCoOpは、トレーニング中にCLIPローカル機能の一部をOOD機能として利用するOOD正規化を実行する。
LoCoOpは、既存のゼロショットと完全に教師付き検出方法より優れている。
論文 参考訳（メタデータ） (2023-06-02T06:33:08Z) - Out-of-Distributed Semantic Pruning for Robust Semi-Supervised Learning [17.409939628100517]
我々は,OODセマンティック・プルーニング(OSP)と呼ばれる統合フレームワークを提案する。
OSPは、ID分類の精度を13.7%、TinyImageNetデータセットのOOD検出のAUROCの5.9%に上回っている。
論文 参考訳（メタデータ） (2023-05-29T15:37:07Z) - Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is
All You Need [52.88953913542445]
簡単な再構築手法を用いることで,OOD検出の性能が大幅に向上する可能性が示唆された。
我々は、OOD検出フレームワーク(MOOD)のプリテキストタスクとして、マスケ画像モデリング(Masked Image Modeling)を採用する。
論文 参考訳（メタデータ） (2023-02-06T08:24:41Z) - UniNL: Aligning Representation Learning with Scoring Function for OOD
Detection via Unified Neighborhood Learning [32.69035328161356]
我々は,OODの意図を検出するために,統一された近傍学習フレームワーク (UniNL) を提案する。
具体的には、表現学習のためのK-nearest neighbor contrastive learning(KNCL)を設計し、OOD検出のためのKNNベースのスコアリング機能を導入する。
論文 参考訳（メタデータ） (2022-10-19T17:06:34Z) - Triggering Failures: Out-Of-Distribution detection by learning from
local adversarial attacks in Semantic Segmentation [76.2621758731288]
セグメンテーションにおけるアウト・オブ・ディストリビューション(OOD)オブジェクトの検出に取り組む。
私たちの主な貢献は、ObsNetと呼ばれる新しいOOD検出アーキテクチャであり、ローカル・アタック(LAA)に基づく専用トレーニングスキームと関連付けられています。
3つの異なるデータセットの文献の最近の10つの手法と比較して,速度と精度の両面で最高の性能が得られることを示す。
論文 参考訳（メタデータ） (2021-08-03T17:09:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。