論文の概要: LAPT: Label-driven Automated Prompt Tuning for OOD Detection with Vision-Language Models
- arxiv url: http://arxiv.org/abs/2407.08966v1
- Date: Fri, 12 Jul 2024 03:30:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 00:56:38.756591
- Title: LAPT: Label-driven Automated Prompt Tuning for OOD Detection with Vision-Language Models
- Title（参考訳）: LAPT:視覚言語モデルを用いたOOD検出のためのラベル駆動型自動プロンプトチューニング
- Authors: Yabin Zhang, Wenjie Zhu, Chenhang He, Lei Zhang,
- Abstract要約: Label-driven Automated Prompt Tuning (LAPT)は、手動プロンプトエンジニアリングの必要性を減らすOOD検出の新しいアプローチである。
In-distriion (ID) クラス名と負ラベルを自動的にマイニングする分布認識プロンプトを開発した。
LAPTは手作業によるプロンプトよりも一貫して優れており、OOD検出の新しい標準となっている。
- 参考スコア（独自算出の注目度）: 17.15755066370757
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Out-of-distribution (OOD) detection is crucial for model reliability, as it identifies samples from unknown classes and reduces errors due to unexpected inputs. Vision-Language Models (VLMs) such as CLIP are emerging as powerful tools for OOD detection by integrating multi-modal information. However, the practical application of such systems is challenged by manual prompt engineering, which demands domain expertise and is sensitive to linguistic nuances. In this paper, we introduce Label-driven Automated Prompt Tuning (LAPT), a novel approach to OOD detection that reduces the need for manual prompt engineering. We develop distribution-aware prompts with in-distribution (ID) class names and negative labels mined automatically. Training samples linked to these class labels are collected autonomously via image synthesis and retrieval methods, allowing for prompt learning without manual effort. We utilize a simple cross-entropy loss for prompt optimization, with cross-modal and cross-distribution mixing strategies to reduce image noise and explore the intermediate space between distributions, respectively. The LAPT framework operates autonomously, requiring only ID class names as input and eliminating the need for manual intervention. With extensive experiments, LAPT consistently outperforms manually crafted prompts, setting a new standard for OOD detection. Moreover, LAPT not only enhances the distinction between ID and OOD samples, but also improves the ID classification accuracy and strengthens the generalization robustness to covariate shifts, resulting in outstanding performance in challenging full-spectrum OOD detection tasks. Codes are available at \url{https://github.com/YBZh/LAPT}.
- Abstract（参考訳）: オフ・オブ・ディストリビューション(OOD)検出は、未知のクラスからのサンプルを特定し、予期しない入力によるエラーを低減するため、モデルの信頼性に不可欠である。
CLIPのような視覚言語モデル(VLM)は、マルチモーダル情報を統合することで、OOD検出の強力なツールとして現れている。
しかし、そのようなシステムの実践的応用は、ドメインの専門知識を必要とし、言語的なニュアンスに敏感な手動プロンプト工学によって挑戦されている。
本稿では,手動プロンプトエンジニアリングの必要性を低減させるOOD検出の新しいアプローチである,ラベル駆動型自動プロンプトチューニング(LAPT)を提案する。
In-distriion (ID) クラス名と負ラベルを自動的にマイニングする分布認識プロンプトを開発した。
これらのクラスラベルに関連付けられたトレーニングサンプルは、画像合成と検索によって自律的に収集され、手作業なしで即時学習が可能である。
簡単なクロスエントロピー損失を即時最適化に利用し、クロスモーダルとクロスディストリビューションの混合戦略を用いて、画像ノイズを低減し、分布間の中間空間を探索する。
LAPTフレームワークは自律的に動作し、IDクラス名のみを入力として必要とし、手動による介入を不要とする。
広範な実験により、LAPTは手作業によるプロンプトを一貫して上回り、OOD検出の新しい標準を設定した。
さらに、LAPTは、IDとOODの区別を強化するだけでなく、ID分類精度も向上し、共変量シフトに対する一般化ロバスト性を強化し、フルスペクトルOOD検出タスクに挑戦する際、優れたパフォーマンスをもたらす。
コードは \url{https://github.com/YBZh/LAPT} で公開されている。
関連論文リスト
- Semantic or Covariate? A Study on the Intractable Case of Out-of-Distribution Detection [70.57120710151105]
ID分布のセマンティック空間をより正確に定義する。
また,OOD と ID の区別性を保証する "Tractable OOD" の設定も定義する。
論文 参考訳（メタデータ） (2024-11-18T03:09:39Z) - Diversity-grounded Channel Prototypical Learning for Out-of-Distribution Intent Detection [18.275098909064127]
本研究では,大規模言語モデル(LLM)のための新しい微調整フレームワークを提案する。
ダイバーシティグラウンドのプロンプトチューニング手法を用いて,各IDクラスのセマンティックプロトタイプを構築した。
徹底的な評価のために,本手法を一般的な微調整手法と比較した。
論文 参考訳（メタデータ） (2024-09-17T12:07:17Z) - Zero-Shot Out-of-Distribution Detection with Outlier Label Exposure [23.266183020469065]
Outlier Label Exposure (OLE)は、補助的なoutlierクラスラベルを用いたゼロショットOOD検出を強化するアプローチである。
OLE は検出性能を大幅に改善し,大規模 OOD およびハード OOD 検出ベンチマークの最先端性能を向上する。
論文 参考訳（メタデータ） (2024-06-03T10:07:21Z) - Envisioning Outlier Exposure by Large Language Models for Out-of-Distribution Detection [71.93411099797308]
オープンワールドシナリオに機械学習モデルをデプロイする場合、アウト・オブ・ディストリビューション(OOD)サンプルは不可欠である。
本稿では,大規模言語モデル(LLM)の専門知識と推論能力を活用して,この制約に対処することを提案する。
EOEは、遠、近、きめ細かいOOD検出など、さまざまなタスクに一般化することができる。
EOEは様々なOODタスクで最先端のパフォーマンスを実現し、ImageNet-1Kデータセットに効果的にスケールできる。
論文 参考訳（メタデータ） (2024-06-02T17:09:48Z) - Negative Label Guided OOD Detection with Pretrained Vision-Language Models [96.67087734472912]
Out-of-distriion (OOD) は未知のクラスからサンプルを識別することを目的としている。
我々は,大規模なコーパスデータベースから大量の負のラベルを抽出する,NegLabelと呼ばれる新しいポストホックOOD検出手法を提案する。
論文 参考訳（メタデータ） (2024-03-29T09:19:52Z) - Out-of-Distribution Detection Using Peer-Class Generated by Large Language Model [0.0]
アウト・オブ・ディストリビューション(OOD)検出は、マシンラーニングモデルの信頼性とセキュリティを確保するための重要なタスクである。
本稿では,ODPCと呼ばれる新しい手法を提案し,大規模言語モデルを用いてOODピア・セマンティクスのクラスを生成する。
5つのベンチマークデータセットの実験により,提案手法は最先端の結果が得られることが示された。
論文 参考訳（メタデータ） (2024-03-20T06:04:05Z) - Model Reprogramming Outperforms Fine-tuning on Out-of-distribution Data in Text-Image Encoders [56.47577824219207]
本稿では,侵入的微調整技術に関連する隠れたコストを明らかにする。
ファインチューニングのための新しいモデル再プログラミング手法を導入し、それをリプログラマと呼ぶ。
我々の経験的証拠は、Re Programmerは侵入力が少なく、より優れた下流モデルが得られることを示している。
論文 参考訳（メタデータ） (2024-03-16T04:19:48Z) - From Global to Local: Multi-scale Out-of-distribution Detection [129.37607313927458]
アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングプロセス中にラベルが見られない未知のデータを検出することを目的としている。
近年の表現学習の進歩により,距離に基づくOOD検出がもたらされる。
グローバルな視覚情報と局所的な情報の両方を活用する第1のフレームワークであるマルチスケールOOD検出(MODE)を提案する。
論文 参考訳（メタデータ） (2023-08-20T11:56:25Z) - A Weakly Supervised Learning Framework for Salient Object Detection via
Hybrid Labels [96.56299163691979]
本稿では,ハイブリッドラベル下でのSODタスクに焦点をあてる。
このタスクにおけるラベルノイズと量不均衡の問題に対処するため、我々は3つの洗練されたトレーニング戦略を持つ新しいパイプラインフレームワークを設計する。
5つのSODベンチマーク実験により,本手法は弱教師付き/非教師付き手法と競合する性能を示した。
論文 参考訳（メタデータ） (2022-09-07T06:45:39Z) - Supervision Adaptation Balancing In-distribution Generalization and
Out-of-distribution Detection [36.66825830101456]
In-distribution (ID) と Out-of-distribution (OOD) のサンプルは、ディープニューラルネットワークにおけるtextitdistributionalな脆弱性を引き起こす可能性がある。
我々は,OODサンプルに対する適応的な監視情報を生成するために,新しいテクスツパービジョン適応手法を導入し,IDサンプルとの互換性を高めた。
論文 参考訳（メタデータ） (2022-06-19T11:16:44Z) - Semantically Coherent Out-of-Distribution Detection [26.224146828317277]
現在のアウト・オブ・ディストリビューション(OOD)検出ベンチマークは、ひとつのデータセットをイン・ディストリビューション(ID)として定義し、他のすべてのデータセットをOODとして定義することで、一般的に構築されている。
ベンチマークを再設計し、セマンティック・コヒーレント・アウト・オブ・ディストリビューション検出(SC-OOD)を提案する。
本手法は,SC-OODベンチマークにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2021-08-26T17:53:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。