論文の概要: Enhancing Near OOD Detection in Prompt Learning: Maximum Gains, Minimal Costs

• arxiv url: http://arxiv.org/abs/2405.16091v1
• Date: Sat, 25 May 2024 06:46:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 01:10:08.030467
• Title: Enhancing Near OOD Detection in Prompt Learning: Maximum Gains, Minimal Costs
• Title（参考訳）: プロンプト学習におけるOOD検出の強化:最大ゲイン,最小コスト
• Authors: Myong Chol Jung, He Zhao, Joanna Dipnall, Belinda Gabbe, Lan Du,
• Abstract要約: 我々は,OOD検出AUROCを最小計算コストで最大11.67%改善する高速で簡単なポストホック法を提案する。 本手法は,アーキテクチャの変更やモデルの再学習なしに,任意の素早い学習モデルに容易に適用することができる。
• 参考スコア（独自算出の注目度）: 7.702532712995683
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt learning has shown to be an efficient and effective fine-tuning method for vision-language models like CLIP. While numerous studies have focused on the generalisation of these models in few-shot classification, their capability in near out-of-distribution (OOD) detection has been overlooked. A few recent works have highlighted the promising performance of prompt learning in far OOD detection. However, the more challenging task of few-shot near OOD detection has not yet been addressed. In this study, we investigate the near OOD detection capabilities of prompt learning models and observe that commonly used OOD scores have limited performance in near OOD detection. To enhance the performance, we propose a fast and simple post-hoc method that complements existing logit-based scores, improving near OOD detection AUROC by up to 11.67% with minimal computational cost. Our method can be easily applied to any prompt learning model without change in architecture or re-training the models. Comprehensive empirical evaluations across 13 datasets and 8 models demonstrate the effectiveness and adaptability of our method.
• Abstract（参考訳）: プロンプト学習は、CLIPのような視覚言語モデルの効率的かつ効果的な微調整法であることが示されている。 多くの研究は、これらのモデルを数発の分類で一般化することに焦点を合わせてきたが、オフ・オブ・ディストリビューション(OOD)検出におけるそれらの能力は見過ごされている。 いくつかの最近の研究は、OOD検出における迅速な学習の有望なパフォーマンスを強調している。 しかし、OOD検出付近でのより困難なタスクは、まだ解決されていない。 本研究では,素早い学習モデルのOOD検出能力について検討し,一般的に使用されているOODスコアがOOD検出近傍での性能に制限があることを観察する。 性能を向上させるため,既存のロジットベースのスコアを補完する高速で簡単なポストホック法を提案し,OOD検出AUROC近傍を最大11.67%改善し,計算コストを最小化する。 本手法は,アーキテクチャの変更やモデルの再学習なしに,任意の素早い学習モデルに容易に適用することができる。 13のデータセットと8つのモデルにまたがる総合的な経験的評価は,本手法の有効性と適応性を示す。

関連論文リスト

• The Best of Both Worlds: On the Dilemma of Out-of-distribution Detection [75.65876949930258]
  アウト・オブ・ディストリビューション(OOD)検出はモデル信頼性に不可欠である。 我々は,OODの一般化能力を秘かに犠牲にすることで,最先端手法のOOD検出性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-12T07:02:04Z)
• Can OOD Object Detectors Learn from Foundation Models? [56.03404530594071]
  アウト・オブ・ディストリビューション(OOD)オブジェクト検出は、オープンセットのOODデータがないため、難しい課題である。 テキストから画像への生成モデルの最近の進歩に触発されて,大規模オープンセットデータを用いて訓練された生成モデルがOODサンプルを合成する可能性について検討した。 SyncOODは,大規模基盤モデルの能力を活用するシンプルなデータキュレーション手法である。
  論文  参考訳（メタデータ） (2024-09-08T17:28:22Z)
• How Does Fine-Tuning Impact Out-of-Distribution Detection for Vision-Language Models? [29.75562085178755]
  数ショットダウンストリームタスクに対するOOD検出の微調整の影響について検討する。 以上の結果から,OODスコアの適切な選択はCLIPに基づく微調整に不可欠であることが示唆された。 また, 即時学習は, ゼロショットに比較して最先端のOOD検出性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-06-09T17:16:50Z)
• Is Fine-tuning Needed? Pre-trained Language Models Are Near Perfect for Out-of-Domain Detection [28.810524375810736]
  アウト・オブ・ディストリビューション(OOD)検出は、テキスト上の信頼できる予測にとって重要なタスクである。 事前訓練された言語モデルによる微調整は、OOD検出器を導出するための事実上の手順である。 距離に基づく検出手法を用いて、事前学習した言語モデルは、分布シフトがドメイン変更を伴う場合、ほぼ完璧なOOD検出器であることを示す。
  論文  参考訳（メタデータ） (2023-05-22T17:42:44Z)
• AUTO: Adaptive Outlier Optimization for Online Test-Time OOD Detection [81.49353397201887]
  オープンソースアプリケーションに機械学習モデルをデプロイするには、アウト・オブ・ディストリビューション(OOD)検出が不可欠だ。 我々は、未ラベルのオンラインデータをテスト時に直接利用してOOD検出性能を向上させる、テスト時OOD検出と呼ばれる新しいパラダイムを導入する。 本稿では,入出力フィルタ,IDメモリバンク,意味的に一貫性のある目的からなる適応外乱最適化(AUTO)を提案する。
  論文  参考訳（メタデータ） (2023-03-22T02:28:54Z)
• Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is All You Need [52.88953913542445]
  簡単な再構築手法を用いることで,OOD検出の性能が大幅に向上する可能性が示唆された。 我々は、OOD検出フレームワーク(MOOD)のプリテキストタスクとして、マスケ画像モデリング(Masked Image Modeling)を採用する。
  論文  参考訳（メタデータ） (2023-02-06T08:24:41Z)
• How Useful are Gradients for OOD Detection Really? [5.459639971144757]
  Out of Distribution(OOD)検出は、リアルタイムアプリケーションに高性能な機械学習モデルをデプロイする上で重要な課題である。 OOD検出のための勾配法を詳細に解析し,比較する。 本稿では,OOD検出における性能と計算効率の両面において,従来のベースラインよりも向上した汎用的,非段階的なOOD検出手法を提案する。
  論文  参考訳（メタデータ） (2022-05-20T21:10:05Z)
• ATOM: Robustifying Out-of-distribution Detection Using Outlier Mining [51.19164318924997]
  インフォメーション・アウトリエ・マイニングによるアドリアトレーニングは、OOD検出の堅牢性を向上させる。 ATOMは,古典的,敵対的なOOD評価タスクの幅広いファミリーの下で,最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-06-26T20:58:05Z)
• Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
  既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-21T17:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。