論文の概要: Understanding and Mitigating Overfitting in Prompt Tuning for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2211.02219v1
• Date: Fri, 4 Nov 2022 02:06:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 16:43:24.026933
• Title: Understanding and Mitigating Overfitting in Prompt Tuning for Vision-Language Models
• Title（参考訳）: 視覚言語モデルのためのプロンプトチューニングにおけるオーバーフィッティングの理解と緩和
• Authors: Chengcheng Ma, Yang Liu, Jiankang Deng, LingXi Xie, Weiming Dong, Changsheng Xu
• Abstract要約: 本稿では, トレーニング過程全体において, 低ランク部分空間にバックプロパゲーションの勾配を投影するSubspace Prompt Tuning(SubPT)を提案する。 我々はCoOpにノベル・ラーナー・フィーチャー(NFL)を装備し、学習したプロンプトをトレーニングセット以外の新しいカテゴリに一般化する能力を高める。
• 参考スコア（独自算出の注目度）: 108.13378788663196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained Vision-Language Models (VLMs) such as CLIP have shown impressive generalization capability in downstream vision tasks with appropriate text prompts. Instead of designing prompts manually, Context Optimization (CoOp) has been recently proposed to learn continuous prompts using task-specific training data. Despite the performance improvements on downstream tasks, several studies have reported that CoOp suffers from the overfitting issue in two aspects: (i) the test accuracy on base classes first gets better and then gets worse during training; (ii) the test accuracy on novel classes keeps decreasing. However, none of the existing studies can understand and mitigate such overfitting problem effectively. In this paper, we first explore the cause of overfitting by analyzing the gradient flow. Comparative experiments reveal that CoOp favors generalizable and spurious features in the early and later training stages respectively, leading to the non-overfitting and overfitting phenomenon. Given those observations, we propose Subspace Prompt Tuning (SubPT) to project the gradients in back-propagation onto the low-rank subspace spanned by the early-stage gradient flow eigenvectors during the entire training process, and successfully eliminate the overfitting problem. Besides, we equip CoOp with Novel Feature Learner (NFL) to enhance the generalization ability of the learned prompts onto novel categories beyond the training set, needless of image training data. Extensive experiments on 11 classification datasets demonstrate that SubPT+NFL consistently boost the performance of CoOp and outperform the state-of-the-art approach CoCoOp. Experiments on more challenging vision downstream tasks including open-vocabulary object detection and zero-shot semantic segmentation also verify the effectiveness of the proposed method. Codes can be found at https://tinyurl.com/mpe64f89.
• Abstract（参考訳）: CLIPのような事前訓練された視覚言語モデル(VLM)は、適切なテキストプロンプトを持つ下流視覚タスクにおいて、素晴らしい一般化能力を示している。 手動でプロンプトを設計する代わりに、タスク固有のトレーニングデータを使用して連続的なプロンプトを学ぶために、コンテキスト最適化(CoOp)が最近提案されている。 ダウンストリームタスクのパフォーマンス改善にもかかわらず、いくつかの研究は、coopが2つの側面で過剰適合の問題に苦しんでいると報告している。 (i)まず、基礎クラスのテスト精度が向上し、その後、トレーニング中に悪化する。 (ii)新規クラスの試験精度は低下傾向にある。 しかし、既存の研究はこれらの過剰フィット問題を効果的に理解し緩和することはできない。 本稿ではまず,勾配流の解析によりオーバーフィッティングの原因を考察する。 比較実験により、coopは初期および後期のトレーニング段階においてそれぞれ一般化可能な特徴と散発的な特徴を好み、不適合現象と過剰フィット現象をもたらすことが明らかとなった。 そこで本研究では, 初期勾配流固有ベクトルが作用する低ランク部分空間にバックプロパゲーションの勾配を投影するサブスペース・プロンプト・チューニング(subpt)を提案し, オーバーフィッティング問題を解消することに成功した。 さらに,新しい特徴学習者(nfl)とcoopを組み合わせることで,学習したプロンプトの一般化能力を,画像学習データによらず,学習セットを超えた新たなカテゴリに拡張する。 11の分類データセットに対する大規模な実験により、SubPT+NFLはCoOpのパフォーマンスを継続的に向上し、最先端のアプローチであるCoCoOpよりも優れています。 オープンボキャブラリオブジェクト検出やゼロショットセマンティックセグメンテーションなど,より困難な視覚下流タスクの実験も提案手法の有効性を検証する。 コードはhttps://tinyurl.com/mpe64f89.comにある。

関連論文リスト

• IntCoOp: Interpretability-Aware Vision-Language Prompt Tuning [94.52149969720712]
  IntCoOpは、プロンプトチューニング中に属性レベルの帰納バイアスとクラス埋め込みを共同で調整することを学ぶ。 IntCoOpは10種類のデータセットの平均パフォーマンスを7.35%改善した。
  論文  参考訳（メタデータ） (2024-06-19T16:37:31Z)
• Visual Prompt Tuning in Null Space for Continual Learning [51.96411454304625]
  既存のプロンプトチューニング手法は、継続学習(CL)における印象的な性能を示す。 本稿では,従来のタスクの特徴に代表される部分空間に直交する方向のプロンプトを調整し,各タスクを学習することを目的とする。 実際には、即時勾配予測を実装するために、実効的なヌル空間に基づく近似解が提案されている。
  論文  参考訳（メタデータ） (2024-06-09T05:57:40Z)
• AAPL: Adding Attributes to Prompt Learning for Vision-Language Models [6.32186874112557]
  本稿では,学習可能なプロンプトのバイアスを誘発する際,高次クラス情報から低次視覚強調特徴を分離するための逆トークン埋め込みを提案する。 我々は11のデータセットに対して実験を行い、AAPLは、いくつかのショット学習、ゼロショット学習、クロスデータセット、ドメイン一般化タスクにおいて、既存の手法と比較して好成績を示した。
  論文  参考訳（メタデータ） (2024-04-25T17:51:10Z)
• Revisiting the Power of Prompt for Visual Tuning [50.11465784194896]
  本研究では,プロンプトとパッチトークンの相互関係について検討した。 プロンプトトークンはパッチトークンと高い相互情報を共有する傾向にあるという観測から着想を得て,下流トークンのプロトタイプを用いた初期化プロンプトを提案する。 本手法は, 自己指導型プレトレーニングの適応性を著しく向上させ, 少なくとも10%から30%のタスク性能向上を実現した。
  論文  参考訳（メタデータ） (2024-02-04T07:49:02Z)
• Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
  大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。 実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
  論文  参考訳（メタデータ） (2023-10-11T06:51:46Z)
• Consistency-guided Prompt Learning for Vision-Language Models [23.4909421082857]
  視覚言語モデルのための新しい微調整手法であるConsistency-Guided Prompt Learning (CoPrompt)を提案する。 提案手法は,下流タスクを数ショットで微調整した場合に,大規模な基礎モデルの一般化を改善する。
  論文  参考訳（メタデータ） (2023-06-01T23:20:47Z)
• Improved Visual Fine-tuning with Natural Language Supervision [36.250244364023665]
  視覚的事前学習モデルの微調整は、大規模事前学習データからの意味情報を活用することができる。 術前訓練した背骨における破折性忘れの問題は、微調整のために広く研究されている。 固定テキスト分類器から得られた参照分布を導入し,学習した視覚分類器の正規化を支援する。
  論文  参考訳（メタデータ） (2023-04-04T03:08:02Z)
• Conditional Prompt Learning for Vision-Language Models [107.06776396086471]
  近ごろ提案されたContext Optimization (CoOp) は、文脈単語をプロンプトで学習可能なベクトルの集合に変換する。 CoOpは、CoOpよりもはるかに優れたクラスを非表示に一般化し、単一のデータセットを超える有望な転送可能性を示している。 我々の実験によると、CoCoOpはCoOpよりもはるかに優れたクラスに一般化しており、単一のデータセットを超える有望な転送可能性を示している。
  論文  参考訳（メタデータ） (2022-03-10T18:59:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。