論文の概要: Variational prompt tuning improves generalization of vision-language
models
- arxiv url: http://arxiv.org/abs/2210.02390v1
- Date: Wed, 5 Oct 2022 17:05:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 12:41:22.757125
- Title: Variational prompt tuning improves generalization of vision-language
models
- Title(参考訳): 変分プロンプトチューニングは視覚言語モデルの一般化を改善する
- Authors: Mohammad Mahdi Derakhshani, Enrique Sanchez, Adrian Bulat, Victor
Guilherme Turrisi da Costa, Cees G. M. Snoek, Georgios Tzimiropoulos and
Brais Martinez
- Abstract要約: 当社のアプローチは,標準および条件付きプロンプト学習フレームワークにシームレスに統合されていることを示す。
提案手法は,CoCoOpを標準ベンチマークで平均1.6%の精度で上回っている。
- 参考スコア(独自算出の注目度): 72.67368357421938
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prompt tuning provides an efficient mechanism to adapt large vision-language
models to downstream tasks by treating part of the input language prompts as
learnable parameters while freezing the rest of the model. Existing works for
prompt tuning are however prone to damaging the generalization capabilities of
the foundation models, because the learned prompts lack the capacity of
covering certain concepts within the language model. To avoid such limitation,
we propose a probabilistic modeling of the underlying distribution of prompts,
allowing prompts within the support of an associated concept to be derived
through stochastic sampling. This results in a more complete and richer
transfer of the information captured by the language model, providing better
generalization capabilities for downstream tasks. The resulting algorithm
relies on a simple yet powerful variational framework that can be directly
integrated with other developments. We show our approach is seamlessly
integrated into both standard and conditional prompt learning frameworks,
improving the performance on both cases considerably, especially with regards
to preserving the generalization capability of the original model. Our method
provides the current state-of-the-art for prompt learning, surpassing CoCoOp by
1.6% average Top-1 accuracy on the standard benchmark. Remarkably, it even
surpasses the original CLIP model in terms of generalization to new classes.
Implementation code will be released.
- Abstract(参考訳): プロンプトチューニングは、入力言語プロンプトの一部を学習可能なパラメータとして扱うことによって、大きな視覚言語モデルを下流タスクに適応させる効率的なメカニズムを提供する。
しかしながら、既存のプロンプトチューニングの作業は、学習されたプロンプトが言語モデル内の特定の概念をカバーする能力に欠けるため、基礎モデルの一般化能力を損なう傾向にある。
このような制限を回避するため、確率的サンプリングにより、関連する概念の支持範囲内でのプロンプトを導出できるプロンプトの基盤分布の確率論的モデリングを提案する。
これにより、言語モデルによって取得された情報のより完全でリッチな転送が可能になり、下流タスクのより優れた一般化機能を提供する。
結果として得られるアルゴリズムは、他の開発と直接統合できるシンプルで強力な変分フレームワークに依存している。
我々は,本手法が標準および条件付きプロンプト学習フレームワークにシームレスに統合されていることを示す。
提案手法は,CoCoOpを標準ベンチマークで平均1.6%の精度で上回っている。
注目すべきは、新しいクラスへの一般化という点で、オリジナルのCLIPモデルを超えていることだ。
実装コードはリリースされます。
関連論文リスト
- RESTORE: Towards Feature Shift for Vision-Language Prompt Learning [33.13407089704543]
ここでは,CLIPの1つの分岐のみに沿った即時チューニングが,誤調整の発生の原因であることを示す。
学習可能なパラメータをさまざまなモダリティで適切に正規化することなく、迅速な学習は元の事前学習制約に違反する。
クロスモーダルな一貫性に明示的な制約を課すマルチモーダルなプロンプト学習手法であるRESTOREを提案する。
論文 参考訳(メタデータ) (2024-03-10T08:52:48Z) - Make Prompts Adaptable: Bayesian Modeling for Vision-Language Prompt
Learning with Data-Dependent Prior [14.232144691524528]
最近のVision-Language Pretrainedモデルは、多くの下流タスクのバックボーンとなっている。
MLEトレーニングは、トレーニングデータにおいて、コンテキストベクトルを過度に適合する画像特徴に導くことができる。
本稿では,素早い学習のためのベイズ的枠組みを提案する。
論文 参考訳(メタデータ) (2024-01-09T10:15:59Z) - DiffPrompter: Differentiable Implicit Visual Prompts for
Semantic-Segmentation in Adverse Conditions [15.251224649711727]
DiffPrompterは、視覚的かつ潜時的な新しいプロンプト機構である。
提案した$nabla$HFC画像処理ブロックは,特に悪天候条件下では優れている。
論文 参考訳(メタデータ) (2023-10-06T11:53:04Z) - Reverse Stable Diffusion: What prompt was used to generate this image? [80.82832715884597]
生成拡散モデルにより生成された画像からテキストプロンプトを予測する新しいタスクを導入する。
本稿では,複数ラベルの語彙分類を目的とし,協調的即時回帰と複数ラベルの語彙分類からなる新しい学習フレームワークを提案する。
我々はDiffusionDBデータセットの実験を行い、安定拡散によって生成された画像からテキストプロンプトを予測する。
論文 参考訳(メタデータ) (2023-08-02T23:39:29Z) - Self-regulating Prompts: Foundational Model Adaptation without
Forgetting [112.66832145320434]
本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。
PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
論文 参考訳(メタデータ) (2023-07-13T17:59:35Z) - Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。
ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。
そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
論文 参考訳(メタデータ) (2023-03-23T12:28:25Z) - Patch-Token Aligned Bayesian Prompt Learning for Vision-Language Models [48.37786467926044]
ラベル固有のプロンプトを階層的に生成する。
我々は視覚知識と画像とそれに対応するプロンプトを最適輸送下でパッチやトークンセットとして意味的に正規化する。
提案手法は,インスタンス条件付きプロンプトを生成して一般化性を向上させる条件付きケースに容易に拡張できる。
論文 参考訳(メタデータ) (2023-03-16T06:09:15Z) - RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。
RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。
少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-05-25T07:50:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。