論文の概要: Bayesian Prompt Learning for Image-Language Model Generalization
- arxiv url: http://arxiv.org/abs/2210.02390v3
- Date: Sun, 20 Aug 2023 13:08:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-23 02:35:03.345244
- Title: Bayesian Prompt Learning for Image-Language Model Generalization
- Title(参考訳): ベイズ型プロンプト学習による画像言語モデル一般化
- Authors: Mohammad Mahdi Derakhshani, Enrique Sanchez, Adrian Bulat, Victor
Guilherme Turrisi da Costa, Cees G. M. Snoek, Georgios Tzimiropoulos and
Brais Martinez
- Abstract要約: 我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。
提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。
ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
- 参考スコア(独自算出の注目度): 64.50204877434878
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Foundational image-language models have generated considerable interest due
to their efficient adaptation to downstream tasks by prompt learning. Prompt
learning treats part of the language model input as trainable while freezing
the rest, and optimizes an Empirical Risk Minimization objective. However,
Empirical Risk Minimization is known to suffer from distributional shifts which
hurt generalizability to prompts unseen during training. By leveraging the
regularization ability of Bayesian methods, we frame prompt learning from the
Bayesian perspective and formulate it as a variational inference problem. Our
approach regularizes the prompt space, reduces overfitting to the seen prompts
and improves the prompt generalization on unseen prompts. Our framework is
implemented by modeling the input prompt space in a probabilistic manner, as an
a priori distribution which makes our proposal compatible with prompt learning
approaches that are unconditional or conditional on the image. We demonstrate
empirically on 15 benchmarks that Bayesian prompt learning provides an
appropriate coverage of the prompt space, prevents learning spurious features,
and exploits transferable invariant features. This results in better
generalization of unseen prompts, even across different datasets and domains.
Code available at: https://github.com/saic-fi/Bayesian-Prompt-Learning
- Abstract(参考訳): 基礎画像言語モデルは、迅速な学習による下流タスクへの効率的な適応により、かなりの関心を集めている。
プロンプト学習は、言語モデルの入力の一部を、残りを凍結しながら学習可能として扱い、経験的リスク最小化目標を最適化する。
しかし、経験的リスクの最小化は分布の変化に苦しむことが知られており、訓練中に無意識に促す一般化を損なう。
ベイズ法の正規化能力を利用することで、ベイズ的視点からプロンプト学習をフレーム化し、変分推論問題として定式化する。
提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。
本フレームワークは,入力プロンプト空間を確率論的にモデル化し,画像上不条件あるいは条件付きである素早い学習手法と互換性のある事前分布として実装する。
ベイジアン・プロンプト・ラーニングがプロンプト空間の適切なカバレッジを提供し、スプリアスな特徴の学習を防止し、転送可能な不変な特徴を活用できる15のベンチマークを実証的に示した。
これにより、異なるデータセットやドメインであっても、目に見えないプロンプトをより一般化できる。
https://github.com/saic-fi/Bayesian-Prompt-Learning
関連論文リスト
- RESTORE: Towards Feature Shift for Vision-Language Prompt Learning [33.13407089704543]
ここでは,CLIPの1つの分岐のみに沿った即時チューニングが,誤調整の発生の原因であることを示す。
学習可能なパラメータをさまざまなモダリティで適切に正規化することなく、迅速な学習は元の事前学習制約に違反する。
クロスモーダルな一貫性に明示的な制約を課すマルチモーダルなプロンプト学習手法であるRESTOREを提案する。
論文 参考訳(メタデータ) (2024-03-10T08:52:48Z) - Make Prompts Adaptable: Bayesian Modeling for Vision-Language Prompt
Learning with Data-Dependent Prior [14.232144691524528]
最近のVision-Language Pretrainedモデルは、多くの下流タスクのバックボーンとなっている。
MLEトレーニングは、トレーニングデータにおいて、コンテキストベクトルを過度に適合する画像特徴に導くことができる。
本稿では,素早い学習のためのベイズ的枠組みを提案する。
論文 参考訳(メタデータ) (2024-01-09T10:15:59Z) - DiffPrompter: Differentiable Implicit Visual Prompts for
Semantic-Segmentation in Adverse Conditions [15.251224649711727]
DiffPrompterは、視覚的かつ潜時的な新しいプロンプト機構である。
提案した$nabla$HFC画像処理ブロックは,特に悪天候条件下では優れている。
論文 参考訳(メタデータ) (2023-10-06T11:53:04Z) - Reverse Stable Diffusion: What prompt was used to generate this image? [80.82832715884597]
生成拡散モデルにより生成された画像からテキストプロンプトを予測する新しいタスクを導入する。
本稿では,複数ラベルの語彙分類を目的とし,協調的即時回帰と複数ラベルの語彙分類からなる新しい学習フレームワークを提案する。
我々はDiffusionDBデータセットの実験を行い、安定拡散によって生成された画像からテキストプロンプトを予測する。
論文 参考訳(メタデータ) (2023-08-02T23:39:29Z) - Self-regulating Prompts: Foundational Model Adaptation without
Forgetting [112.66832145320434]
本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。
PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
論文 参考訳(メタデータ) (2023-07-13T17:59:35Z) - Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。
ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。
そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
論文 参考訳(メタデータ) (2023-03-23T12:28:25Z) - Patch-Token Aligned Bayesian Prompt Learning for Vision-Language Models [48.37786467926044]
ラベル固有のプロンプトを階層的に生成する。
我々は視覚知識と画像とそれに対応するプロンプトを最適輸送下でパッチやトークンセットとして意味的に正規化する。
提案手法は,インスタンス条件付きプロンプトを生成して一般化性を向上させる条件付きケースに容易に拡張できる。
論文 参考訳(メタデータ) (2023-03-16T06:09:15Z) - RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。
RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。
少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-05-25T07:50:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。