論文の概要: Self-regulating Prompts: Foundational Model Adaptation without Forgetting

• arxiv url: http://arxiv.org/abs/2307.06948v1
• Date: Thu, 13 Jul 2023 17:59:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-14 13:41:41.190281
• Title: Self-regulating Prompts: Foundational Model Adaptation without Forgetting
• Title（参考訳）: 自己制御型プロンプト:基礎的モデル適応
• Authors: Muhammad Uzair Khattak, Syed Talal Wasim, Muzammal Naseer, Salman Khan, Ming-Hsuan Yang and Fahad Shahbaz Khan
• Abstract要約: 本稿では,PromptSRCと呼ばれる自己正規化フレームワークを紹介する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。 私たちの知る限りでは、過度に適合しない素早い学習のための最初の正規化フレームワークです。
• 参考スコア（独自算出の注目度）: 98.17922476732676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt learning has emerged as an efficient alternative for fine-tuning foundational models, such as CLIP, for various downstream tasks. Conventionally trained using the task-specific objective, i.e., cross-entropy loss, prompts tend to overfit downstream data distributions and find it challenging to capture task-agnostic general features from the frozen CLIP. This leads to the loss of the model's original generalization capability. To address this issue, our work introduces a self-regularization framework for prompting called PromptSRC (Prompting with Self-regulating Constraints). PromptSRC guides the prompts to optimize for both task-specific and task-agnostic general representations using a three-pronged approach by: (a) regulating {prompted} representations via mutual agreement maximization with the frozen model, (b) regulating with self-ensemble of prompts over the training trajectory to encode their complementary strengths, and (c) regulating with textual diversity to mitigate sample diversity imbalance with the visual branch. To the best of our knowledge, this is the first regularization framework for prompt learning that avoids overfitting by jointly attending to pre-trained model features, the training trajectory during prompting, and the textual diversity. PromptSRC explicitly steers the prompts to learn a representation space that maximizes performance on downstream tasks without compromising CLIP generalization. We perform extensive experiments on 4 benchmarks where PromptSRC overall performs favorably well compared to the existing methods. Our code and pre-trained models are publicly available at: https://github.com/muzairkhattak/PromptSRC.
• Abstract（参考訳）: プロンプト学習は、様々な下流タスクのためのCLIPなどの微調整基盤モデルの効率的な代替手段として登場した。 従来、タスク固有の目的、すなわちクロスエントロピー損失を使用してトレーニングされた場合、下流のデータ分布に過度に適合する傾向があり、凍結したCLIPからタスクに依存しない一般的な特徴を捉えることは困難である。 これにより、モデルの本来の一般化能力が失われる。 この問題に対処するため,本研究では,PromptSRC(Prompting with Self-regulating Constraints)と呼ばれる自己規則化フレームワークを導入する。 PromptSRCは、以下の3つのアプローチを用いて、タスク固有およびタスク非依存の汎用表現を最適化するプロンプトをガイドする。 (a)凍結モデルとの相互合意最大化による{prompted}表現の規制 (b)トレーニングコース上のプロンプトの自己感覚で調整し、その補完的な強みを符号化すること (c)ビジュアルブランチとのサンプル多様性の不均衡を軽減するために、テキスト多様性で調整する。 我々の知る限り、これは、事前訓練されたモデル特徴、プロンプト中の訓練軌跡、テキストの多様性に共同で参加することで過度な適合を避ける、プロンプト学習のための最初の正規化フレームワークである。 PromptSRCは、CLIPの一般化を損なうことなく、下流タスクのパフォーマンスを最大化する表現空間の学習を促す。 我々は4つのベンチマークで広範囲な実験を行い,promptsrcは従来の手法と比較して良好に機能する。 私たちのコードと事前トレーニングされたモデルは、https://github.com/muzairkhattak/PromptSRCで公開されています。

関連論文リスト

• A Similarity Paradigm Through Textual Regularization Without Forgetting [17.251684463032433]
  テキスト正規化による類似パラダイム(SPTR)と呼ばれる新しい手法を提案する。 SPTRは、手作りのプロンプトに基づく、分離不能なフレームワークである。 11のデータセットにまたがる4つの代表的なタスクは、SPTRが既存のプロンプト学習方法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-02-20T09:06:44Z)
• Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
  既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。 本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
  論文  参考訳（メタデータ） (2025-01-08T20:11:09Z)
• A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
  新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。 合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。 実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。 高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
  論文  参考訳（メタデータ） (2024-12-18T15:38:39Z)
• CAPrompt: Cyclic Prompt Aggregation for Pre-Trained Model Based Class Incremental Learning [12.249938312431993]
  本稿では,タスクID予測への依存性を排除するために,新しいCAPromptアグリゲーション法を提案する。 凹凸条件下では、集約プロンプトは単一のタスク固有のプロンプトを選択するよりも低いエラーを達成する。 提案したCAPromptは最先端手法を2%-3%上回る性能を示した。
  論文  参考訳（メタデータ） (2024-12-12T04:34:28Z)
• Revisiting Prompt Pretraining of Vision-Language Models [13.888505919946578]
  本稿では、RPP(Revisiting Prompt Pretraining)と呼ばれる一般的なフレームワークを提案する。 RPPは、フィッティングと一般化能力の改善を、迅速な構造と迅速な監督という2つの側面から目標としている。 また,事前訓練されたコントラスト言語画像事前学習(CLIP)教師モデルによって提供されるゼロショット確率予測から得られたソフトラベルを利用する。
  論文  参考訳（メタデータ） (2024-09-10T02:36:13Z)
• RESTORE: Towards Feature Shift for Vision-Language Prompt Learning [33.13407089704543]
  ここでは,CLIPの1つの分岐のみに沿った即時チューニングが,誤調整の発生の原因であることを示す。 学習可能なパラメータをさまざまなモダリティで適切に正規化することなく、迅速な学習は元の事前学習制約に違反する。 クロスモーダルな一貫性に明示的な制約を課すマルチモーダルなプロンプト学習手法であるRESTOREを提案する。
  論文  参考訳（メタデータ） (2024-03-10T08:52:48Z)
• Spurious Feature Eraser: Stabilizing Test-Time Adaptation for Vision-Language Foundation Model [86.9619638550683]
  視覚言語基礎モデルは、画像とテキストのペアデータに拡張性があるため、多数の下流タスクで顕著な成功を収めている。 しかし、これらのモデルは、決定ショートカットの結果、きめ細かな画像分類などの下流タスクに適用した場合に重大な制限を呈する」。
  論文  参考訳（メタデータ） (2024-03-01T09:01:53Z)
• Any-Shift Prompting for Generalization over Distributions [66.29237565901734]
  即時学習におけるトレーニングとテスト分布の関係を考察する一般的な確率的推論フレームワークである「任意のシフトプロンプト」を提案する。 このフレームワーク内では、テストプロンプトが分散関係を利用して、CLIPイメージ言語モデルのトレーニングからテストディストリビューションへの一般化を導く。 ネットワークは、トレーニング情報とテスト情報の両方をフィードフォワードパスに組み込んだ調整されたテストプロンプトを生成し、テスト時の追加のトレーニングコストを回避する。
  論文  参考訳（メタデータ） (2024-02-15T16:53:42Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。