論文の概要: IAP: Improving Continual Learning of Vision-Language Models via Instance-Aware Prompting

• arxiv url: http://arxiv.org/abs/2503.20612v1
• Date: Wed, 26 Mar 2025 14:59:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:20:16.949566
• Title: IAP: Improving Continual Learning of Vision-Language Models via Instance-Aware Prompting
• Title（参考訳）: IAP:インスタンス・アウェア・プロンプティングによる視覚言語モデルの継続的な学習改善
• Authors: Hao Fu, Hanbin Zhao, Jiahua Dong, Chao Zhang, Hui Qian,
• Abstract要約: 我々は,MCIL(Multi-Domain Class-Incremental Learning)における多様なタスクの迅速な設計を最適化する課題に取り組む。 我々の Instance-Aware Gated Prompting (IA-GP) モジュールは、忘れを軽減しつつ、新しいタスクへの適応を強化する。 事例対応型クラス分散型プロンプト(IA-CDDP)は,各事例に対して正確なタスクラベル関連信頼スコアを決定することにより,タスク適応プロセスを改善する。
• 参考スコア（独自算出の注目度）: 26.933544407933034
• License:
• Abstract: Recent pre-trained vision-language models (PT-VLMs) often face a Multi-Domain Class-Incremental Learning (MCIL) scenario in practice, where several classes and domains of multi-modal tasks are incrementally arrived. Without access to previously learned tasks and unseen tasks, memory-constrained MCIL suffers from forward and backward forgetting. To alleviate the above challenges, parameter-efficient fine-tuning techniques (PEFT), such as prompt tuning, are employed to adapt the PT-VLM to the diverse incrementally learned tasks. To achieve effective new task adaptation, existing methods only consider the effect of PEFT strategy selection, but neglect the influence of PEFT parameter setting (e.g., prompting). In this paper, we tackle the challenge of optimizing prompt designs for diverse tasks in MCIL and propose an Instance-Aware Prompting (IAP) framework. Specifically, our Instance-Aware Gated Prompting (IA-GP) module enhances adaptation to new tasks while mitigating forgetting by dynamically assigning prompts across transformer layers at the instance level. Our Instance-Aware Class-Distribution-Driven Prompting (IA-CDDP) improves the task adaptation process by determining an accurate task-label-related confidence score for each instance. Experimental evaluations across 11 datasets, using three performance metrics, demonstrate the effectiveness of our proposed method. Code can be found at https://github.com/FerdinandZJU/IAP.
• Abstract（参考訳）: 近年の事前学習型視覚言語モデル (PT-VLM) では,複数のクラスやドメインが段階的に到着するマルチドメイン・クラス・インクリメンタル・ラーニング (MCIL) のシナリオに直面していることが多い。 前もって学んだタスクや目に見えないタスクにアクセスできなければ、メモリ制限されたMCILは前向きと後向きの忘れに悩まされる。 上記の課題を軽減するため、PT-VLMを多種多様な漸進的に学習したタスクに適応させるために、プロンプトチューニングのようなパラメータ効率のよい微調整技術(PEFT)を用いる。 提案手法は,PEFT戦略選択の効果のみを考慮し,PEFTパラメータ設定の影響(例えばプロンプト)を無視する。 本稿では,MCILにおける多様なタスクのプロンプト設計を最適化する課題に取り組み,インスタンス・アウェア・プロンプト(IAP)フレームワークを提案する。 具体的には、インスタンス対応Gated Prompting(IA-GP)モジュールは、インスタンスレベルでトランスフォーマー層にプロンプトを動的に割り当てることで、忘れを軽減しながら、新しいタスクへの適応を強化する。 事例対応型クラス分散型プロンプト(IA-CDDP)は,各事例に対して正確なタスクラベル関連信頼スコアを決定することにより,タスク適応プロセスを改善する。 提案手法の有効性を3つの評価指標を用いて,11個のデータセットに対して実験的に評価した。 コードはhttps://github.com/FerdinandZJU/IAPにある。

関連論文リスト

• TADFormer : Task-Adaptive Dynamic Transformer for Efficient Multi-Task Learning [14.888918165109244]
  Task-Efficient Dynamic TransFormer, TADFormerは、タスク認識機能適応をきめ細かな方法で実行する新しいPEFTフレームワークである。 TADFormerは、密集したシーン理解タスクにおいて高い精度を実現し、トレーニング可能なパラメータの数を最大8.4倍に削減する。
  論文  参考訳（メタデータ） (2025-01-08T05:35:07Z)
• PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
  インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。 近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
  論文  参考訳（メタデータ） (2024-07-04T10:37:58Z)
• Exploring the Transferability of Visual Prompting for Multimodal Large Language Models [47.162575147632396]
  Transferable Visual Prompting (TVP) は、異なるモデルに転送可能な視覚的プロンプトを生成するためのシンプルで効果的なアプローチである。 本稿では,既存の視覚的プロンプト手法のクロスモデル特徴劣化問題に対処し,学習したプロンプトの伝達可能性を高めるための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-17T09:39:07Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• Dynamic Prompting: A Unified Framework for Prompt Tuning [33.175097465669374]
  本稿では、特定のタスクやインスタンスに基づいて、異なるプロンプトの要因を動的に決定する統合動的プロンプト(DP)チューニング戦略を提案する。 実験結果は、幅広いタスクにわたる動的プロンプトチューニングによって達成された顕著なパフォーマンス改善を裏付けるものである。 我々は、全データ、少数ショット、マルチタスクのシナリオの下で、我々のアプローチの普遍的な適用性を確立する。
  論文  参考訳（メタデータ） (2023-03-06T06:04:46Z)
• Prompting Decision Transformer for Few-Shot Policy Generalization [98.0914217850999]
  本稿では,オフラインRLにおける少数ショット適応を実現するために,Prompt-based Decision Transformer (Prompt-DT)を提案する。 Prompt-DTは、目に見えないターゲットタスクを微調整することなく、強力な数発の学習者である。
  論文  参考訳（メタデータ） (2022-06-27T17:59:17Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• Attentional Mixtures of Soft Prompt Tuning for Parameter-efficient Multi-task Knowledge Sharing [53.399742232323895]
  ATTEMPTは、新しいモジュラー、マルチタスク、パラメータ効率の言語モデル(LM)チューニングアプローチである。 異なるタスク間で伝達される知識をソフトプロンプトの混合によって組み合わせ、元のLMをそのまま維持する。 パラメータ効率(例えば、微調整よりも1,600倍少ないパラメータを更新)であり、マルチタスク学習と柔軟な拡張を可能にする。
  論文  参考訳（メタデータ） (2022-05-24T10:48:33Z)
• Towards Unified Prompt Tuning for Few-shot Text Classification [47.71344780587704]
  We present the Unified Prompt Tuning (UPT) framework that to improve few-shot text classification for BERT-style model。 UPTでは、異なるNLPタスク間での協調学習のために、新しいパラダイムであるPrompt-Options-Verbalizerを提案する。 また, PLMの一般化能力を向上させるために, 知識向上型選択マスケッド言語モデリングという自己教師型タスクを設計する。
  論文  参考訳（メタデータ） (2022-05-11T07:40:45Z)
• Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning [41.15017636192417]
  CP-Tuning(CP-Tuning)は、言語モデルのための最初のエンドツーエンドのPrompt Tuningフレームワークである。 完全にトレーニング可能なプロンプトパラメータを持つタスク不変の連続プロンプトエンコーディング技術と統合されている。 IRシステムや異なるPLMで使用される様々な言語理解タスクの実験は、CP-Tuningが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-04-01T02:24:24Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。