論文の概要: Evolving Prompt Adaptation for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2603.09493v1
• Date: Tue, 10 Mar 2026 10:53:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-11 15:25:24.241772
• Title: Evolving Prompt Adaptation for Vision-Language Models
• Title（参考訳）: 視覚言語モデルのためのプロンプト適応の進化
• Authors: Enming Zhang, Jiayang Li, Yanru Wu, Zhenyu Liu, Yang Li,
• Abstract要約: EvoPromptは、安定的で知識を保存できる微調整のために、迅速な軌道を操るように設計された新しいフレームワークである。 EvoPromptは、事前学習されたVLMのゼロショット能力を安定的に保ちつつ、数ショット学習で性能を向上することを示す。
• 参考スコア（独自算出の注目度）: 11.24804817787306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The adaptation of large-scale vision-language models (VLMs) to downstream tasks with limited labeled data remains a significant challenge. While parameter-efficient prompt learning methods offer a promising path, they often suffer from catastrophic forgetting of pre-trained knowledge. Toward addressing this limitation, our work is grounded in the insight that governing the evolutionary path of prompts is essential for forgetting-free adaptation. To this end, we propose EvoPrompt, a novel framework designed to explicitly steer the prompt trajectory for stable, knowledge-preserving fine-tuning. Specifically, our approach employs a Modality-Shared Prompt Projector (MPP) to generate hierarchical prompts from a unified embedding space. Critically, an evolutionary training strategy decouples low-rank updates into directional and magnitude components, preserving early-learned semantic directions while only adapting their magnitude, thus enabling prompts to evolve without discarding foundational knowledge. This process is further stabilized by Feature Geometric Regularization (FGR), which enforces feature decorrelation to prevent representation collapse. Extensive experiments demonstrate that EvoPrompt achieves state-of-the-art performance in few-shot learning while robustly preserving the original zero-shot capabilities of pre-trained VLMs.
• Abstract（参考訳）: ラベル付きデータによる下流タスクへの大規模視覚言語モデル(VLM)の適応は依然として大きな課題である。 パラメータ効率のよいプロンプト学習手法は有望な経路を提供するが、それらはしばしば、事前訓練された知識の破滅的な忘れ込みに悩まされる。 この制限に対処するために、我々の研究は、プロンプトの進化経路を管理することは、忘れない適応に不可欠である、という洞察に基づいています。 この目的のために,安定かつ知識保存型微調整のための素早い軌道を明示的に制御する新しいフレームワークであるEvoPromptを提案する。 具体的には,MPP(Modality-Shared Prompt Projector)を用いて,組込み空間から階層的なプロンプトを生成する。 批判的に、進化的トレーニング戦略は、低ランクな更新を方向と大きさのコンポーネントに分離し、初期学習されたセマンティックな方向を保存すると同時に、その大きさに適応するだけで、基礎知識を捨てることなく進化を促すことができる。 このプロセスはFGR(Feature Geometric Regularization)によってさらに安定化され、表現の崩壊を防ぐために特徴のデコリレーションが強制される。 大規模な実験により、EvoPromptは、事前訓練されたVLMのオリジナルのゼロショット能力をしっかりと保ちながら、数ショットの学習で最先端のパフォーマンスを達成することが示された。

関連論文リスト

• Forget Less, Retain More: A Lightweight Regularizer for Rehearsal-Based Continual Learning [51.07663354001582]
  ディープニューラルネットワークは破滅的な忘れ込みに悩まされ、新しいタスクのトレーニング後に以前のタスクのパフォーマンスが低下する。 本稿では,メモリベースの手法と正規化手法の交わりに着目し,この問題に対処する新しいアプローチを提案する。 我々は、メモリベース連続学習法において、情報最大化(IM)正則化と呼ばれる正規化戦略を定式化する。
  論文  参考訳（メタデータ） (2025-12-01T15:56:00Z)
• Forward-Only Continual Learning [8.873948519614244]
  破滅的な忘れ物は、継続的な学習における中心的な課題である。 本稿では,フォロ(FoRo)を提案する。 実験により、FoRoは平均的な忘れを著しく減らし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2025-09-01T15:10:38Z)
• StPR: Spatiotemporal Preservation and Routing for Exemplar-Free Video Class-Incremental Learning [79.44594332189018]
  CIL(Class-Incremental Learning)は、以前取得した知識を使わずに、時間とともに新しいアクションカテゴリを継続的に学習するモデルの開発を目指している。 既存のアプローチでは、メモリとプライバシに関する懸念を忘れたり、あるいは時間的モデリングを無視する静的なイメージベースのメソッドを適用したりする。 本稿では,情報を明示的に切り離して保存する,統一的で非定型なVCILフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-20T06:46:51Z)
• Prompt-OT: An Optimal Transport Regularization Paradigm for Knowledge Preservation in Vision-Language Model Adaptation [5.296260279593993]
  CLIPのような視覚言語モデル(VLM)は、強力なパフォーマンスを示すが、下流タスクに適応する際には苦労する。 本稿では,特徴分布の構造的整合性を保つことにより,忘れを軽減できる最適トランスポート(OT)誘導型プロンプト学習フレームワークを提案する。 提案手法は,視覚とテキスト表現の両面に制約を課し,全体的な特徴の整合性を確保する。
  論文  参考訳（メタデータ） (2025-03-11T21:38:34Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。