論文の概要: ProCAP: Probabilistic Cross-Attentive Prompt Learning for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.30434v1
• Date: Thu, 24 Sep 2026 18:31:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.101622
• Title: ProCAP: Probabilistic Cross-Attentive Prompt Learning for Vision-Language Models
• Title（参考訳）: ProCAP:視覚言語モデルのための確率論的横断的プロンプト学習
• Abstract要約: ProCAPは、クロスモーダルなインタラクションとトレーニングの安定性を改善する、クロスアテンティブなプロンプトラーニングフレームワークである。 視覚的およびテキスト的プロンプトトークンの両方を学び、積み重ねられた双方向のマルチヘッド・クロスアテンションを通じてリンクする。 CLIPのバックボーンを変更せずに、強力なアグリゲートベース・ツー・ノーベルパフォーマンスと競合転送パフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 3.664316529642632
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained vision-language models such as CLIP can recognize new categories via prompting, but they often struggle when labeled data are scarce or the test distribution shifts. Prompt learning adapts only a small set of parameters while keeping the backbone frozen, yet many existing multimodal prompt learners couple the visual and textual branches weakly and can be brittle in low-shot regimes. We propose ProCAP, a probabilistic cross-attentive prompt learning framework that improves cross-modal interaction and training stability without updating any CLIP weights: it learns both visual and textual prompt tokens and links them through stacked bidirectional multi-head cross-attention so the two branches refine each other across prompt depth. To reduce overfitting under limited supervision, we parameterize prompt tokens with Gaussian means and variances and regularize them with lightweight KL and L2 penalties, and we further add a compact symmetric InfoNCE head that aligns cross-attended image features with class-level text representations in a shared low-dimensional space. Across few-shot base-to-novel generalization on 11 datasets, cross-dataset transfer, and domain generalization on ImageNet shift benchmarks, ProCAP achieves strong aggregate base-to-novel performance and competitive transfer performance while keeping the CLIP backbone unchanged.
• Abstract（参考訳）: CLIPのようなトレーニング済みの視覚言語モデルは、プロンプトによって新しいカテゴリを認識することができるが、ラベル付きデータが不足したり、テスト分散がシフトした場合、しばしば苦労する。 プロンプト学習は、バックボーンを凍結させながらパラメータの小さなセットにのみ適応するが、多くの既存のマルチモーダル・プロンプト学習者は視覚とテキストの分岐を弱く結合し、低ショットのレギュレーションでは脆くすることができる。 ProCAPは、CLIP重みを更新することなく、相互の相互作用とトレーニング安定性を改善する確率的相互注意型プロンプト学習フレームワークであり、視覚的およびテキスト的プロンプトトークンの両方を学習し、積み重ねた双方向のマルチヘッド・クロスアテンションを介してリンクすることにより、両者が即時深度にわたって洗練される。 限られた監督下でのオーバーフィッティングを低減するため、ガウス的手段と分散を用いてプロンプトトークンをパラメータ化し、軽量なKLおよびL2ペナルティで正規化し、また、クロスアタッチされた画像特徴と共有低次元空間におけるクラスレベルのテキスト表現とを整合させるコンパクトな対称InfoNCEヘッドを追加する。 11データセットのベース・ツー・ノーベルの一般化、データセット間の転送、ImageNetシフトベンチマークのドメインの一般化など、ProCAPは、CLIPバックボーンを維持しながら、強力な集約ベース・ツー・ノーベルのパフォーマンスと競合トランスファーのパフォーマンスを達成する。

関連論文リスト

• SeCo-SBIR: Semantically Consistent Prompt Learning for Zero-Shot Sketch-Based Image Retrieval [2.018258593552284]
  SeCo-SBIRはゼロショットスケッチに基づく画像検索のための意味論的に一貫した学習フレームワークである。 分類、一般化、データセット間の3つの標準ZS-SBIRベンチマークの最先端結果を達成する。
  論文  参考訳（メタデータ） (2026-08-04T04:41:45Z)
• Supervised Classification Heads as Semantic Prototypes: Unlocking Vision-Language Alignment via Weight Recycling [1.376408511310322]
  ポストホックアライメント法は、軽量マッピングを通じて予め訓練されたエンコーダを接続することで計算コストを削減する。 本研究では,事前学習された視覚モデルの分類ヘッドを意味的プロトタイプとして再利用する可能性について検討する。 本手法をいくつかの最先端のポストホックアライメント手法と組み合わせることで、クロスモーダル検索やゼロショット、少数ショットの分類タスクにおける精度が一貫して向上することが実証された。
  論文  参考訳（メタデータ） (2026-05-21T13:41:18Z)
• ChordPrompt: Orchestrating Cross-Modal Prompt Synergy for Multi-Domain Incremental Learning in CLIP [12.05848395374439]
  継続学習は、事前訓練された視覚言語モデルに、新規または以前は表現されていないデータ分布に効果的に適応させる権限を与える。 ChordPromptは、視覚情報とテキスト情報の相互作用を活用するためのクロスモーダルプロンプトを導入している。 ChordPromptはゼロショットの一般化とダウンストリームのタスクパフォーマンスにおいて最先端の手法より優れている。
  論文  参考訳（メタデータ） (2025-06-24T13:22:06Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• CPL: Counterfactual Prompt Learning for Vision and Language Models [76.18024920393245]
  本稿では、視覚と言語モデルのための新しいアンダーラインテキストbfCounterfactual underlinetextbfPrompt underlinetextbfLearning (CPL)法を提案する。 CPLは、共同最適化フレームワークにおいて、反ファクト生成とコントラスト学習を同時に採用している。 実験により、CPLは異なるビジョンと言語タスクにおいて優れた数ショットのパフォーマンスを得ることができることが示された。
  論文  参考訳（メタデータ） (2022-10-19T08:06:39Z)
• MaPLe: Multi-modal Prompt Learning [54.96069171726668]
  本稿では,視覚と言語分岐の両方を対象としたマルチモーダル・プロンプト・ラーニング(MaPLe)を提案し,視覚と言語表現の整合性を改善する。 最先端のCo-CoOpと比較すると、MaPLeは優れた性能を示し、新規クラスでは3.45%の絶対的な向上を達成している。
  論文  参考訳（メタデータ） (2022-10-06T17:59:56Z)
• COTS: Collaborative Two-Stream Vision-Language Pre-Training Model for Cross-Modal Retrieval [59.15034487974549]
  画像テキスト検索のための新しいコラボレーティブな2ストリームビジョン言語事前学習モデルCOTSを提案する。 我々のCOTSは,2ストリーム方式の中で最も高い性能を達成し,推論の速度は10,800倍に向上した。 重要なことは、我々のCOTSはテキストからビデオへの検索にも適用でき、広く使われているMSR-VTTデータセットに新たな最先端技術をもたらすことである。
  論文  参考訳（メタデータ） (2022-04-15T12:34:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。