論文の概要: Prompt Tuning for CLIP on the Pretrained Manifold

• arxiv url: http://arxiv.org/abs/2602.19198v1
• Date: Sun, 22 Feb 2026 13:58:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.52757
• Title: Prompt Tuning for CLIP on the Pretrained Manifold
• Title（参考訳）: Pretrained Manifold における CLIP のプロンプトチューニング
• Authors: Xi Yang, Yuanrong Xu, Weigang Zhang, Guangming Lu, David Zhang, Jie Wen,
• Abstract要約: 事前学習された多様体上で即時チューニングを行うフレームワークであるManiPTを提案する。 ManiPTはテキストと画像の両モードにコサイン一貫性の制約を導入する。 また, インクリメンタルな修正を強制する構造バイアスを導入し, 伝達可能な方向に沿った適応を導く。
• 参考スコア（独自算出の注目度）: 53.797958617168966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt tuning introduces learnable prompt vectors that adapt pretrained vision-language models to downstream tasks in a parameter-efficient manner. However, under limited supervision, prompt tuning alters pretrained representations and drives downstream features away from the pretrained manifold toward directions that are unfavorable for transfer. This drift degrades generalization. To address this limitation, we propose ManiPT, a framework that performs prompt tuning on the pretrained manifold. ManiPT introduces cosine consistency constraints in both the text and image modalities to confine the learned representations within the pretrained geometric neighborhood. Furthermore, we introduce a structural bias that enforces incremental corrections, guiding the adaptation along transferable directions to mitigate reliance on shortcut learning. From a theoretical perspective, ManiPT alleviates overfitting tendencies under limited data. Our experiments cover four downstream settings: unseen-class generalization, few-shot classification, cross-dataset transfer, and domain generalization. Across these settings, ManiPT achieves higher average performance than baseline methods. Notably, ManiPT provides an explicit perspective on how prompt tuning overfits under limited supervision.
• Abstract（参考訳）: プロンプトチューニングは、事前学習された視覚言語モデルをパラメータ効率のよい方法で下流タスクに適応させる学習可能なプロンプトベクトルを導入している。 しかし、限定的な監督の下で、プロンプトチューニングは事前訓練された表現を変更し、事前訓練された多様体から転送に好ましくない方向に向かって下流の特徴を駆動する。 このドリフトは一般化を低下させる。 この制限に対処するため、事前訓練された多様体上で即時チューニングを行うフレームワークであるManiPTを提案する。 ManiPTはテキストと画像のモダリティの両方にコサイン一貫性の制約を導入し、学習された表現を事前訓練された幾何学的近傍に閉じ込める。 さらに, 漸進的な修正を実施する構造バイアスを導入し, 伝達可能な方向に沿った適応を誘導し, ショートカット学習への依存を軽減する。 理論的には、ManiPTは限られたデータの下で過度に適合する傾向を緩和する。 実験では, 未知のクラス一般化, 少数ショット分類, クロスデータセット転送, ドメイン一般化の4つのダウンストリーム設定について検討した。 これらの設定全体で、ManiPTはベースラインメソッドよりも平均的なパフォーマンスを達成する。 特に、ManiPTは、限られた監督下での迅速なチューニングの過度な適合について、明確な視点を提供する。

関連論文リスト

• Prompt-OT: An Optimal Transport Regularization Paradigm for Knowledge Preservation in Vision-Language Model Adaptation [5.296260279593993]
  CLIPのような視覚言語モデル(VLM)は、強力なパフォーマンスを示すが、下流タスクに適応する際には苦労する。 本稿では,特徴分布の構造的整合性を保つことにより,忘れを軽減できる最適トランスポート(OT)誘導型プロンプト学習フレームワークを提案する。 提案手法は,視覚とテキスト表現の両面に制約を課し,全体的な特徴の整合性を確保する。
  論文  参考訳（メタデータ） (2025-03-11T21:38:34Z)
• RESTORE: Towards Feature Shift for Vision-Language Prompt Learning [33.13407089704543]
  ここでは,CLIPの1つの分岐のみに沿った即時チューニングが,誤調整の発生の原因であることを示す。 学習可能なパラメータをさまざまなモダリティで適切に正規化することなく、迅速な学習は元の事前学習制約に違反する。 クロスモーダルな一貫性に明示的な制約を課すマルチモーダルなプロンプト学習手法であるRESTOREを提案する。
  論文  参考訳（メタデータ） (2024-03-10T08:52:48Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• DR-Tune: Improving Fine-tuning of Pretrained Visual Models by Distribution Regularization with Semantic Calibration [38.4461170690033]
  セマンティックキャリブレーションを用いた分布正規化(DR-Tune)という,新しい微調整フレームワークを提案する。 DR-Tuneは、下流タスクヘッドを強制して、事前訓練された特徴分布の分類誤差を低減することで、分散正則化を採用する。 セマンティックドリフトによる干渉を軽減するため,セマンティックキャリブレーション(SC)モジュールを開発した。
  論文  参考訳（メタデータ） (2023-08-23T10:59:20Z)
• Debiased Fine-Tuning for Vision-language Models by Prompt Regularization [56.48290708901531]
  本稿では,Prompt Regularization(ProReg)と呼ばれる下流タスクにおける大規模視覚事前訓練モデルの微調整のための新しいパラダイムを提案する。 ProRegは、事前訓練されたモデルに微調整を正規化するよう促すことで予測を使用する。 本稿では,従来の微調整,ゼロショットプロンプト,プロンプトチューニング,その他の最先端手法と比較して,ProRegの性能が一貫して高いことを示す。
  論文  参考訳（メタデータ） (2023-01-29T11:53:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。