論文の概要: SAMPLe: SAM-based Optimizer for Prompt Learning in VLMs

• arxiv url: http://arxiv.org/abs/2607.05727v1
• Date: Tue, 07 Jul 2026 01:21:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.362044
• Title: SAMPLe: SAM-based Optimizer for Prompt Learning in VLMs
• Title（参考訳）: SAMPLe:VLMにおけるプロンプト学習のためのSAMに基づく最適化
• Abstract要約: SAMPLe (Sharpness-Aware Minimization Prompt Learning) は、損失ランドスケープのシャープネスを考慮し、迅速な一般化性を高めるプラグインである。 我々は、SAMPLeをCoOp、CoCoOp、MaPLe、TCP、CoPromptなど複数の素早い学習フレームワークに統合し、様々な手法でその効果を実証する。
• 参考スコア（独自算出の注目度）: 15.702319787140341
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained Vision-Language Models (VLMs) like CLIP have proven highly effective as foundation models for various downstream applications. However, prompt learning in VLMs encounters a performance-generalization dilemma: while prompts can be tuned to achieve high accuracy on seen distributions, this tuning process often undermines their generalizability to unseen data. The limited set of learnable prompts, which contextualize and condition the input to steer it toward the task within the pretrained VLM, tends to overfit the training data, leading to a trade-off between task-specific performance and preserving generalization. To address this dilemma, we introduce SAMPLe (Sharpness-Aware Minimization Prompt Learning), a plug-in sharpness-aware optimizer that enhances prompt generalizability by accounting for loss landscape sharpness. Unlike conventional methods, SAMPLe balances exploration and exploitation by satisfying objective function constraints at each step, dynamically adapting to the current optimization state based on the local curvature and gradient properties. This approach reduces overfitting on seen distributions and improves adaptability to unseen data, preserving the generalization potential of pre-trained VLM models. We integrate SAMPLe into multiple prompt learning frameworks, including CoOp, CoCoOp, MaPLe, TCP, and Co-Prompt, demonstrating its effectiveness across diverse methods. Experiments show that SAMPLe elevates prompt learning frameworks and consistently outperforms existing optimizers across diverse settings, establishing itself as a robust, model-agnostic solution for prompt learning.
• Abstract（参考訳）: CLIPのような事前訓練されたビジョンランゲージモデル(VLM)は、様々な下流アプリケーションの基盤モデルとして非常に有効であることが証明されている。 しかしながら、VLMにおける迅速な学習は、性能一般化ジレンマに遭遇する: プロンプトは、観測された分布の精度を高めるために調整できるが、このチューニングプロセスは、しばしば、見当たらないデータに対する一般化性を損なう。 学習可能なプロンプトの限られたセットは、事前訓練されたVLM内のタスクに向けて入力をコンテキスト化し条件付けし、トレーニングデータに過度に適合する傾向にあり、タスク固有のパフォーマンスと一般化を保存するためのトレードオフをもたらす。 このジレンマに対処するために、損失ランドスケープのシャープネスを考慮し、迅速な一般化性を高めるプラグインシャープネス対応最適化器であるSAMPLe(Sharpness-Aware Minimization Prompt Learning)を導入する。 従来の手法とは異なり、SAMPLeは各ステップで目的関数の制約を満たすことで探索と利用のバランスをとり、局所曲率と勾配特性に基づいて現在の最適化状態に動的に適応する。 このアプローチは、観測された分布に対する過度な適合を低減し、未確認データへの適応性を改善し、事前訓練されたVLMモデルの一般化ポテンシャルを保存する。 我々は、SAMPLeをCoOp、CoCoOp、MaPLe、TCP、Co-Promptなど複数の素早い学習フレームワークに統合し、その効果を様々な手法で示す。 実験によると、SAMPLeは迅速な学習フレームワークを向上し、さまざまな設定で既存のオプティマイザを一貫して上回り、迅速な学習のための堅牢でモデルに依存しないソリューションとして確立している。

関連論文リスト

• Fine-tuning MLLMs Without Forgetting Is Easier Than You Think [72.59321247529975]
  分布内および分布外画像およびテキスト入力のモデル性能を評価するための2x2実験フレームワークを設計する。 その結果、トレーニング可能なパラメータの数を制限したり、低学習率を採用するなど、適切な正規化が、アウト・オブ・ディストリビューション・イメージを扱う際の忘れを効果的に防止できることが示唆された。 我々は、このことをタスク固有のオーバーフィッティングとみなし、データハイブリッドトレーニング戦略を導入することでこの問題に対処する。
  論文  参考訳（メタデータ） (2026-03-15T17:16:19Z)
• PromptCD: Test-Time Behavior Enhancement via Polarity-Prompt Contrastive Decoding [85.22047087898311]
  本稿では,より広範な拡張設定へのコントラストデコーディングを一般化するテスト時動作制御手法であるPolarity-Prompt Contrastive Decoding(PromptCD)を紹介する。 PromptCDは、目標行動のためのペアの正と負の導出プロンプトを構築し、望ましい結果を強化するためにモデル応答を対比する。 3H"アライメントの目的に関する実験では、一貫性と実質的な改善が示されている。
  論文  参考訳（メタデータ） (2026-02-24T08:56:52Z)
• Compression then Matching: An Efficient Pre-training Paradigm for Multimodal Embedding [53.18433310890516]
  視覚言語モデルは、伝達可能なセマンティック埋め込みを取得することでマルチモーダル表現学習を進める。 コントラスト学習のウォームアップ段階として機能する圧縮プレトレーニングフェーズであるCoMaを提案する。
  論文  参考訳（メタデータ） (2025-11-11T17:23:02Z)
• Training-Free Group Relative Policy Optimization [34.73950078782136]
  我々は,Large Language Model (LLM) エージェントが,経験的知識を先行するトークンとして学習することで,出力分布に類似した効果を得られることを論じる。 我々は,LLMエージェントの性能をパラメータ更新なしで向上する,費用対効果の高いソリューションであるTraining-Free Group Relative Policy Optimization (Training-Free GRPO)を提案する。 数学的推論とWeb検索タスクの実験により、DeepSeek-V3.1-Terminusに適用されたトレーニングフリーGRPOは、ドメイン外のパフォーマンスを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2025-10-09T13:18:17Z)
• Prompt-OT: An Optimal Transport Regularization Paradigm for Knowledge Preservation in Vision-Language Model Adaptation [5.296260279593993]
  CLIPのような視覚言語モデル(VLM)は、強力なパフォーマンスを示すが、下流タスクに適応する際には苦労する。 本稿では,特徴分布の構造的整合性を保つことにより,忘れを軽減できる最適トランスポート(OT)誘導型プロンプト学習フレームワークを提案する。 提案手法は,視覚とテキスト表現の両面に制約を課し,全体的な特徴の整合性を確保する。
  論文  参考訳（メタデータ） (2025-03-11T21:38:34Z)
• Aligning Instruction Tuning with Pre-training [61.50161961371844]
  そこで我々は,AITP(Aligning Instruction Tuning with Pre-training)を提案する。 8つのベンチマークで3つの完全にオープンな大規模言語モデル(LLM)上で,AITPによる一貫したパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2025-01-16T08:27:40Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• Fully Fine-tuned CLIP Models are Efficient Few-Shot Learners [8.707819647492467]
  視覚言語モデル全体(VLM)の精巧な精細化によるタスク固有情報の取得について検討する。 これらの問題を緩和するために,識別的視覚テキストタスクを設計するCLIP-CITEというフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-04T15:22:54Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。