論文の概要: Personalize Your Large Vision-language Models With In-context Prompt Tuning
- arxiv url: http://arxiv.org/abs/2605.31513v1
- Date: Fri, 29 May 2026 16:31:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.748138
- Title: Personalize Your Large Vision-language Models With In-context Prompt Tuning
- Title（参考訳）: In-context Prompt Tuningで大きな視覚言語モデルをパーソナライズする
- Abstract要約: 大規模視覚言語モデル(LVLM)は、強力な汎用マルチモーダル能力を示し、下流システムにますます展開されている。
ICPTは複雑なシナリオで操作できる軽量プロジェクションモジュールを使用して、複数の参照画像からきめ細かな視覚的セマンティクスを抽出する。
実世界の応用で広く見られる環境バイアスとクロスコンセプト干渉を克服するために,2つの新しい幾何正規化を導入する。
- 参考スコア（独自算出の注目度）: 38.203535560706165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large vision-language models (LVLMs) have demonstrated strong general multimodal capability and are increasingly deployed in downstream systems. This trend has driven growing interest in LVLM personalization, which aims to enable models to quickly and effectively learn out-of-distribution multimodal concepts to meet user-specific needs. However, many existing methods rely on inference-time training, which reduces efficiency. They also struggle to maintain accuracy in complex multi-image, multi-concept settings. These limitations restrict the broader deployment of LVLM-based systems. Therefore, this paper proposes in-context prompt tuning (ICPT). Specifically, ICPT employs a lightweight projection module capable of operating in complex scenarios to extract fine-grained visual semantics from multiple reference images, seamlessly transforming these features alongside identity-label mappings into continuous prompts. To maximize computational efficiency, this module adaptively determines the prompt length based on the intrinsic visual complexity of each concept. Crucially, to overcome the environmental biases and cross-concept interference prevalent in real-world applications, we introduce two novel geometric regularizations. These constraints refine prompt representations by decoupling key identities from transient environmental states and separating concepts to avoid semantic confusion. Extensive experiments show that ICPT achieves state-of-the-art personalization accuracy across diverse tasks and LVLM backbones.
- Abstract（参考訳）: 大規模視覚言語モデル(LVLM)は、強力な汎用マルチモーダル能力を示し、下流システムにますます展開されている。
この傾向はLVLMパーソナライゼーションへの関心の高まりを招き、モデルがユーザ固有のニーズを満たすために配布外マルチモーダルの概念を迅速かつ効果的に学習できるようにすることを目的としている。
しかし、既存の多くの手法は推論時間トレーニングに依存しており、効率を低下させる。
また、複雑なマルチイメージ、マルチコンセプト設定で精度を維持するのにも苦労する。
これらの制限はLVLMベースのシステムの拡張を制限している。
そこで本研究では,インコンテキスト・プロンプト・チューニング(ICPT)を提案する。
具体的には、ICPTは複雑なシナリオで操作可能な軽量プロジェクションモジュールを使用して、複数の参照画像からきめ細かい視覚的セマンティクスを抽出し、アイデンティティラベルマッピングとともにシームレスに連続的なプロンプトに変換する。
計算効率を最大化するために、このモジュールは各概念の内在的な視覚的複雑さに基づいて、プロンプト長を適応的に決定する。
重要なことは、実世界の応用でよく見られる環境バイアスとクロスコンセプト干渉を克服するために、2つの新しい幾何正規化を導入する。
これらの制約は、キーアイデンティティを過渡的な環境状態から切り離し、意味的混乱を避けるために概念を分離することで、迅速な表現を洗練させる。
ICPTは様々なタスクやLVLMバックボーンにまたがって、最先端のパーソナライズ精度を実現する。
関連論文リスト
- VISion On Request: Enhanced VLLM efficiency with sparse, dynamically selected, vision-language interactions [51.41587958253802]
視覚情報を捨てることなく推論コストを削減するVISOR(VISion On Request)を導入する。
VISORは画像とテキストトークン間の相互作用をスパースすることで効率を向上する。
実験により、VISORは、最先端の結果を一致または超えながら、計算コストを大幅に削減することが示された。
論文 参考訳（メタデータ） (2026-03-24T17:58:17Z) - Perception-Aware Multimodal Spatial Reasoning from Monocular Images [57.42071289037214]
単眼画像からの空間的推論は 自律運転には不可欠です
現在のヴィジュアルランゲージモデル(VLM)は、微粒な幾何学的知覚に苦慮している。
本稿では,VLMを明示的な対象中心の接地能力を持つ知覚認識型マルチモーダル推論フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-07T02:05:12Z) - Stateful Cross-layer Vision Modulation [19.730096071316876]
マルチモーダル大言語モデル(MLLM)は、視覚表現を強化するために多層視覚特徴融合を広く採用している。
既存のアプローチは通常、表現形成プロセス自体に介入することなく、視覚符号化後の静的連結や重み付けアグリゲーションを実行する。
本稿では,これらの制約に対処する多層メモリ変調ビジョンフレームワーク(SCVM)を提案する。
論文 参考訳（メタデータ） (2026-02-28T13:57:19Z) - Magic-MM-Embedding: Towards Visual-Token-Efficient Universal Multimodal Embedding with MLLMs [10.443777669301983]
MLLM(Multimodal Large Language Models)は,マルチモーダル検索において非常に有望であることを示す。
しかし、それらの実用的な応用は、視覚的な入力から大量のトークンを処理することから生じる相当な計算コストによって妨げられることが多い。
汎用マルチモーダル埋め込みにおいて,高効率および最先端性能を実現する一連の新しいモデルであるMagic-MM-Embeddingを提案する。
論文 参考訳（メタデータ） (2026-02-05T04:01:01Z) - From One-to-One to Many-to-Many: Dynamic Cross-Layer Injection for Deep Vision-Language Fusion [91.35078719566472]
VLM(Vision-Language Models)は、粗い非対称接続を使用することで、深刻な視覚的特徴のボトルネックを生み出す。
CLI(Cross-Layer Injection)は,2つのモダリティの間に動的に多対多の橋を架ける,斬新で軽量なフレームワークである。
論文 参考訳（メタデータ） (2026-01-15T18:59:10Z) - Training-free Uncertainty Guidance for Complex Visual Tasks with MLLMs [61.64185573373394]
本稿では,MLLMの本質的不確かさをプロアクティブ誘導信号として用いた学習自由フレームワークを提案する。
応答不確実性によって候補の視覚入力をスコアする統一的なメカニズムを導入し、モデルが最も健全なデータに自律的にフォーカスできるようにする。
本研究は,本質的な不確実性を活用することが,細粒度マルチモーダル性能を高めるための強力で汎用的な戦略であることを実証する。
論文 参考訳（メタデータ） (2025-10-01T09:20:51Z) - LGM-Pose: A Lightweight Global Modeling Network for Real-time Human Pose Estimation [14.20517652381698]
これらの課題に対処するために,シングルブランチ軽量グローバルモデリングネットワーク (LGM-Pose) が提案されている。
このネットワークでは、軽量なMobileViMブロックが、LARM(Lightweight Attentional Representation Module)として提案されている。
論文 参考訳（メタデータ） (2025-06-05T02:29:04Z) - LFTR: Learning-Free Token Reduction for Multimodal Large Language Models [3.368594680297987]
MLLM(Multimodal Large Language Models)用に設計されたLFTR(Learning-free token reduction)手法を提案する。
視覚表現の冗長性に乗じて,MLLMの一般的な推論性能を維持しつつトークンを効果的に削減する。
その結果、LFTRは最大16倍の視覚トークンの削減を実現し、メインストリームの視覚質問応答ベンチマークの性能を維持したり、向上させることができた。
論文 参考訳（メタデータ） (2025-01-29T02:52:32Z) - MaVEn: An Effective Multi-granularity Hybrid Visual Encoding Framework for Multimodal Large Language Model [49.931663904599205]
MaVEnは、マルチモーダル大言語モデル(MLLM)のマルチモーダル推論能力を高めるために設計された革新的なフレームワークである。
MaVEnは複雑なマルチイメージのシナリオにおけるMLLMの理解を著しく向上するとともに,単一イメージのコンテキストにおけるパフォーマンスも向上することを示す。
論文 参考訳（メタデータ） (2024-08-22T11:57:16Z) - MA-FSAR: Multimodal Adaptation of CLIP for Few-Shot Action Recognition [41.78245303513613]
我々は,行動に関連する時間的および意味的表現の観点からCLIP視覚エンコーダを強化するために,Fine-Tuning(PEFT)技術を利用するフレームワークであるMA-FSARを紹介する。
これらのトークンレベルの設計に加えて,ビデオプロトタイプの時間的・意味的特性をさらに強化するプロトタイプレベルのテキストガイド構築モジュールを提案する。
論文 参考訳（メタデータ） (2023-08-03T04:17:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。