論文の概要: Vision-Guided Text Prompt Tuning for Multimodal Sentiment Analysis
- arxiv url: http://arxiv.org/abs/2609.06497v1
- Date: Sun, 06 Sep 2026 09:25:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 05:29:33.38389
- Title: Vision-Guided Text Prompt Tuning for Multimodal Sentiment Analysis
- Title（参考訳）: マルチモーダル感性分析のための視覚誘導型テキストプロンプトチューニング
- Abstract要約: VG-TPT (Vision-Guided Text Prompt Tuning) は、凍結したテキスト表現の可視キャリブレーションとして視覚テキストの感情モデリングを定式化する。
CMU-MOSEIとCMU-MOSIの実験では、VG-TPTはテキストのみのベースラインよりも一貫して改善されている。
- 参考スコア（独自算出の注目度）: 15.965349585231932
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal sentiment analysis requires effective modeling of both verbal semantics and non-verbal affective cues. A central challenge is to calibrate text-centered sentiment understanding with visual facial evidence in a controlled, adaptive, and parameter-efficient manner. Text usually serves as the semantic anchor, whereas visual cues provide complementary evidence for ambiguous or implicit expressions; however, indiscriminate fusion may introduce visual noise and distort textual semantics. Moreover, fully fine-tuning large visual and textual encoders is costly and prone to overfitting on limited and scenario-dependent MSA benchmarks. To address these issues, we propose Vision-Guided Text Prompt Tuning (VG-TPT), which formulates visual-text sentiment modeling as controllable visual calibration of frozen text representations. VG-TPT injects visual affective cues into a frozen BERT encoder through layer-wise adaptive prompts, rather than relying on late-stage feature fusion or full backbone tuning. A co-guided router composes prompts from a trainable prompt bank according to both the evolving text state and the visual guidance feature, enabling sample-specific and layer-specific modulation. Experiments on CMU-MOSEI and CMU-MOSI show that VG-TPT consistently improves over text-only baselines and achieves competitive or superior performance compared with several full-modality methods, while updating only 2.4M trainable parameters. The code is available at https://github.com/ma-tubu/VG-TPT.
- Abstract（参考訳）: マルチモーダル感情分析は、言語意味論と非言語感情的手がかりの両方を効果的にモデル化する必要がある。
中心的な課題は、テキスト中心の感情理解を、制御された適応的でパラメータ効率のよい方法で視覚的な顔の証拠で校正することである。
テキストは通常セマンティックアンカーとして機能するが、視覚的手がかりは曖昧さや暗黙の表現を補完する証拠を提供する。
さらに、大きな視覚的およびテキスト的エンコーダを完全に微調整することで、制限されたシナリオに依存したMSAベンチマークに過度に適合する傾向がある。
これらの問題に対処するために、凍結したテキスト表現の可視的キャリブレーションとして視覚テキスト感情モデリングを定式化するビジョンガイド型テキストプロンプトチューニング(VG-TPT)を提案する。
VG-TPTは、後期のフィーチャーフュージョンやフルバックボーンチューニングに頼るのではなく、階層的に適応的なプロンプトを通じて、凍結したBERTエンコーダに視覚的な触覚を注入する。
共同誘導ルータは、進化するテキスト状態と視覚誘導機能の両方に応じて、トレーニング可能なプロンプトバンクからプロンプトを構成し、サンプル固有および層固有変調を可能にする。
CMU-MOSEI と CMU-MOSI の実験では、VG-TPT はテキストのみのベースラインよりも一貫して改善され、複数のフルモーダリティ手法と比較して、競争力や性能が向上し、トレーニング可能なパラメータは 2.4M に留まった。
コードはhttps://github.com/ma-tubu/VG-TPTで公開されている。
関連論文リスト
- OPUS: A Simple yet Effective Unified Framework for Open-Vocabulary Detection [9.87006529425909]
本稿では,テキスト,インタラクティブ視覚,ジェネリックビジュアル,混合プロンプトをサポートする統一型検出器OPUSについて述べる。
OPUSは最先端のVisual-I性能を実現し、68.1/69.2/54.7 APに到達し、バランスの取れたテキストとVisual-Gの精度を維持した。
論文 参考訳（メタデータ） (2026-08-31T04:57:12Z) - VirPro: Visual-referred Probabilistic Prompt Learning for Weakly-Supervised Monocular 3D Detection [12.835071167163607]
VirProは適応型マルチモーダル事前トレーニングパラダイムであり、様々な弱い教師付き単分子3D検出フレームワークにシームレスに統合することができる。
我々は、さまざまな学習可能なインスタンス条件のプロンプトを生成し、それらをAPB(Adaptive Prompt Bank)に格納する。
論文 参考訳（メタデータ） (2026-03-18T08:23:55Z) - Mostly Text, Smart Visuals: Asymmetric Text-Visual Pruning for Large Vision-Language Models [51.475129418355465]
大規模視覚言語モデルに対する単純で効果的な非対称テキスト・ビジュアル・ウェイト・プルーニング法を提案する。
まず、キャリブレーションプールはすべてのテキストトークンと視覚トークンのサブセットに描画することで適応的に構築される。
論文 参考訳（メタデータ） (2026-03-16T23:23:05Z) - VISTA-Bench: Do Vision-Language Models Really Understand Visualized Text as Well as Pure Text? [51.02924254085878]
VLM(Vision-Language Models)は、テキスト入力と視覚入力のクロスモーダル理解において、優れたパフォーマンスを実現している。
VISTA-Benchは、マルチモーダル認識、推論、および非モーダル理解領域のベンチマークである。
論文 参考訳（メタデータ） (2026-02-04T17:48:55Z) - Constrained Prompt Enhancement for Improving Zero-Shot Generalization of Vision-Language Models [57.357091028792325]
ウェブスケールのデータに基づいて事前訓練された視覚言語モデル(VLM)は、ゼロショットの一般化を約束するが、しばしば意味的ミスアライメントに悩まされる。
視覚・テクストアライメントを改善するために,制約付きプロンプトエンハンスメント(CPE)法を提案する。
提案手法はTGSSG(Topology-Guided Synonymous Semantic Generation)とCADRS(Calegory-Agnostic Discriminative Region Selection)の2つの重要なコンポーネントから構成される。
論文 参考訳（メタデータ） (2025-08-24T15:45:22Z) - Prompt Disentanglement via Language Guidance and Representation Alignment for Domain Generalization [75.88719716002014]
ドメイン一般化 (Domain Generalization, DG) は、目に見えないターゲットドメインに対して効果的に機能する汎用モデルの開発を目指している。
VFM(Pre-trained Visual Foundation Models)の最近の進歩は、ディープラーニングモデルの一般化能力を向上する大きな可能性を示している。
VFMの制御可能で柔軟な言語プロンプトを活用することで,この問題に対処することを提案する。
論文 参考訳（メタデータ） (2025-07-03T03:52:37Z) - ControlThinker: Unveiling Latent Semantics for Controllable Image Generation through Visual Reasoning [76.2503352325492]
ControlThinkerは、"Comprehend-then-generate"パラダイムを採用した、新しいフレームワークである。
制御画像からの潜在セマンティクスは、テキストプロンプトを豊かにするためにマイニングされる。
このリッチなセマンティック理解は、追加の複雑な修正を必要とせずに、画像生成をシームレスに支援する。
論文 参考訳（メタデータ） (2025-06-04T05:56:19Z) - Contextualized Diffusion Models for Text-Guided Image and Video Generation [67.69171154637172]
条件拡散モデルは高忠実度テキスト誘導視覚生成および編集において優れた性能を示した。
本研究では,テキスト条件と視覚的サンプル間の相互作用とアライメントを包含するクロスモーダルコンテキストを組み込むことにより,コンテキスト拡散モデル(ContextDiff)を提案する。
理論的導出を伴うDDPMとDDIMの両方にモデルを一般化し、テキスト・ツー・イメージ生成とテキスト・ツー・ビデオ編集という2つの課題を伴う評価において、モデルの有効性を実証する。
論文 参考訳（メタデータ） (2024-02-26T15:01:16Z) - Unified Vision and Language Prompt Learning [86.1530128487077]
本稿では,テキストプロンプトチューニングと視覚的プロンプトチューニングという,2つの代表的プロンプトチューニング手法に関する体系的研究を行う。
主要な発見は、テキストプロンプトチューニングは、高いクラス内の視覚的ばらつきを持つデータでは失敗する一方で、視覚的プロンプトチューニングはクラス間のばらつきを低く扱えないことである。
両世界から最高のものを組み合わせるために、我々はUnified Prompt Tuning (UPT)と呼ばれる単純なアプローチを提案する。
論文 参考訳（メタデータ） (2022-10-13T17:50:24Z) - Dual Modality Prompt Tuning for Vision-Language Pre-Trained Model [39.722927180264584]
本稿では、テキストと視覚的プロンプトを同時に学習することで、新しいDual-modality Prompt Tuning(DPT)パラダイムを提案する。
最終的な画像特徴をよりターゲットの視覚概念に集中させるため,クラス認識型ビジュアルプロンプトチューニング方式を提案する。
論文 参考訳（メタデータ） (2022-08-17T15:06:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。