論文の概要: GRACE: Boosting Video MLLMs with Grounded Action-Centric Evidence for Viewer Sentiment Prediction

• arxiv url: http://arxiv.org/abs/2606.16198v1
• Date: Mon, 15 Jun 2026 04:12:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.077246
• Title: GRACE: Boosting Video MLLMs with Grounded Action-Centric Evidence for Viewer Sentiment Prediction
• Title（参考訳）: GRACE:視聴者の感性予測のための接地行動中心エビデンスによるビデオMLLMの強化
• Authors: Ruoxuan Yang, Tieyuan Chen, Xiaofeng Huang, Haibing Yin, Jun Wang, Xiping Chen, Jun Yin, Xuesong Gao, Weiyao Lin,
• Abstract要約: 本稿では,ビデオMLLMの手がかり抽出と理解を強化する行動中心のエビデンス強化フレームワークを提案する。 本手法は,アクション中心のビデオ記述から,時間順に順序づけられた主観的主観的三脚と補助的な可視的テキスト的手がかりを抽出する。 Pittsデータセットの実験では、Qwen2.5-VLとQwen3-VLのベースラインに対して一貫した改善が見られた。
• 参考スコア（独自算出の注目度）: 24.816669216202246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Viewer sentiment prediction in video advertisements aims to infer the latent affective response evoked in the audience. To bridge the gap between what is shown and what is felt, models must deduce hidden viewer emotions from explicit visual narratives, concrete character-object interactions, and visible textual cues. However, standard Multimodal Large Language Models (MLLMs) typically rely on holistic frame representations, which leave these fine-grained, affect-relevant events implicit and complicate precise emotional reasoning. To address this, we propose a grounded action-centric evidence augmentation framework that enhances video MLLMs' clue extraction and comprehension by introducing explicit event structure and localized visual evidence. Our method extracts temporally ordered subject-verb-object (SVO) triplets and auxiliary visible textual cues from action-centric video descriptions, grounds subject and object entities as visual entity crops, and then enables the MLLM to perform clue-enhanced emotional reasoning based on these extracted structured clues. In this way, action triplets specify "what happens", while grounded visual entity crops anchor "who or what participates in each event" to concrete visual evidence. Experiments on the Pitts dataset show consistent improvements over Qwen2.5-VL and Qwen3-VL baselines. Ablation studies, cross-dataset evaluation on AdsQA, and transfer experiments on an emotion-focused TVQA subset further support the effectiveness and generalization of our approach.
• Abstract（参考訳）: 映像広告における視聴者の感情予測は、視聴者に誘発される潜在感情反応を推測することを目的としている。 示されるものと感じるものの間のギャップを埋めるために、モデルは明示的な視覚的物語、具体的性格とオブジェクトの相互作用、そして可視的なテキストの手がかりから隠れた視聴者の感情を推論する必要がある。 しかし、標準のマルチモーダル大言語モデル(MLLM)は一般的に全体論的なフレーム表現に依存しており、これらの微粒で感情に関連のある事象を暗黙的に残し、正確な感情的推論を複雑にしている。 そこで本稿では,ビデオMLLMの手がかり抽出と理解を,明示的なイベント構造と局所的な視覚的エビデンスを導入して強化する,アクション中心のエビデンス強化フレームワークを提案する。 提案手法は,アクション中心のビデオ記述,グラウンド,オブジェクトの実体を視覚的実体作物として,時間的に順序付けられた主観的主観的対象(SVO)三脚と補助的な可視的テキスト的手がかりを抽出し,この抽出された構造的手がかりに基づいて,MLLMが手がかりを付加した感情的推論を行うことを可能にする。 このように、アクション三重項は「何が起こるか」を規定する一方、接地された視覚的実体の収穫物は「誰が、どのイベントに参加するか」を具体的な視覚的証拠に固定する。 Pittsデータセットの実験では、Qwen2.5-VLとQwen3-VLのベースラインに対して一貫した改善が見られた。 アブレーション研究,AdsQAのクロスデータセット評価,感情に焦点を当てたTVQAサブセットでの転送実験は,我々のアプローチの有効性と一般化をさらに支援する。

関連論文リスト

• ImplicitQA: Going beyond frames towards Implicit Video Reasoning [39.63171940350552]
  ImplicitQAは、人間のような暗黙の推論でビデオQAモデルをテストするために設計された新しいベンチマークである。 ImplicitQAは、1Kの高品質なクリエイティビティビデオクリップから引き出された1Kの微妙な注釈付きQAペアからなる。
  論文  参考訳（メタデータ） (2025-06-26T19:53:54Z)
• SPECTRUM: Semantic Processing and Emotion-informed video-Captioning Through Retrieval and Understanding Modalities [0.7510165488300369]
  本稿では,検索・理解モダリティ(SPECTRUM)フレームワークを用いたセマンティック・プロセッシングと感情インフォームド・ビデオキャプションを提案する。 SPECTRUMは、VTAI(Visual Text Attribute Investigation)を用いてマルチモーダルなセマンティクスと感情的なテーマを特定し、記述的キャプションの向きを決定する。 ビデオ・トゥ・テキスト検索機能とビデオコンテンツの多面的特性を利用して、候補キャプションの感情的確率を推定する。
  論文  参考訳（メタデータ） (2024-11-04T10:51:47Z)
• End-to-end Open-vocabulary Video Visual Relationship Detection using Multi-modal Prompting [68.37943632270505]
  Open-vocabulary video visual relationship detectionは、ビデオの視覚的関係の検出をカテゴリを超えて拡張することを目的としている。 既存の方法は、通常、閉じたデータセットで訓練された軌跡検出器を使用して物体の軌跡を検出する。 我々はCLIPの豊富な意味的知識を活用して新しい関係を発見するオープン語彙関係を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:25:01Z)
• HENASY: Learning to Assemble Scene-Entities for Egocentric Video-Language Model [9.762722976833581]
  現在のモデルは、ビデオと言語間のインスタンスレベルのアライメントに大きく依存している。 我々は、人間の知覚からインスピレーションを得て、エゴビデオ表現のための構成的アプローチを探求する。
  論文  参考訳（メタデータ） (2024-06-01T05:41:12Z)
• VLLMs Provide Better Context for Emotion Understanding Through Common Sense Reasoning [66.23296689828152]
  我々は、視覚・言語モデルの機能を活用し、文脈内感情分類を強化する。 まず、VLLMに対して、視覚的文脈に関連して、被験者の明らかな感情を自然言語で記述するように促す。 第二に、記述は視覚入力とともに、トランスフォーマーベースのアーキテクチャのトレーニングに使用される。
  論文  参考訳（メタデータ） (2024-04-10T15:09:15Z)
• Reasoning over the Behaviour of Objects in Video-Clips for Adverb-Type Recognition [54.938128496934695]
  本稿では,ビデオクリップから抽出したオブジェクトの振る舞いを理由として,クリップの対応する副詞型を認識するための新しいフレームワークを提案する。 具体的には、生のビデオクリップから人間の解釈可能な物体の挙動を抽出する新しいパイプラインを提案する。 生のビデオクリップから抽出したオブジェクト-振る舞い-ファクトのデータセットを2つリリースする。
  論文  参考訳（メタデータ） (2023-07-09T09:04:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。