論文の概要: Video2Reaction: Training Foundation Video Models to Predict Audience Reaction
- arxiv url: http://arxiv.org/abs/2609.01816v1
- Date: Tue, 01 Sep 2026 19:44:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:17.966969
- Title: Video2Reaction: Training Foundation Video Models to Predict Audience Reaction
- Title（参考訳）: Video2Reaction: 観客の反応を予測するための基礎的ビデオモデル
- Abstract要約: Video2Reactionは、短い映画のセグメントを野生の視聴者の感情的な反応にマッピングするデータセットだ。
LoRAで微調整された2つの視覚言語モデル(VLM)をベンチマークする。
我々は,VLMがVideo2Reactionから効果的に学習し,支配的な反応予測に基づく特殊ベースラインよりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 12.752010716495205
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We introduce Video2Reaction, a multimodal dataset that maps short movie segments to the induced emotional reactions of viewers in the wild, as expressed through social media comments. Video2Reaction captures the natural diversity of emotional responses by aggregating reactions from online comments at scale, modeling labels as distributions over categorical emotions to better reflect the subjective and ambiguous nature of emotional perception. We benchmark two vision-language models (VLMs) finetuned with LoRA, showing that VLMs learn effectively from Video2Reaction and outperform specialized baselines on dominant reaction prediction. We further demonstrate that VLMs pre-finetuned on Video2Reaction transfer effectively to VCE, another induced emotion dataset with a different taxonomy and video domain. Notably, LLaVA-NeXT-Video-7B pre-finetuned on Video2Reaction and adapted on only 1% of VCE training data achieves a top-3 accuracy of 0.682, on par with the best reported VCE performance trained on the full dataset. The dataset is available at https://huggingface.co/datasets/infofusionlab/Video2Reaction
- Abstract（参考訳）: ソーシャルメディアのコメントで表現されているように、短い映画セグメントを野生の視聴者の感情的な反応にマッピングするマルチモーダルデータセットであるVideo2Reactionを紹介した。
Video2Reactionは、オンラインコメントからの反応を大規模に集約することで、感情反応の自然な多様性を捉え、ラベルをカテゴリー的感情よりも分布としてモデル化し、感情知覚の主観的であいまいな性質をよりよく反映する。
LoRAで微調整された2つの視覚言語モデル (VLM) をベンチマークし、VLMがVideo2Reactionから効果的に学習し、支配的な反応予測に基づく特殊ベースラインよりも優れていることを示す。
さらに、VLMがVCEに効果的に転送できることを実証した。
特に、VCEトレーニングデータの1%に適応したLLaVA-NeXT-Video-7Bは、フルデータセットでトレーニングされた最高のVCEパフォーマンスと同等の、トップ3の精度で0.682を達成する。
データセットはhttps://huggingface.co/datasets/infofusionlab/Video2Reactionで入手可能だ。
関連論文リスト
- Benchmarking Dynamic Affective Reasoning: A Viewer-Centric Video Emotion Dataset [51.92925649424503]
我々は、ビデオイベントに対する遷移と因果推論に影響を及ぼす視聴者中心の初めての大規模ベンチマークであるDynamic Affective Reasoningを紹介する。
Darには15,087の動画と36,908の感情セグメントがあり、27の感情カテゴリがアノテートされている。
Dar-R1は、感情的局所化と感情的推論の両方の観点から、動的感情的推論のための新しい最先端技術を設定する。
論文 参考訳（メタデータ） (2026-07-11T09:58:29Z) - Video2Reaction: Mapping Video to Audience Reaction Distribution in the Wild [12.752010716495205]
$textbfVideo2Reaction$は、短い映画セグメントを$textit誘発感情の分布にマッピングするデータセットである。
$textbfVideo2Reaction$は1万本以上のビデオにまたがり、信頼性の高いベンチマークとして機能する。
我々はオープンソースのLLMのみを用いて2段階のマルチエージェントパイプラインを開発し、視覚的人間の検証で86%の正当性を達成した。
論文 参考訳（メタデータ） (2026-07-08T00:17:20Z) - FACE-net: Factual Calibration and Emotion Augmentation for Retrieval-enhanced Emotional Video Captioning [81.33341786837974]
Emotional Video Captioning (EVC) は、ビデオで表現される本質的な感情で事実を記述することを目的とした、新たなタスクである。
FActual and Emotion Augmentation (FACE-net) を用いた検索強化フレームワークを提案する。
FACE-netは、事実と感情のセマンティクスを協調的にマイニングし、生成のための適応的で正確なガイダンスを提供する。
論文 参考訳（メタデータ） (2026-03-18T07:53:15Z) - Saliency-guided Emotion Modeling: Predicting Viewer Reactions from Video Stimuli [0.0]
本稿では,2つの重要な特徴を抽出し,感情予測のための新しい唾液量に基づくアプローチを提案する。
HD2SサリエンシモデルとOpenFace顔動作単位分析を用いて,映像のサリエンシと視聴者の感情の関係について検討した。
論文 参考訳（メタデータ） (2025-05-25T14:52:36Z) - SS-VAERR: Self-Supervised Apparent Emotional Reaction Recognition from
Video [61.21388780334379]
この研究は、自己監督的な方法で行われるビデオのみの入力からの明らかな感情的反応の認識に焦点を当てる。
ネットワークは、まず異なる自己教師付きプレテキストタスクで事前訓練され、その後、下流のターゲットタスクで微調整される。
論文 参考訳（メタデータ） (2022-10-20T15:21:51Z) - How Would The Viewer Feel? Estimating Wellbeing From Video Scenarios [73.24092762346095]
情緒応答と主観的幸福感に注釈を付けた6万本以上のビデオを備えた大規模データセットを2つ導入した。
Video Cognitive Empathyデータセットには、微粒な感情応答の分布のためのアノテーションが含まれており、モデルが感情状態の詳細な理解を得ることができる。
Video to Valenceデータセットには、ビデオ間の相対的な快適性のアノテーションが含まれている。
論文 参考訳（メタデータ） (2022-10-18T17:58:25Z) - Affect2MM: Affective Analysis of Multimedia Content Using Emotion
Causality [84.69595956853908]
本稿では,マルチメディアコンテンツを対象とした時系列感情予測学習手法であるAffect2MMを提案する。
私たちの目標は、現実の人間中心の状況や行動でキャラクターが描く様々な感情を自動的に捉えることです。
論文 参考訳（メタデータ） (2021-03-11T09:07:25Z) - Enhancing Unsupervised Video Representation Learning by Decoupling the
Scene and the Motion [86.56202610716504]
アクションカテゴリは、アクションが発生するシーンと非常に関連しているため、モデルが、シーン情報のみを符号化したソリューションに分解する傾向がある。
本稿では,シーンと動き(DSM)を2つの簡単な操作で分離し,動き情報に対するモデル注意がより高いようにすることを提案する。
論文 参考訳（メタデータ） (2020-09-12T09:54:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。