論文の概要: Video2Reaction: Mapping Video to Audience Reaction Distribution in the Wild
- arxiv url: http://arxiv.org/abs/2607.06875v1
- Date: Wed, 08 Jul 2026 00:17:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.240943
- Title: Video2Reaction: Mapping Video to Audience Reaction Distribution in the Wild
- Title（参考訳）: Video2Reaction: 野生の聴覚反応分布に映像をマッピングする
- Abstract要約: $textbfVideo2Reaction$は、短い映画セグメントを$textit誘発感情の分布にマッピングするデータセットである。
$textbfVideo2Reaction$は1万本以上のビデオにまたがり、信頼性の高いベンチマークとして機能する。
我々はオープンソースのLLMのみを用いて2段階のマルチエージェントパイプラインを開発し、視覚的人間の検証で86%の正当性を達成した。
- 参考スコア（独自算出の注目度）: 12.752010716495205
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Understanding and forecasting audience reactions to video content are crucial for improving content creation, recommendation systems, and media analysis. To enable audience reaction prediction and other content engagement applications, we introduce $\textbf{Video2Reaction}$, a multimodal dataset that maps short movie segments to a distribution of $\textit{induced emotions}$ of viewers in the wild, as expressed through social media. $\textbf{Video2Reaction}$ spans more than 10,000 videos and serves as a reliable benchmark as well as a training resource for audience reaction prediction. To enable cost-effective continuous annotations as reactions may change over time, we develop a two-stage multi-agent pipeline using only open-source LLMs, achieving 86% correctness under blind human verification despite the inherently noisy and subjective nature of the task. We establish the first benchmark for video-to-reaction-distribution prediction in the wild and show that pretrained foundation video models fail in zero-shot settings, while finetuning transforms them into state-of-the-art predictors capable of modeling both full reaction distributions and dominant responses from video alone. However, the task remains challenging: even the strongest methods achieve only 77% Top-3 F1 in dominant reaction prediction (LLaVA-Next), highlighting a substantial gap in modeling collective audience reaction. \modification{Dataset and code are available at our project page: https://information-fusion-lab-umass.github.io/video2reaction-bench.github.io
- Abstract（参考訳）: 映像コンテンツに対するオーディエンス反応の理解と予測は、コンテンツ作成、レコメンデーションシステム、メディア分析の改善に不可欠である。
観客の反応予測やその他のコンテンツエンゲージメントアプリケーションを実現するために、ソーシャルメディアで表現されているように、短い映画セグメントを$\textit{induced emotions}$の分布にマッピングするマルチモーダルデータセットである$\textbf{Video2Reaction}$を紹介した。
$\textbf{Video2Reaction}$は1万本以上のビデオにまたがり、信頼性の高いベンチマークや、聴衆の反応予測のためのトレーニングリソースとして機能する。
反応が経時的に変化するようなコスト効率のよい連続アノテーションを実現するため、我々はオープンソースのLCMのみを用いて2段階のマルチエージェントパイプラインを開発し、そのタスクの本質的ノイズと主観的特性にもかかわらず、目視による検証では86%の正当性を達成した。
我々は、野生動物におけるビデオ-反応-分布予測のための最初のベンチマークを確立し、事前訓練された基礎的ビデオモデルがゼロショット設定で失敗することを示し、微調整はそれらを、完全な反応分布とビデオからの支配的な応答の両方をモデル化できる最先端の予測子に変換する。
しかし、最強の手法でさえ、支配的な反応予測(LLaVA-Next)において77%のTop-3 F1しか達成していないため、集合的な観客反応のモデル化において大きなギャップが浮かび上がっている。
https://information-fusion-lab-umass.github.io/video2reaction-bench.github.io
関連論文リスト
- Video2Reaction: Training Foundation Video Models to Predict Audience Reaction [12.752010716495205]
Video2Reactionは、短い映画のセグメントを野生の視聴者の感情的な反応にマッピングするデータセットだ。
LoRAで微調整された2つの視覚言語モデル(VLM)をベンチマークする。
我々は,VLMがVideo2Reactionから効果的に学習し,支配的な反応予測に基づく特殊ベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2026-09-01T19:44:23Z) - Unified Video-Action Joint Denoising for Dexterous Action and Data Generation [13.23337683310307]
我々は,デクスタラスハンドのための統合ビデオアクション認知モデルであるDonkを提案する。
Donkは、アクションポリシーとして、将来のビデオと双方向のMANO軌道をサンプリングする。
画像条件がなければ、同じDenoisingアーキテクチャは、テキスト条件のディストリビューションからビデオアクションのロールアウトをサンプリングする。
論文 参考訳（メタデータ） (2026-06-02T16:39:23Z) - From Preferences to Prejudice: The Role of Alignment Tuning in Shaping Social Bias in Video Diffusion Models [69.4332879415364]
本稿では,ビデオ生成における社会的表現を評価するためのフレームワークであるVideoBiasEvalを紹介する。
VideoBiasEvalでは、アクター属性からセマンティックコンテンツをアンタングルするために、イベントベースのプロンプト戦略を採用している。
我々は、人間の嗜好データセットにおけるバイアス、報酬モデルにおける増幅、アライメント調整されたビデオ拡散モデルによる伝播を結合する最初のエンドツーエンド分析を行う。
論文 参考訳（メタデータ） (2025-10-20T07:37:43Z) - Video-LevelGauge: Investigating Contextual Positional Bias in Large Video Language Models [51.67019924750931]
Video-LevelGaugeは、大規模ビデオ言語モデル(LVLM)における位置バイアスを評価するために設計されたベンチマークである。
我々は、標準化されたプローブとカスタマイズされたコンテキスト設定を採用し、コンテキスト長、プローブ位置、コンテキストタイプを柔軟に制御できる。
ベンチマークでは、複数のタイプにまたがる438の動画を手動でキュレートし、117の高品質なマルチチョイスの質問と120のオープンエンドの質問を得た。
論文 参考訳（メタデータ） (2025-08-27T07:58:16Z) - FingER: Content Aware Fine-grained Evaluation with Reasoning for AI-Generated Videos [18.3012265316413]
本稿では,新しいエンティティレベルの推論評価フレームワークである $textbfF$ine-fine $textbfE$ntity-level を提案する。
我々のモデルは、GenAI-Benchが11.8%、MonetBenchが5.5%、トレーニングビデオが3.3kという既存の手法をはるかに上回っている。
論文 参考訳（メタデータ） (2025-04-14T16:07:16Z) - Delving Deep into Engagement Prediction of Short Videos [34.38399476375175]
本研究は,ユーザインタラクションが限定されたビデオのエンゲージメント予測の難しさを深く掘り下げるものである。
Snapchatの90,000の現実世界のショートビデオからなる、実質的なデータセットを紹介します。
本手法は,映像コンテンツから映像のエンゲージメントを純粋に予測できることを示す。
論文 参考訳（メタデータ） (2024-09-30T23:57:07Z) - ViGT: Proposal-free Video Grounding with Learnable Token in Transformer [28.227291816020646]
ビデオグラウンディングタスクは、リッチな言語的記述に基づく未編集ビデオにおいて、クエリされたアクションやイベントを特定することを目的としている。
既存のプロポーザルフリーメソッドは、ビデオとクエリ間の複雑な相互作用に閉じ込められている。
本稿では,変圧器における回帰トークン学習を行う新しい境界回帰パラダイムを提案する。
論文 参考訳（メタデータ） (2023-08-11T08:30:08Z) - Causal Video Summarizer for Video Exploration [74.27487067877047]
Causal Video Summarizer (CVS) はビデオとクエリ間の対話的な情報をキャプチャするために提案されている。
既存のマルチモーダル映像要約データセットの評価から,提案手法が有効であることを示す実験結果が得られた。
論文 参考訳（メタデータ） (2023-07-04T22:52:16Z) - Transform-Equivariant Consistency Learning for Temporal Sentence
Grounding [66.10949751429781]
ビデオ毎により差別的な表現を学習するために,新しい同変一貫性規則学習フレームワークを導入する。
私たちのモチベーションは、クエリ誘導アクティビティの時間的境界を一貫して予測することにある。
特に,ビデオの完全性と滑らか性を高めるために,自己教師付き一貫性損失モジュールを考案した。
論文 参考訳（メタデータ） (2023-05-06T19:29:28Z) - Modality-Balanced Embedding for Video Retrieval [21.81705847039759]
我々はビデオエンコーダがほぼ完全にテキストマッチングに依存しているモダリティバイアス現象を同定する。
MBVR(Modality Balanced Video Retrievalの略)とMBVR(Modality Balanced Video Retrievalの略)の2つの主要コンポーネントを提案する。
本手法は,モダリティバイアス問題の解法において有効かつ効果的であることを示す。
論文 参考訳（メタデータ） (2022-04-18T06:29:46Z) - Probabilistic Representations for Video Contrastive Learning [64.47354178088784]
本稿では,確率的表現と対比学習を橋渡しする自己教師型表現学習法を提案する。
ビデオ配信全体から埋め込みをサンプリングすることにより、注意深いサンプリング戦略や変換を回避し、クリップの拡張ビューを生成することができる。
論文 参考訳（メタデータ） (2022-04-08T09:09:30Z) - Towards Debiasing Temporal Sentence Grounding in Video [59.42702544312366]
ビデオ(TSGV)タスクの時間文グラウンドングは、未編集のビデオから時間モーメントを見つけ、言語クエリにマッチさせることである。
モーメントアノテーションのバイアスを考慮せずに、多くのモデルはモーメントアノテーションの統計的規則性を捉える傾向がある。
本稿では,データデバイアスとモデルデバイアスという2つのデバイアス戦略を提案する。
論文 参考訳（メタデータ） (2021-11-08T08:18:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。