論文の概要: PersonaShot: Benchmarking Person-Centric Narrative Continuity in Multi-Shot Video Generation
- arxiv url: http://arxiv.org/abs/2608.16717v1
- Date: Mon, 17 Aug 2026 15:34:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.781522
- Title: PersonaShot: Benchmarking Person-Centric Narrative Continuity in Multi-Shot Video Generation
- Title（参考訳）: ペルソナショット:マルチショットビデオ生成における個人中心的物語継続性のベンチマーク
- Abstract要約: PersonaShotは、マルチショットビデオ生成における物語の連続性に関する最初の人中心のベンチマークである。
約1,000のマルチショットセグメントと16のメトリクスがあり、物理的連続性、感情力学、映画文法にまたがっている。
- 参考スコア（独自算出の注目度）: 118.49150310327475
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video generation is rapidly evolving from single-shot clips to multi-shot narratives, where the human character serves as the core narrative anchor. However, existing benchmarks mainly assess character appearance or individual-shot quality, without measuring whether physical and emotional states remain coherent across cuts. They also rarely provide criterion-specific evaluation methods, although physical continuity, facial dynamics, and cinematic relations require different visual, temporal, and relational evidence. To address these limitations, we introduce PersonaShot, the first person-centric benchmark for narrative continuity in multi-shot video generation. PersonaShot contains approximately 1,000 multi-shot segments and 16 metrics spanning physical continuity, affective dynamics, and cinematic grammar. \textbf{\textit{1)} Narrative Continuity Benchmark:} We evaluate character coherence across three temporal levels: within-shot states, cross-shot transitions, and sequence-level trajectories. \textbf{\textit{2)} Human-Aligned Specialist Evaluators:} We distill reasoning from a large multimodal teacher into lightweight criterion-specific evaluators, each grounded in the visual, temporal, or relational evidence required by its metric, and align them with expert human judgments. \textbf{\textit{3)} Systematic Evaluation and Insights:} Our evaluation reveals distinct capability profiles across state-of-the-art models and a clear gap between perceptual quality and cross-shot narrative continuity. Even visually compelling videos frequently exhibit physical-state resets, abrupt affective shifts, and broken cinematic relations across shots. Human studies further demonstrate strong agreement between our evaluators and expert judgments.
- Abstract（参考訳）: ビデオ生成は、シングルショットのクリップから、人間のキャラクターが中心となる物語アンカーとして機能するマルチショットの物語へと急速に進化している。
しかし、既存のベンチマークでは、カット全体で物理的状態と感情的状態が一致しているかどうかを計測することなく、文字の外観や個々のショットの品質を主に評価している。
また、物理的連続性、顔のダイナミクス、映画関係は視覚的、時間的、リレーショナルな証拠を必要とするが、クレーター固有の評価方法もまれである。
このような制約に対処するため,マルチショットビデオ生成における物語継続性に関する最初の個人中心のベンチマークであるPersonaShotを紹介する。
ペルソナショットには約1,000のマルチショットセグメントと16のメトリクスがあり、物理的連続性、感情力学、映画文法にまたがっている。
in-shot state, cross-shot transitions, and sequence-level trajectories。
図書bf{\textit{2} Human-Aligned Specialist Evaluators:} 大規模なマルチモーダル教師から軽量な基準固有の評価者へ推論を蒸留し、それぞれがその計量によって要求される視覚的、時間的、あるいは関係的な証拠に基礎を置いて、専門家の人間の判断と整合させる。
システム評価とインサイト:} 我々の評価は、最先端のモデルにまたがる異なる能力プロファイルと、知覚的品質とクロスショットな物語の連続性の間に明確なギャップを明らかにする。
視覚的に説得力のあるビデオでさえ、しばしば物理的状態のリセット、突然の情緒的なシフト、そしてショット間での撮影上の関係を壊す。
人間の研究はさらに、評価者と専門家の判断との間に強い一致を示す。
関連論文リスト
- Sidewalk Moments: Are Richer Representations Always More Human-Aligned? Evidence from City-Walk Videos [4.7125066717595825]
よりリッチな視覚表現が都市エンゲージメントの人間対応度を高めるかどうかを検討する。
われわれは、YouTubeから61人の1対1の都市ウォークビデオを使用し、ビデオ機能、時間平均画像(TAI)、オーディオ埋め込み、テキストベースのセマンティック記述の4つのモードでそれらを表現している。
論文 参考訳（メタデータ） (2026-07-23T03:54:34Z) - NARRA-Gym for Evaluating Interactive Narrative Agents [69.49891044929372]
NARRA-Gymは,まばらな感情的シードを完全なインタラクティブな物語のエピソードに変換する評価環境である。
我々は,8つのベンチマークペルソナに対して制御されたLLM-as-judgeスイープと,参加者がカスタマイズされたモデル出力を評価できる人的評価を用いて,9つのフロンティアLLMを評価する。
論文 参考訳（メタデータ） (2026-05-08T21:36:23Z) - HumanVideo-MME: Benchmarking MLLMs for Human-Centric Video Understanding [120.84817886550765]
MLLM(Multimodal Large Language Models)は、画像とビデオの両方を含む視覚的理解タスクにおいて、大きな進歩を見せている。
既存の人間中心のベンチマークは、主にビデオ生成の品質と行動認識を強調し、人間中心のシナリオに必要な知覚と認知の能力を見落としている。
我々は,人間中心のビデオ理解におけるMLLMのより総合的な評価を提供するために,厳格にキュレートされたベンチマークを提案する。
論文 参考訳（メタデータ） (2025-07-07T11:52:24Z) - Deep Temporal Reasoning in Video Language Models: A Cross-Linguistic Evaluation of Action Duration and Completion through Perfect Times [0.0]
時間的推論に基づいてビデオ言語モデル(VLM)を評価するために設計された,4次的(英語,イタリア語,ロシア語,日本語)な質問応答ベンチマークである textbfPerfect Times データセットを紹介した。
実験結果から、現状のモデルは、テキストベースのタスクで成功したにも拘わらず、ビデオに根ざした時間的・因果的推論の反映に苦慮していることが明らかとなった。
論文 参考訳（メタデータ） (2025-06-01T09:45:41Z) - ViStoryBench: Comprehensive Benchmark Suite for Story Visualization [23.274981415638837]
ViStoryBenchは、さまざまな物語構造、視覚スタイル、キャラクター設定にわたるストーリービジュアライゼーションモデルを評価するために設計された包括的なベンチマークである。
ベンチマークでは、文学、映画、民俗学にまたがるキュレートされたストーリーから派生した、豊富な注釈付きマルチショットスクリプトが特徴である。
徹底的な評価を可能にするために、ViStoryBenchは、文字の一貫性、スタイルの類似性、迅速な順守、美的品質、生成アーティファクトを評価する一連の自動メトリクスを導入した。
論文 参考訳（メタデータ） (2025-05-30T17:58:21Z) - VideoGen-of-Thought: Step-by-step generating multi-shot video with minimal manual intervention [70.61101071902596]
現在のビデオ生成モデルは短いクリップで優れているが、解離した視覚力学と破折したストーリーラインのため、凝集性のある複数ショットの物語を生成できない。
一つの文から複数ショットのビデオ合成を自動化する,ステップバイステップのフレームワークであるVideoGen-of-Thought (VGoT)を紹介した。
VGoTは、ショット内の顔の一貫性が20.4%、スタイルの一貫性が17.4%向上するマルチショットビデオを生成する。
論文 参考訳（メタデータ） (2025-03-19T11:59:14Z) - VideoGen-of-Thought: Step-by-step generating multi-shot video with minimal manual intervention [76.3175166538482]
VideoGen-of-Thought(VGoT)は、単一の文から複数ショットのビデオ合成を自動化するステップバイステップのフレームワークである。
VGoTは、ナラティブな断片化、視覚的不整合、トランジションアーティファクトの3つの課題に対処する。
トレーニング不要のパイプラインで組み合わせられたVGoTは、ショット内面の一貫性が20.4%、スタイルの一貫性が17.4%向上した。
論文 参考訳（メタデータ） (2024-12-03T08:33:50Z) - TOMATO: Assessing Visual Temporal Reasoning Capabilities in Multimodal Foundation Models [55.48403691519395]
トマト(Tomato)は、ビデオ理解におけるMFMの時間的推論能力を厳格に評価するための新しいベンチマークである。
TOMATOは、6つのタスクにまたがる1,484件の注意深いキュレーションと人間による注釈付き質問で構成されている。
総合評価の結果, 人体モデルの性能差は57.3%であり, 最良性能モデルでは57.3%であった。
論文 参考訳（メタデータ） (2024-10-30T17:50:23Z) - HENASY: Learning to Assemble Scene-Entities for Egocentric Video-Language Model [9.762722976833581]
現在のモデルは、ビデオと言語間のインスタンスレベルのアライメントに大きく依存している。
我々は、人間の知覚からインスピレーションを得て、エゴビデオ表現のための構成的アプローチを探求する。
論文 参考訳（メタデータ） (2024-06-01T05:41:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。