論文の概要: Evaluating Multimodal Narrative Understanding of Popular Hollywood Films
- arxiv url: http://arxiv.org/abs/2608.21430v1
- Date: Mon, 17 Aug 2026 04:04:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 18:24:36.903009
- Title: Evaluating Multimodal Narrative Understanding of Popular Hollywood Films
- Title(参考訳): ハリウッド人気映画のマルチモーダルナラティブ理解の評価
- Abstract要約: マルチモーダル言語モデルは、フィルムの大規模計算分析を可能にすることをますます約束している。
私たちは、ボックスオフィスの人気と、おそらくパブリックドメインのステータスという、2つの基準で定義されたハリウッド映画の新しいコレクションを構築します。
多くの視覚言語モデルがこの課題に苦しむのに対し、オーディオ視覚モデルは最大精度61.1%に達し、人間レベルの性能を大きく下回っている。
- 参考スコア(独自算出の注目度): 7.103108369478014
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Multimodal language models increasingly show promise for enabling the large-scale computational analysis of film, opening up new avenues for learning about film history and the evolution of narrative techniques. But the creation of stable benchmarks built around Hollywood films is complicated by copyright protections. In this work, we address these concerns directly, by building a new collection of Hollywood films defined by two criteria: box office popularity (where we publish the first large-scale, open collection of weekly box office earnings reported by Variety magazine from 1922-1979); and likely public domain status (by researching copyright registrations and renewals in the US Catalog of Copyright Entries). We build a new multimodal MCQ benchmark on top of this collection that focuses on narrative elements that directly evaluate the abilities of models to inform meaningful research on film narrative; we find that many vision-language models struggle on this task (with many performing at near-chance levels of accuracy), while audio-visual models (including those that use audio in captioning scenes) reach a maximum accuracy of 61.1%, well below human-level performance.
- Abstract(参考訳): マルチモーダル言語モデルは、映画の歴史と物語技術の進化を学ぶための新たな道を開くことによって、フィルムの大規模計算分析を可能にするという約束をますます示している。
しかし、ハリウッド映画を中心に作られた安定したベンチマークを作成するのは、著作権保護によって複雑です。
本研究は、ボックスオフィスの人気(1922-1979年にVariety誌が報告した週刊興行収入の大規模かつオープンなコレクション)と、おそらくはパブリックドメインの状態(著作権登録と米国著作権カタログの更新の研究)という2つの基準で定義されたハリウッド映画の新たなコレクションを構築することで、これらの懸念に直接対処する。
映像の物語について有意義な研究を行うためのモデルの能力を直接評価する物語要素に焦点をあてた,新たなマルチモーダルMCQベンチマークを構築した。
関連論文リスト
- FilmBench: A Film-Grade Benchmark for Cinematic Video Generation [31.49880258407637]
フィルムベンチ (FilmBench) は、映画アカデミーの伝統のプロ向けシネマティック言語に基づくテキスト・トゥ・ビデオ (T2V) とレファレンス・トゥ・ビデオ (R2V) のベンチマークである。
プロンプトは20の映画ジャンルにまたがる受賞作品のクリップからリバースエンジニアリングされ、プロの監督が選ぶ。
評価は、3軸12成分35(T2V)+3(R2Vのみ)の3段階のシネマティック分類に従う。
論文 参考訳(メタデータ) (2026-07-27T10:20:31Z) - Camera Artist: A Multi-Agent Framework for Cinematic Language Storytelling Video Generation [4.910318162000904]
本稿では,現実の映画制作ワークフローをモデル化し,映像言語で物語ビデオを生成するマルチエージェントフレームワークであるCamera Artistを提案する。
カメラ・アーティストは、確立されたエージェント・パイプラインの上に構築され、専用のシネマトグラフィー・ショット・エージェント(Cinematography Shot Agent)を導入している。
論文 参考訳(メタデータ) (2026-04-10T10:27:52Z) - CutClaw: Agentic Hours-Long Video Editing via Music Synchronization [96.62825277039117]
CutClawは、数時間の生の映像を意味のある短いビデオに編集するために設計された、自律的なマルチエージェントフレームワークだ。
同期音楽の動画を制作し、指示と視覚的に魅力的な外観が続く。
われわれは、CutClawが高品質なリズムアライメントビデオを生成する際に、最先端のベースラインを大幅に上回っていることを示すための詳細な実験を行っている。
論文 参考訳(メタデータ) (2026-03-31T12:25:53Z) - ShotBench: Expert-Level Cinematic Understanding in Vision-Language Models [87.43784424444128]
映画言語理解に特化したベンチマークであるShotBenchを紹介する。
画像とビデオクリップから3.5k以上の専門家によるQAペアを収録し、200本以上の称賛された(オスカー賞にノミネートされた)映画から細心の注意を払ってキュレートしている。
ShotBench上でのビジョン・ランゲージ・モデル24件の評価では,特に細粒度の視覚的手がかりや複雑な空間的推論に苦慮している。
論文 参考訳(メタデータ) (2025-06-26T15:09:21Z) - MovieDreamer: Hierarchical Generation for Coherent Long Visual Sequence [62.72540590546812]
MovieDreamerは、自己回帰モデルの強みと拡散ベースのレンダリングを統合する、新しい階層的なフレームワークである。
様々な映画ジャンルにまたがって実験を行い、そのアプローチが優れた視覚的・物語的品質を実現することを示す。
論文 参考訳(メタデータ) (2024-07-23T17:17:05Z) - Movie101v2: Improved Movie Narration Benchmark [53.54176725112229]
映像の自動ナレーションは、視覚障害者を支援するために、映像に合わせたプロット記述を生成することを目的としている。
映画ナレーションに特化して設計されたデータ品質を向上した大規模バイリンガルデータセットであるMovie101v2を紹介する。
新しいベンチマークに基づいて,GPT-4Vを含む多数の視覚言語モデルをベースライン化し,ナレーション生成における課題の詳細な分析を行う。
論文 参考訳(メタデータ) (2024-04-20T13:15:27Z) - MovieFactory: Automatic Movie Creation from Text using Large Generative
Models for Language and Images [92.13079696503803]
映画制作のためのフレームワークであるMovieFactory(3072$times$1280)、映画スタイル(マルチシーン)、マルチモーダル(サウンド)映画について紹介する。
本手法は,簡単なテキスト入力を用いて,スムーズなトランジションでキャプティベーション映画を制作することを可能にする。
論文 参考訳(メタデータ) (2023-06-12T17:31:23Z) - Screenplay Quality Assessment: Can We Predict Who Gets Nominated? [53.9153892362629]
本稿では,言語的手がかりに基づく脚本の品質評価手法を提案する。
産業の意見やナラトロジーに基づいて、ドメイン固有の特徴を共通分類技法に抽出し、統合する。
論文 参考訳(メタデータ) (2020-05-13T02:39:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。