論文の概要: VibeVideoBench:Evaluating Multimodal Agents on Code-Driven Video Generation

• arxiv url: http://arxiv.org/abs/2610.35864v1
• Date: Mon, 26 Oct 2026 17:59:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.140703
• Title: VibeVideoBench:Evaluating Multimodal Agents on Code-Driven Video Generation
• Title（参考訳）: VibeVideoBench:コード駆動ビデオ生成におけるマルチモーダルエージェントの評価
• Abstract要約: VibeVideoBenchは、コード駆動のビデオ生成エージェントを評価するためのベンチマークである。 英語と中国語の239の自己完結タスクは12のカテゴリにまたがっている。 評価は階層的で証拠に基づく。
• 参考スコア（独自算出の注目度）: 54.06324099927377
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion video models produce striking clips, but they cannot reliably render an exact formula, a correct chart, a ruleconsistent game or narration synchronized to on-screen events. A different route is emerging: multimodal agents that write code to render every frame and synthesize every sound. We introduce VibeVideoBench, a benchmark for evaluating agents on code-driven video generation. Its 239 self-contained tasks in English and Chinese span 12 categories, from data stories and music-driven pieces to classroom lessons and paper explainers; each asks an agent, running in its native harness inside a sandbox, to deliver a finished MP4 with sound within one hour. Evaluation is hierarchical and evidence-based: program checks of the delivery spec, about 13k task-specific rubric checks traced to the requirements they enforce, and five quality dimensions anchored per task, judged by three VLM judge panels and validated with blind human preferences. Across nine frontier agent systems and 2,151 scored rollouts, the benchmark is far from solved: GPT-6 Astra and Claude Opus 5.5 lead clearly, yet even the best system fails a core requirement on about a quarter of tasks. Whether a video arrives at all matters as much as its quality, and three quarters of the lost videos are final renders started too late, run too slowly or never started. The judges agree with each other and with human preferences on system rankings, but only moderately on individual videos.
• Abstract（参考訳）: 拡散ビデオモデルは印象的なクリップを生成するが、正確な公式、正しいチャート、規則一貫性のあるゲーム、あるいは画面上のイベントに同期したナレーションを確実にレンダリングすることはできない。 すべてのフレームをレンダリングし、すべてのサウンドを合成するコードを書くマルチモーダルエージェント。 コード駆動ビデオ生成におけるエージェント評価のためのベンチマークであるVibeVideoBenchを紹介する。 英語と中国語の239の自己完結型タスクは、データストーリーや音楽駆動の曲、教室のレッスンやペーパーの説明など、12のカテゴリにまたがっている。 評価は階層的でエビデンスに基づくもので、デリバリ仕様のプログラムチェック、実施する要件に遡るタスク固有のルーリックチェック約13k、タスク毎に5つの品質ディメンションが固定され、3つのVLM審査パネルで判断され、盲目の人間の好みで検証される。 GPT-6 Astra と Claude Opus 5.5 は明らかにリードしているが、最高のシステムでさえ約4分の1のタスクでコア要件を満たさない。 動画の質がすべてで、失ったビデオの4分の3は最終レンダリングが遅すぎるか、遅すぎるか、決して開始されないかのどちらかだ。 審査員は互いに同意し合い、システムランキングは人間に好まれるが、個々のビデオでは適度にしか表示されない。

関連論文リスト

• Timeline-Bench: Evaluating Agents on Realistic Video-Editing Tasks, from Raw Footage to Final Cut [0.07646713951724012]
  Timeline-Benchは56の実際のビデオ編集タスクのベンチマークである。 各タスクは、簡単なソースアセット、コンテナ、一連のテストを提供する。 テストはデリバリフォーマット、コンテンツ、およびブリーフの明示的な要件をチェックします。
  論文  参考訳（メタデータ） (2026-09-28T13:28:17Z)
• DramaChain Bench: An End-to-End Benchmark for Short-Drama Generation [20.53004165750949]
  DramaChain Benchは、完全なプロダクションチェーンのすべてのステージを評価する最初のショートドラマベンチマークである。 1次元システムDramaChain Dimensionsを共有する3つの社内システム上に構築されている。
  論文  参考訳（メタデータ） (2026-09-01T03:23:45Z)
• FilmBench: A Film-Grade Benchmark for Cinematic Video Generation [31.49880258407637]
  フィルムベンチ (FilmBench) は、映画アカデミーの伝統のプロ向けシネマティック言語に基づくテキスト・トゥ・ビデオ (T2V) とレファレンス・トゥ・ビデオ (R2V) のベンチマークである。 プロンプトは20の映画ジャンルにまたがる受賞作品のクリップからリバースエンジニアリングされ、プロの監督が選ぶ。 評価は、3軸12成分35(T2V)+3(R2Vのみ)の3段階のシネマティック分類に従う。
  論文  参考訳（メタデータ） (2026-07-27T10:20:31Z)
• Bridging Modalities, Spanning Time: Structured Memory for Ultra-Long Agentic Video Reasoning [82.97398529552166]
  MAGIC-Videoは、インターリーブされた物語チェーンを備えたマルチモーダルメモリグラフを中心に構築されたフレームワークである。 EgoLifeQA、Ego-R1、MM-Lifelongでは、MAGIC-Videoは一貫して、強力な汎用、長期ビデオ、エージェントベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-05-08T03:21:47Z)
• ForeSea: AI Forensic Search with Multi-modal Queries for Video Surveillance [56.15563109738998]
  ForeSeaは3段階のプラグアンドプレイパイプラインを備えたAI法医学検索システムである。 ForeSeaは従来のビデオRAGモデルよりも精度を3.5%向上し、一時IoUは11.0向上した。
  論文  参考訳（メタデータ） (2026-03-24T07:15:28Z)
• Vript: A Video Is Worth Thousands of Words [54.815686588378156]
  Vriptは12Kの高解像度ビデオの注釈付きコーパスで、420Kのクリップで詳細な、密度の高い、スクリプトのようなキャプションを提供する。 各クリップには145ワードのキャプションがあり、ほとんどのビデオテキストデータセットの10倍以上の長さである。 Vriptは、長いビデオのための高密度で詳細なキャプションをエンドツーエンドに生成できる強力なモデルである。
  論文  参考訳（メタデータ） (2024-06-10T06:17:55Z)
• Perception Test: A Diagnostic Benchmark for Multimodal Video Models [78.64546291816117]
  本稿では,事前学習したマルチモーダルモデルの知覚と推論能力を評価するために,新しいマルチモーダルビデオベンチマークを提案する。 知覚テストは、スキル(記憶、抽象化、物理学、セマンティックス)と、ビデオ、オーディオ、テキストモダリティ間の推論(記述的、説明的、予測的、反ファクト的)のタイプに焦点を当てている。 このベンチマークは、ゼロショット/少数ショットまたは限定的な微調整方式で、転送機能の事前訓練されたモデルを探索する。
  論文  参考訳（メタデータ） (2023-05-23T07:54:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。