論文の概要: VibeVideoBench: Evaluating Multimodal Agents on Code-Driven Video Generation

• arxiv url: http://arxiv.org/abs/2610.35864v2
• Date: Tue, 27 Oct 2026 16:22:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.180346
• Title: VibeVideoBench: Evaluating Multimodal Agents on Code-Driven Video Generation
• Title（参考訳）: VibeVideoBench: コード駆動ビデオ生成におけるマルチモーダルエージェントの評価
• Abstract要約: VibeVideoBenchは、コード駆動のビデオ生成のエージェントを評価するためのベンチマークである。 英語と中国語の239の自己完結タスクは12のカテゴリにまたがっている。 各タスクは、イメージやビデオ生成モデルのないサンドボックス内のネイティブハーネス内で実行されているエージェントに、1時間以内に完了したMP4を配信するように要求する。
• 参考スコア（独自算出の注目度）: 54.06324099927377
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion video models produce striking clips, but they cannot reliably render an exact formula, a correct chart, a rule-consistent game or narration synchronized to on-screen events. A different route is emerging: multimodal agents that write code to render every frame and synthesize every sound. We introduce VibeVideoBench, a benchmark for evaluating agents on code-driven video generation. Its 239 self-contained tasks in English and Chinese span 12 categories, from data stories and music-driven pieces to classroom lessons and paper explainers; each asks an agent, running in its native harness inside a sandbox with no image or video generation model, to deliver a finished MP4 with sound within one hour. Evaluation is hierarchical and evidence-based: program checks of the delivery spec, about 13k task-specific rubric checks traced to the requirements they enforce, and five quality dimensions anchored per task, scored by three VLM judge panels. Across nine frontier agent systems and 2,151 scored rollouts, GPT-6 Astra and Claude Opus 5.5 rank first and second with both the judges and human annotators, and the strongest system satisfies every core requirement on 76.3% of tasks. Delivery is a second axis: counting missing videos as zero changes the ranking, and three quarters of the lost videos are final renders that started too late, ran too slowly or never started, a failure of how agents plan their hour. Agents build their own rendering pipelines and inspect their own frames, yet how much they look does not predict quality. The judges' ranking of the systems closely matches blind human preferences.
• Abstract（参考訳）: 拡散ビデオモデルは印象的なクリップを生成するが、正確な公式、正しいチャート、ルール一貫性ゲーム、および画面上のイベントに同期したナレーションを確実にレンダリングすることはできない。 すべてのフレームをレンダリングし、すべてのサウンドを合成するコードを書くマルチモーダルエージェント。 コード駆動ビデオ生成におけるエージェント評価のためのベンチマークであるVibeVideoBenchを紹介する。 英語と中国語の239の自己完結型タスクは、データストーリーや音楽駆動の曲、教室のレッスン、ペーパーの説明など、12のカテゴリにまたがっている。 評価は階層的でエビデンスに基づくもので、デリバリ仕様のプログラムチェック、実施する要件に遡るタスク固有のルーリックチェック約13k、タスク毎に5つの品質ディメンションが設定され、3つのVLM審査パネルによってスコア付けされる。 9つのフロンティア・エージェント・システムと2,151のロールアウト、GPT-6アストラとクロード・オプス5.5は審査員とアノテーターの両方で1位と2位であり、最強のシステムは76.3%のタスクで全てのコア要件を満たす。 失ったビデオの4分の3は、遅すぎたり、遅すぎたり、始まらなかったりする最終レンダリングであり、エージェントが時間をどのように計画するかの失敗である。 エージェントは独自のレンダリングパイプラインを構築し、自身のフレームを検査する。 審査員のシステムランキングは盲目の人間の好みと密接に一致している。

関連論文リスト

• Timeline-Bench: Evaluating Agents on Realistic Video-Editing Tasks, from Raw Footage to Final Cut [0.07646713951724012]
  Timeline-Benchは56の実際のビデオ編集タスクのベンチマークである。 各タスクは、簡単なソースアセット、コンテナ、一連のテストを提供する。 テストはデリバリフォーマット、コンテンツ、およびブリーフの明示的な要件をチェックします。
  論文  参考訳（メタデータ） (2026-09-28T13:28:17Z)
• DramaChain Bench: An End-to-End Benchmark for Short-Drama Generation [20.53004165750949]
  DramaChain Benchは、完全なプロダクションチェーンのすべてのステージを評価する最初のショートドラマベンチマークである。 1次元システムDramaChain Dimensionsを共有する3つの社内システム上に構築されている。
  論文  参考訳（メタデータ） (2026-09-01T03:23:45Z)
• FilmBench: A Film-Grade Benchmark for Cinematic Video Generation [31.49880258407637]
  フィルムベンチ (FilmBench) は、映画アカデミーの伝統のプロ向けシネマティック言語に基づくテキスト・トゥ・ビデオ (T2V) とレファレンス・トゥ・ビデオ (R2V) のベンチマークである。 プロンプトは20の映画ジャンルにまたがる受賞作品のクリップからリバースエンジニアリングされ、プロの監督が選ぶ。 評価は、3軸12成分35(T2V)+3(R2Vのみ)の3段階のシネマティック分類に従う。
  論文  参考訳（メタデータ） (2026-07-27T10:20:31Z)
• Bridging Modalities, Spanning Time: Structured Memory for Ultra-Long Agentic Video Reasoning [82.97398529552166]
  MAGIC-Videoは、インターリーブされた物語チェーンを備えたマルチモーダルメモリグラフを中心に構築されたフレームワークである。 EgoLifeQA、Ego-R1、MM-Lifelongでは、MAGIC-Videoは一貫して、強力な汎用、長期ビデオ、エージェントベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-05-08T03:21:47Z)
• ForeSea: AI Forensic Search with Multi-modal Queries for Video Surveillance [56.15563109738998]
  ForeSeaは3段階のプラグアンドプレイパイプラインを備えたAI法医学検索システムである。 ForeSeaは従来のビデオRAGモデルよりも精度を3.5%向上し、一時IoUは11.0向上した。
  論文  参考訳（メタデータ） (2026-03-24T07:15:28Z)
• Vript: A Video Is Worth Thousands of Words [54.815686588378156]
  Vriptは12Kの高解像度ビデオの注釈付きコーパスで、420Kのクリップで詳細な、密度の高い、スクリプトのようなキャプションを提供する。 各クリップには145ワードのキャプションがあり、ほとんどのビデオテキストデータセットの10倍以上の長さである。 Vriptは、長いビデオのための高密度で詳細なキャプションをエンドツーエンドに生成できる強力なモデルである。
  論文  参考訳（メタデータ） (2024-06-10T06:17:55Z)
• Perception Test: A Diagnostic Benchmark for Multimodal Video Models [78.64546291816117]
  本稿では,事前学習したマルチモーダルモデルの知覚と推論能力を評価するために,新しいマルチモーダルビデオベンチマークを提案する。 知覚テストは、スキル(記憶、抽象化、物理学、セマンティックス)と、ビデオ、オーディオ、テキストモダリティ間の推論(記述的、説明的、予測的、反ファクト的)のタイプに焦点を当てている。 このベンチマークは、ゼロショット/少数ショットまたは限定的な微調整方式で、転送機能の事前訓練されたモデルを探索する。
  論文  参考訳（メタデータ） (2023-05-23T07:54:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。