論文の概要: Code2Video-Compass: A Comprehensive Benchmark for General-Purpose Code-Based Video Generation across T2V, I2V, and V2V

• arxiv url: http://arxiv.org/abs/2610.28416v1
• Date: Tue, 20 Oct 2026 15:51:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.897062
• Title: Code2Video-Compass: A Comprehensive Benchmark for General-Purpose Code-Based Video Generation across T2V, I2V, and V2V
• Title（参考訳）: Code2Video-Compass:T2V、I2V、V2Vにまたがる汎用コードベースビデオ生成のための総合ベンチマーク
• Abstract要約: テキスト・トゥ・ビデオ(T2V)、画像・トゥ・ビデオ(I2V)、ビデオ・トゥ・ビデオ(V2V)にまたがるコード・ベースのビデオ生成のベンチマークであるCode2Videoを紹介した。 Code2Video-dependencyは、10のカテゴリ、24のサブタイプ、および構成、動的アニメーション、状態依存性をカバーする3次元からなる2,104のタスクで構成される。 12の客観的指標と5つの主観的指標を組み合わせた2段階評価フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 20.040363822998014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Code-based video generation offers fine-grained control, targeted editing, and component reuse compared with direct video generation. This approach requires multimodal large language models (MLLMs) to translate visual and temporal requirements into executable programs that produce complete videos. However, existing code-based benchmarks primarily target specialized tasks, leaving complete video creation across diverse creative categories and input modalities insufficiently evaluated. We introduce Code2Video-Compass, a general-purpose benchmark for code-based video generation across text-to-video (T2V), image-to-video (I2V), and video-to-video (V2V) settings. Code2Video-Compass comprises 2,104 tasks spanning 10 categories, 24 subtypes, and three complexity dimensions covering construction, dynamic animation, and state dependency. It combines tasks curated from textual instructions and visual references with corresponding T2V, I2V, and V2V tasks derived from complete professional and user-created videos. We propose a dual-level evaluation framework combining 12 objective metrics and five subjective metrics. Objective evaluation covers operational performance, video quality, text-video alignment, and reference fidelity, while subjective evaluation uses an MLLM judge to evaluate instruction following and holistic video quality. Extensive evaluation of 15 recent proprietary and open-weight MLLMs from nine families reveals that even leading models face challenges in reliably generating high-quality complete videos aligned with textual and visual requirements, with performance generally declining as construction, dynamic animation, and state-dependency complexity increases. We anticipate that Code2Video-Compass will advance reliable, coherent, and controllable code-based video generation and inspire broader progress in programmatic visual creation.
• Abstract（参考訳）: コードベースのビデオ生成は、直接ビデオ生成と比較してきめ細かい制御、ターゲット編集、コンポーネントの再利用を提供する。 このアプローチでは、視覚的および時間的要求を完全なビデオを生成する実行可能なプログラムに変換するために、MLLM(Multimodal large language model)が必要となる。 しかし、既存のコードベースのベンチマークは主に特定のタスクをターゲットにしており、様々なクリエイティブカテゴリにまたがる完全なビデオ作成と入力モダリティは十分に評価されていない。 テキスト・トゥ・ビデオ(T2V)、画像・トゥ・ビデオ(I2V)、ビデオ・トゥ・ビデオ(V2V)設定にまたがるコードベースのビデオ生成のための汎用ベンチマークであるCode2Video-Compassを紹介した。 Code2Video-Compassは10のカテゴリにまたがる2,104のタスク、24のサブタイプ、構成、動的アニメーション、状態依存性をカバーする3つの複雑さ次元から構成されている。 テキスト命令とビジュアル参照から算出されたタスクと、プロとユーザーが作成した完全なビデオから派生した対応するT2V、I2V、V2Vタスクを組み合わせる。 12の客観的指標と5つの主観的指標を組み合わせた2段階評価フレームワークを提案する。 目的評価は,操作性能,映像品質,テキスト・ビデオアライメント,参照忠実度を対象とし,主観評価はMLLM判定器を用いて指示追従および全体的映像品質を評価する。 最近の9つのファミリーによる15のプロプライエタリでオープンウェイトなMLLMの広範囲な評価によると、主要なモデルでさえ、テキストや視覚的要求に沿った高品質な完全ビデオを生成するという課題に直面しており、建設、動的アニメーション、状態依存の複雑さが増大するにつれて、パフォーマンスは一般的に低下している。 Code2Video-Compassは、信頼性、コヒーレント、制御可能なコードベースのビデオ生成を推し進め、プログラムによる視覚生成の幅広い進歩を促すだろう。

関連論文リスト

• LiViBench: An Omnimodal Benchmark for Interactive Livestream Video Understanding [23.207637210563504]
  LiViBenchはインタラクティブなライブストリームビデオのための全方位ベンチマークである。 24タスクの多様なセットが特徴で、知覚、推論、ライブストリーム固有の課題を強調している。 インタラクティブなライブストリームの知識を充実させたMLLMであるLiVi-LLM-7Bを開発した。
  論文  参考訳（メタデータ） (2026-01-21T14:14:20Z)
• VC4VG: Optimizing Video Captions for Text-to-Video Generation [60.4614929018261]
  本稿では、T2Vモデルのニーズに合わせて、包括的なキャプション最適化フレームワークであるVC4VG(Video Captioning for Video Generation)を紹介する。 評価を支援するため,T2V仕様に適合する細粒度,多次元,必要グレードのメトリクスを特徴とする新しいベンチマークVC4VG-Benchを構築した。
  論文  参考訳（メタデータ） (2025-10-28T07:19:01Z)
• Code2Video: A Code-centric Paradigm for Educational Video Generation [60.03043132859077]
  我々は,Pythonコードによる教育ビデオを生成するための,コード中心のエージェントフレームワークであるCode2Videoを提案する。 i)講義内容を時間的コヒーレントなフローに構造化するPlanner,(ii)構造化命令を実行可能なPythonコードに変換するCoder,そして(iii)視覚言語モデル(VLM)を視覚的アンカープロンプトで活用し,空間的レイアウトを洗練し,明確性を確保するCryticという3つの協調エージェントから構成される。 我々の結果は、Code2Videoが拡張性があり、解釈可能で、制御可能なアプローチである可能性を示し、直接コードよりも40%改善されている。
  論文  参考訳（メタデータ） (2025-10-01T17:56:48Z)
• VideoRAG: Retrieval-Augmented Generation with Extreme Long-Context Videos [25.770675590118547]
  VideoRAGは、非常に長いコンテキストのビデオの処理と理解に特化して設計された最初の検索拡張生成フレームワークである。 我々の中心となる革新は、(i)グラフベースのテキスト知識をシームレスに統合し、(ii)視覚的特徴を効率的に保存するマルチモーダルコンテキストエンコーディングである。
  論文  参考訳（メタデータ） (2025-02-03T17:30:19Z)
• When Video Coding Meets Multimodal Large Language Models: A Unified Paradigm for Video Coding [118.72266141321647]
  CMVC(Cross-Modality Video Coding)は、ビデオ符号化における多モード表現とビデオ生成モデルを探索する先駆的な手法である。 復号化の際には、以前に符号化されたコンポーネントとビデオ生成モデルを利用して複数の復号モードを生成する。 TT2Vは効果的な意味再構成を実現し,IT2Vは競争力のある知覚整合性を示した。
  論文  参考訳（メタデータ） (2024-08-15T11:36:18Z)
• AIGCBench: Comprehensive Evaluation of Image-to-Video Content Generated by AI [1.1035305628305816]
  本稿では,様々なビデオ生成タスクを評価するために設計された,先駆的な総合ベンチマークであるAIGCBenchを紹介する。 等価条件下で異なる最先端アルゴリズムを評価する、多様なオープンドメインの画像テキストデータセット。 我々は、リッチテキストプロンプトを作成するために、新しいテキストコンバインダーとGPT-4を使用し、高度なテキスト・ツー・イメージモデルを用いて画像を生成する。
  論文  参考訳（メタデータ） (2024-01-03T10:08:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。