論文の概要: VideoCoCo: Code-as-CoT for Physically-Consistent Video Generation via an Agentic Dual-Engine System
- arxiv url: http://arxiv.org/abs/2607.27380v1
- Date: Wed, 29 Jul 2026 18:38:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.307999
- Title: VideoCoCo: Code-as-CoT for Physically-Consistent Video Generation via an Agentic Dual-Engine System
- Title（参考訳）: VideoCoCo: エージェントデュアルエンジンシステムによる物理的に一貫性のあるビデオ生成のためのCode-as-CoT
- Abstract要約: テキストビデオモデルは物理的に一貫したダイナミクスを生成するのに苦労し、シーンの時間的進化は圧縮されたテキストプロンプトから暗黙的に推論されなければならない。
既存のチェーン・オブ・シークレットのアプローチは中間計画や視覚的状態を導入しているが、これらの表現は通常、非計算可能または時間的にスパースである。
我々は,実行可能なBlenderコードがプロセスレベルの思考の連鎖として機能する,エージェント型デュアルエンジンフレームワークであるVideoCoを紹介した。
- 参考スコア（独自算出の注目度）: 77.32035315337522
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text-to-video models have achieved remarkable visual quality, yet they still struggle to generate physically consistent dynamics because the temporal evolution of a scene must be inferred implicitly from a highly compressed text prompt. Existing chain-of-thought approaches introduce intermediate plans or visual states, but these representations are typically non-executable or temporally sparse, limiting their ability to instantiate and control the complete spatiotemporal process. To address this limitation, we introduce VideoCoCo, an agentic dual-engine framework in which executable Blender code serves as a process-level chain of thought. Given a text prompt, a coding agent synthesizes a Blender program that explicitly specifies the scene and its temporal evolution. The executable simulation engine runs the program to produce a deterministic spatiotemporal draft, which is subsequently transformed into a photorealistic video by a generative video engine through draft-conditioned editing. This decomposition separates process-level reasoning from high-fidelity visual realization. To adapt the video editor to simulated drafts, we construct VideoCoCo-3K, a curated dataset of draft-instruction-target triplets. VideoCoCo improves the OmniWeaving baseline from 0.475 to 0.558 on PhyGenBench and from 52.18 to 77.88 on VBench-2.0, achieving the best average score on both benchmarks. These results demonstrate that executable code provides an effective, controllable, and inspectable intermediate representation for physically consistent video generation.
- Abstract（参考訳）: テキスト・トゥ・ビデオのモデルは目覚ましい視覚的品質を達成したが、シーンの時間的進化は高度に圧縮されたテキストプロンプトから暗黙的に推論されなければならないため、物理的に一貫したダイナミクスを生成するのに苦慮している。
既存のチェーン・オブ・ソート(英語版)アプローチは中間計画や視覚状態を導入するが、これらの表現は通常実行不可能または時間的にスパースであり、完全な時空間過程をインスタンス化し制御する能力を制限する。
この制限に対処するために,実行可能なBlenderコードがプロセスレベルの思考連鎖として機能する,エージェント型デュアルエンジンフレームワークであるVideoCoCoを紹介する。
テキストプロンプトが与えられたとき、符号化エージェントは、シーンとその時間的進化を明確に特定するブレンダープログラムを合成する。
実行可能シミュレーションエンジンは、決定論的時空間ドラフトを生成するプログラムを実行し、その後、ドラフト条件付き編集により生成ビデオエンジンによってフォトリアリスティックビデオに変換する。
この分解はプロセスレベルの推論と高忠実度視覚的実現を分離する。
ビデオエディターを模擬ドラフトに適応させるため,ドラフト・インストラクション・ターゲット三脚のキュレートされたデータセットであるVideoCoCo-3Kを構築した。
VideoCoCoは、OmniWeavingベースラインをPhyGenBenchで0.475から0.558に、VBench-2.0で52.18から77.88に改善し、両方のベンチマークで最高の平均スコアを達成した。
これらの結果は、物理的に一貫したビデオ生成のために、実行可能コードが効果的で、制御可能で、検査可能な中間表現を提供することを示す。
関連論文リスト
- Generation Is Compression: Zero-Shot Video Coding via Stochastic Rectified Flow [1.8898767128464697]
emphGenerative Video Codebook Codec (GVCC)は、事前訓練されたビデオ生成モデルをそれ自体に変換するゼロショットフレームワークである。
この統合されたバックボーン上に構築された3つの条件付け戦略 – emphImage-to-Video (I2V), emphText-to-Video (T2V), emphFirst-Last-Frame-to-Video (FLF2V) – をインスタンス化する。
論文 参考訳（メタデータ） (2026-03-27T16:33:20Z) - Plenoptic Video Generation [80.3116444692858]
PlenopticDreamerは、同期時間記憶を維持するために生成幻覚を同期するフレームワークである。
中心となる考え方は、マルチインアウトのビデオ条件付きモデルを自己回帰的にトレーニングすることだ。
トレーニングでは,コンバージェンス向上のためのコンテキストスケーリング,エラー蓄積による幻覚への自己条件付け,拡張ビデオ生成をサポートする長時間ビデオコンディショニング機構が組み込まれている。
論文 参考訳（メタデータ） (2026-01-08T18:58:32Z) - Mirage: One-Step Video Diffusion for Photorealistic and Coherent Asset Editing in Driving Scenes [11.72942978943414]
ビジョン中心の自動運転システムは、堅牢なパフォーマンスを達成するために、多種多様なスケーラブルなトレーニングデータに依存している。
ビデオオブジェクトの編集は、データ拡張に有望なパスを提供する。
既存の手法は、しばしば高視力と時間的コヒーレンスの両方を維持するのに苦労する。
Mirageは、フレーム間の時間的一貫性を保証するために、テキストとビデオの拡散の上に構築される。
論文 参考訳（メタデータ） (2025-12-30T13:40:23Z) - CoAgent: Collaborative Planning and Consistency Agent for Coherent Video Generation [9.91271343855315]
CoAgentは、コヒーレントなビデオ生成のためのフレームワークで、プラン合成の検証パイプラインとしてプロセスを定式化している。
Storyboard Plannerは、入力を明示的な実体、空間的関係、時間的手がかりで構造化されたショットレベルのプランに分解する。
Global Context Managerは、エンティティレベルのメモリを維持して、ショット間の外観とアイデンティティの整合性を維持する。
ペーシング対応エディタは、所望の物語の流れに合わせて時間リズムと遷移を洗練する。
論文 参考訳（メタデータ） (2025-12-27T09:38:34Z) - Factorized Video Generation: Decoupling Scene Construction and Temporal Synthesis in Text-to-Video Diffusion Models [76.7535001311919]
State-of-the-the-art Text-to-Video (T2V)拡散モデルは視覚的に印象的な結果を生成することができるが、複雑なシーンを作成したり、論理的時間的指示に従うのに失敗することが多い。
テキスト・ツー・ビデオ・ジェネレーションを3つの特殊ステージに分解することでこれらのタスクを分離するパイプラインであるFVGを紹介した。
提案手法は,T2V CompBench ベンチマークに新たな最先端技術を導入し,VBench2 上でのテストモデルすべてを大幅に改善する。
論文 参考訳（メタデータ） (2025-12-18T10:10:45Z) - TemCoCo: Temporally Consistent Multi-modal Video Fusion with Visual-Semantic Collaboration [36.255570023185506]
既存のマルチモーダル融合法は、ビデオ融合タスクに直接静的フレームベースの画像融合技術を適用する。
本稿では、時間的モデリングと視覚的セマンティックなコラボレーションを明確に組み込んだ初めてのビデオ融合フレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-25T09:12:55Z) - LoViC: Efficient Long Video Generation with Context Compression [68.22069741704158]
百万単位のオープンドメインビデオに基づいてトレーニングされたDiTベースのフレームワークであるLoViCを紹介する。
当社のアプローチの核心はFlexFormerです。ビデオとテキストを統合された潜在表現に共同で圧縮する表現型オートエンコーダです。
論文 参考訳（メタデータ） (2025-07-17T09:46:43Z) - VideoComposer: Compositional Video Synthesis with Motion Controllability [52.4714732331632]
VideoComposerを使えば、ユーザーはテキストの条件や空間的条件、さらに重要な時間的条件でビデオを柔軟に組み立てることができる。
圧縮ビデオからの運動ベクトルを明示的な制御信号として導入し、時間的ダイナミクスに関するガイダンスを提供する。
さらに、逐次入力の空間的・時間的関係を効果的に組み込むために、統一インターフェースとして機能する時空間条件エンコーダ(STC-エンコーダ)を開発した。
論文 参考訳（メタデータ） (2023-06-03T06:29:02Z) - Towards Smooth Video Composition [59.134911550142455]
ビデオ生成には、時間とともに動的コンテンツを伴う一貫した永続的なフレームが必要である。
本研究は, 生成的対向ネットワーク(GAN)を用いて, 任意の長さの映像を構成するための時間的関係を, 数フレームから無限までモデル化するものである。
単体画像生成のためのエイリアスフリー操作は、適切に学習された知識とともに、フレーム単位の品質を損なうことなく、スムーズなフレーム遷移をもたらすことを示す。
論文 参考訳（メタデータ） (2022-12-14T18:54:13Z) - Autoencoding Video Latents for Adversarial Video Generation [0.0]
AVLAEは2ストリームの遅延オートエンコーダであり、ビデオ配信は敵の訓練によって学習される。
提案手法は, 発生器の明示的な構造構成を伴わずとも, 動きや外見の符号を乱すことを学習できることを実証する。
論文 参考訳（メタデータ） (2022-01-18T11:42:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。