論文の概要: Video Generation Meets Agent Harness: Agentic Video Generation, Agentic World Modeling and Recursive Self-Improvement

• arxiv url: http://arxiv.org/abs/2610.40191v1
• Date: Thu, 29 Oct 2026 14:47:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 08:00:27.515729
• Title: Video Generation Meets Agent Harness: Agentic Video Generation, Agentic World Modeling and Recursive Self-Improvement
• Title（参考訳）: エージェント・ハーネスとビデオ・ジェネレーション:エージェント・ビデオ・ジェネレーション、エージェント・ワールド・モデリング、再帰的自己改善
• Abstract要約: ビデオ生成は、エンドツーエンドの合成からエージェント生成へとシフトし、プランニング、ツールの使用、フィードバックによって、一貫性のあるコントロール可能なマルチショットビデオが可能になる。 本報告では, コーディネート・スクリプティング, ショット計画, 資産管理, 生産, 編集, 評価課題の3つの方向性について検討する。 我々は,音声視覚知覚,長期計画,メモリ,コードベースインタラクション,フィードバック誘導制御,スキル再利用,マルチエージェント調整など,重要なエージェント機能を分析する。
• 参考スコア（独自算出の注目度）: 69.64769253190579
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video generation is shifting from end-to-end synthesis toward agentic generation, where planning, tool use, and feedback enable coherent, controllable multi-shot videos. In parallel, video world models provide action-conditioned observations and predicted futures, serving as interactive environments for agents. We study their intersection through the agent harness: an executable runtime that constructs context, exposes tools, maintains state, routes feedback, and manages budgets around video models. This report examines three directions. First, agentic video generation, where harnesses coordinate scripting, shot planning, asset management, production, and editing, alongside the evaluation challenges of these systems. Second, agentic world modeling, where harnesses mediate observation, control, execution, and state. We discuss hybrid designs in which game engines or agent-written programs maintain world state while video models render observations, and how agents and world models can mutually evaluate and improve one another. Third, recursive self-improvement (RSI) in video model development, distinguishing output revisions, updates to harness state, generator parameters, and evaluators, and changes to the improvement procedure itself. We identify how these improvements feed back into subsequent development. Across these directions, we analyze essential agent capabilities, including audiovisual perception, long-horizon planning, memory, code-based interaction, feedback-guided control, skill reuse, and multi-agent coordination. We conclude with challenges in autonomous video production, lifelong memory, programmable hybrid control, autonomous model development, provenance, cost accounting, and evaluation linking video quality and task performance to sustained improvements in models and harnesses.
• Abstract（参考訳）: ビデオ生成は、エンドツーエンドの合成からエージェント生成へとシフトし、プランニング、ツールの使用、フィードバックによって、一貫性のあるコントロール可能なマルチショットビデオが可能になる。 並行して、ビデオワールドモデルはアクション条件の観察と予測された未来を提供し、エージェントの対話環境として機能する。 コンテクストの構築、ツールの公開、状態の維持、フィードバックのルート、ビデオモデルに関する予算管理などを行う実行可能なランタイムである。 本報告では3つの方向について検討する。 まず,コーディネート・スクリプティング,ショット・プランニング,アセット・マネージメント,生産,編集を併用したエージェント・ビデオ・ジェネレーションと,これらのシステムの評価課題について述べる。 第2に、エージェントの世界モデリングでは、観察、制御、実行、状態の仲介を行う。 ゲームエンジンやエージェント記述プログラムが世界状態を保ち、ビデオモデルが観察を行うハイブリッド設計や、エージェントとワールドモデルは相互に評価し、改善する方法について論じる。 第3に、ビデオモデル開発における再帰的自己改善(RSI)、出力修正の区別、状態の活用への更新、ジェネレータパラメータ、評価器の変更、改善手順自体の変更である。 これらの改善がその後の開発にどのように影響するかを確認します。 これらの方向にわたって、音声視覚知覚、長期計画、メモリ、コードベースインタラクション、フィードバック誘導制御、スキル再利用、マルチエージェント調整など、重要なエージェント機能を分析する。 我々は、自律型ビデオ制作、生涯記憶、プログラム可能なハイブリッド制御、自律型モデル開発、証明、コスト会計、ビデオ品質とタスクパフォーマンスをモデルとハーネスの持続的な改善にリンクする評価において課題を解決した。

関連論文リスト

• Agentic World Action Models [94.92535674311954]
  AW-0は、コードベースの計画と共同ビデオとアクション予測を統合したエージェント的世界アクションモデルフレームワークである。 コンバーチブル・オブ・トランスフォーマー・アーキテクチャにおいて、コード、将来のビデオ、ロボットアクションを3つの結合生成ストリームとしてモデル化する。 本稿では,ロボットと人間のビデオトラジェクトリを協調プログラムでラベル付けし,定期的なルーチンを再利用可能なスキルライブラリに集約する自動キュレーションパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-10-21T17:59:56Z)
• Streaming Multi-Agent Autoregressive Diffusion Model with World State Registers [50.3000377325823]
  We present WorldWeaver, a streaming multi-agent video diffusion model that a rollout with cross-agent world state registers。 これらのレジスタには、個々のエージェントの状態、鳥眼ビューを含むグローバルステートビュー、シーンテキストの監視信号が配置されている。 2エージェントのMinecraftビデオ生成の実験では、明示的な世界状態モデリングが論理的一貫性と生成品質を向上させることが示されている。
  論文  参考訳（メタデータ） (2026-07-23T17:59:58Z)
• Simulating the Visual World with Artificial Intelligence: A Roadmap [48.64639618440864]
  ビデオ生成は、視覚的に魅力的なクリップを生成するものから、インタラクションをサポートし、物理的な可視性を維持する仮想環境を構築するものへとシフトしている。 この調査は、この進化の体系的な概要を提供し、現代のビデオ基盤モデルを2つのコアコンポーネントの組み合わせとして概念化した。 4世代にわたる映像生成の進展を追究し,本質的な物理的妥当性を具現化した映像生成モデルを構築した。
  論文  参考訳（メタデータ） (2025-11-11T18:59:50Z)
• UniVA: Universal Video Agent towards Open-Source Next-Generation Video Generalist [107.04196084992907]
  次世代ビデオジェネラリストのためのオールニ対応マルチエージェントフレームワークUniVAを紹介する。 UniVAはPlan-and-Actのデュアルエージェントアーキテクチャを採用しており、高度に自動化されプロアクティブなワークフローを駆動している。 また、理解、編集、セグメンテーション、生成にまたがるマルチステップビデオタスクのベンチマークスイートUniVA-Benchについても紹介する。
  論文  参考訳（メタデータ） (2025-11-11T17:58:13Z)
• SPAgent: Adaptive Task Decomposition and Model Selection for General Video Generation and Editing [50.098005973600024]
  セマンティック・プランニング・エージェント(SPAgent)を利用した新しい映像生成・編集システムを提案する。 SPAgentは、多様なユーザ意図と既存の生成モデルの有効利用の間のギャップを埋める。 実験結果は、SPAgentが効果的にモデルをコーディネートしてビデオの生成や編集を行うことを示した。
  論文  参考訳（メタデータ） (2024-11-28T08:07:32Z)
• Exploring the Interplay Between Video Generation and World Models in Autonomous Driving: A Survey [61.39993881402787]
  世界モデルとビデオ生成は、自動運転の領域において重要な技術である。 本稿では,この2つの技術の関係について検討する。 映像生成モデルと世界モデルとの相互作用を分析することにより,重要な課題と今後の研究方向性を明らかにする。
  論文  参考訳（メタデータ） (2024-11-05T08:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。