論文の概要: Do Video Generators Track the World Across Segments? A Benchmark and Method for World-State Reasoning in Video Continuation
- arxiv url: http://arxiv.org/abs/2609.03673v1
- Date: Thu, 03 Sep 2026 11:09:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:39.028505
- Title: Do Video Generators Track the World Across Segments? A Benchmark and Method for World-State Reasoning in Video Continuation
- Title（参考訳）: ビデオジェネレータはセグメンテーション全体で世界を追跡するか? : ビデオ継続における世界状態推論のベンチマークと方法
- Abstract要約: 本稿では,過去の映像と新しいプロンプトの両方で決定された状態を反映した継続を生成するモデルについて述べる。
実験により,全ケース状態スコア(SCS-All)を45.2から69.3に引き上げることにより,制御された映像の連続性を改善するとともに,1分間のスケールでのストーリー生成にも有効であることがわかった。
- 参考スコア（独自算出の注目度）: 42.028585134913214
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video generators build long videos by composing shorter parts, either by generating segments one after another or by autoregressively extending chunks. Each new part usually depends on memories of historical observations, such as recent frames, selected key frames, memory banks, or cached features. These memories preserve visible evidence from the past, but current generators do not reliably turn such evidence into a world-state interface: what holds in the video world after previous actions and how it should change under the next prompt. A past frame remains valid history, but it may not describe the state needed by the next segment; some states must instead be inferred from occluded or implicit changes rather than copied from a directly observed frame. This creates a simple but overlooked question for video continuation: given a previous video, its prompt, and a new prompt, can a model generate a continuation that reflects the state determined by both the historical video and the new prompt? To answer this question, we introduce Statebench, a benchmark that targets this gap by testing continuations over three state categories: past-visible states, occluded-process states, and complex-transition states. We further propose Stateagent, which explicitly maintains an entity-state representation, updates it under the new prompt, grounds the predicted post-action state as a future end frame, and renders the next video. Experiments show that our method improves controlled video continuation by raising the all-case state score (SCS-All) from 45.2 to 69.3, and also benefits story generation at the one-minute scale. Code is avaliable at https://github.com/AMAP-ML/StateAgent.
- Abstract（参考訳）: ビデオジェネレータは、短いパーツを次々とセグメントを生成したり、自動回帰的にチャンクを拡張することによって、長いビデオを作る。
それぞれの新しい部分は、通常、最近のフレーム、選択されたキーフレーム、メモリバンク、キャッシュされた特徴など、歴史的な観測の記憶に依存する。
これらの記憶は過去の目に見える証拠を保存しているが、現在のジェネレータはそのような証拠を確実に世界国家のインターフェースに変えるわけではない。
過去のフレームは有効な歴史を保っているが、次のセグメントで必要とされる状態を記述することはできない。
以前のビデオ、そのプロンプト、そして新しいプロンプトが与えられたら、モデルは過去のビデオと新しいプロンプトの両方によって決定された状態を反映した継続を生成することができるだろうか?
この質問に答えるために、私たちはStatebenchというベンチマークを紹介します。これは、過去可視状態、隠されたプロセス状態、複雑な遷移状態という3つの状態カテゴリの継続をテストすることで、このギャップを目標にしています。
さらに、エンティティ状態の表現を明示的に維持し、新しいプロンプトの下で更新し、予測されたポストアクション状態を将来のエンドフレームとしてグラウンド化し、次のビデオをレンダリングするStateagentを提案する。
実験により,全ケース状態スコア(SCS-All)を45.2から69.3に引き上げることにより,制御された映像の連続性を改善するとともに,1分間のスケールでのストーリー生成にも有効であることがわかった。
コードはhttps://github.com/AMAP-ML/StateAgent.orgにある。
関連論文リスト
- SimpleMemVLA: A Simple but Effective Native-Video Memory for Vision-Language-Action Models [47.662249052606995]
専用メモリモジュールを持たないVLAであるSimpleMemVLAを紹介する。
サンプルされた履歴をそのまま保持し、タイムスタンプ付きビデオフォーマットでバックボーンに渡す。
SimpleMemVLAは、汎用制御のコストなしで4つのメモリベンチマークに新しい状態を設定する。
論文 参考訳（メタデータ） (2026-09-02T02:23:39Z) - Can Video World Models Track Unobserved World States? [40.869875403179535]
ビデオワールドモデルはシミュレータとしてますます使われているが、視覚的忠実性だけでは、モデルは世界の隠れた状態を維持するわけではない。
このギャップをアクション条件付きビデオシェルゲーム(S_5$状態追跡のビジュアルアナログ)で調べる。
エクストラポーレートを行う2つのメカニズムを見つけ、どちらもチャンクにまたがって状態を保持し、それを修正します。
論文 参考訳（メタデータ） (2026-08-31T12:29:24Z) - LayerRecall: A State-Conditioned Memory Router for Long-Horizon Consistency in Video Generation [22.878882105342182]
自己回帰ビデオ拡散は、境界付けられた最近の文脈からチャンクを生成する。
頻度ベースのキャッシュは、被写体、オブジェクト、シーン、または属性が再び現れるときに必要となる歴史的手がかりを排除します。
LayerRecallは関連するK/V状態を取得し、バックボーン固有のメモリ依存レイヤにのみ注入する。
論文 参考訳（メタデータ） (2026-08-28T15:49:13Z) - Tether the Subject, Release the Scene: Query-Aware Memory Routing for Long-Horizon Autoregressive Video Generation [52.12619606640385]
本稿では,フリーズビデオジェネレータ用のクエリ対応メモリルータStreamingMemを紹介する。
TetherMemは、主題とシーンのクエリを分離し、地域と年齢の条件で履歴アクセスを変調する。
完全な30秒のビデオでは、背景、視点、シーンの状態の変化を保ちながら、被写体認識性と時間的連続性を維持する。
論文 参考訳（メタデータ） (2026-08-27T10:05:17Z) - StateTrace: An Object-Centric Framework for Hidden-State Spatiotemporal Reasoning in Long Videos [45.587387649513325]
StateTraceは、トラジェクトリ、オブジェクト間関係、状態遷移イベントを構造化された推論基板にまとめる再利用可能な時間状態メモリを構築する。
StateTraceは、パブリックベンチマークとHSR-Benchの両方のパフォーマンスを継続的に改善することを示す。
論文 参考訳（メタデータ） (2026-08-19T04:31:56Z) - StateFlow: Building, Evolving, and Accessing 3D World States for Previsualization [86.21950969100901]
我々は、生成前ビジョン化のためのステート中心のフレームワークであるStateFlowを紹介する。
ワンショットでビデオを生成する代わりに、StateFlowは編集可能な3Dワールドを使用してシーン構造、進化、カメラを整理する。
実験によると、StateFlowはビデオ制作やゲームライクなプロトタイピングのために高品質な3Dワールドを生産している。
論文 参考訳（メタデータ） (2026-08-12T17:58:07Z) - Video2Code: Generating Interactive Webpages from UI Videos via Action-Aware Revisit [29.235206428769505]
我々は、実行可能なUI状態遷移を回復するためのアクション対応ビデオ・ツー・コード・アプローチであるVideo2Codeを紹介した。
Video2CodeはUIビデオ・コード生成の基盤となるオープンソースモデルを大幅に強化する。
論文 参考訳（メタデータ） (2026-06-16T11:40:48Z) - ReCA: Multi-Shot Long Video Extrapolation via Recursive Context Allocation [69.45329019089041]
マルチショットビデオ外挿(マルチショットビデオ外挿、Multi-Shot Video Extrapolation、MSVE)は、観察されたフレームまたはクリップを撮影的に構造化された一連のショットに拡張するタスクである。
MSVEは、長ビデオの障害は単にコンテキスト長の制限ではなく、コンテキスト割り当ての障害であることを明らかにした。
本稿では,再帰的コンテキスト割当(Recursive Context Allocation, ReCA)を提案する。
論文 参考訳（メタデータ） (2026-05-26T04:16:56Z) - ViD-GPT: Introducing GPT-style Autoregressive Generation in Video Diffusion Models [66.84478240757038]
ビデオ拡散モデル(VDM)の大多数は、自己回帰的な方法で長いビデオを生成する。
我々は、VDMに因果生成(すなわち一方向)を導入し、過去のフレームを将来のフレームを生成するプロンプトとして利用する。
我々のVD-GPTは、長大なビデオ生成において、定量的かつ質的に最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-06-16T15:37:22Z) - Streaming Dense Video Captioning [85.70265343236687]
濃密なビデオキャプションのための理想的なモデルは、長い入力ビデオを扱うことができ、リッチで詳細なテキスト記述を予測できる。
現在の最先端モデルは、一定の数のダウンサンプルフレームを処理し、ビデオ全体を見た後、単一の完全な予測を行う。
本稿では,2つの新しいコンポーネントからなるストリーミング高密度動画キャプションモデルを提案する。
論文 参考訳（メタデータ） (2024-04-01T17:59:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。