論文の概要: Reading, Writing, Sharing, and Interacting with the World through Video
- arxiv url: http://arxiv.org/abs/2610.31668v1
- Date: Thu, 22 Oct 2026 17:59:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.517119
- Title: Reading, Writing, Sharing, and Interacting with the World through Video
- Title（参考訳）: ビデオによる読み書き,共有,世界とのインタラクション
- Abstract要約: ビデオファウンデーションモデルは、視覚的シーケンスの理解と生成において急速に進歩している。
ビデオワールドモデルは、彼らが描いた世界の基盤となるダイナミクスを捉えようとしている。
このサーベイは、これらの展開を調べるための統一レンズとして世界モデリングを採用する。
- 参考スコア（独自算出の注目度）: 129.43982432602206
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video foundation models have advanced rapidly in understanding and generating visual sequences, while video world models seek to capture the underlying dynamics of the world they depict. Despite their different objectives, both concern the relationship between video observations and an evolving world. This survey adopts world modeling as a unifying lens for examining these developments. Viewing an observed video as a partial, lossy, and temporally ordered projection of a latent temporal world, we organize the literature around four complementary operations: reading infers world properties from observed video; writing synthesizes video from specified or learned world conditions; sharing integrates understanding and generation through common modeling mechanisms; and interacting predicts and updates world states under actions and evolving observations. This perspective distinguishes temporal coherence in observed or generated sequences from consistency in the underlying world state. Across tasks, representations, models, datasets, and benchmarks, we trace a shift in emphasis from clip-level recognition and perceptual fidelity toward persistent state, controllable evolution, physical and causal validity, and evaluation grounded in interaction and downstream decisions, and we distill the open challenges that follow.
- Abstract（参考訳）: ビデオファウンデーションモデルは、視覚的シーケンスの理解と生成において急速に進歩し、ビデオワールドモデルは、彼らが描いた世界の基盤となるダイナミクスを捉えようとしている。
彼らの異なる目的にもかかわらず、どちらもビデオ観察と進化する世界との関係を懸念している。
このサーベイは、これらの展開を調べるための統一レンズとして世界モデリングを採用する。
観察された映像を部分的、損失的、時間的に秩序づけられた時間的世界の投影と見なすと、観察されたビデオから世界特性を推測する読み出し、特定または学習された世界の条件から映像を合成する書き込み、共通のモデリング機構を通じて理解と生成を統合する共有、行動下での世界の状態の予測と更新の相互作用の4つの相補的な操作に関する文献を整理する。
この観点は、観測または生成されたシーケンスにおける時間的コヒーレンスと、下層の世界状態における一貫性を区別する。
タスク、表現、モデル、データセット、ベンチマーク全体にわたって、私たちは、クリップレベルの認識と知覚の忠実さから永続的な状態へのシフト、制御可能な進化、物理的および因果的妥当性、そして相互作用と下流の決定に基づく評価をトレースし、それに続くオープンな課題を抽出します。
関連論文リスト
- StateCraft: Augmenting Video World Models with Abstract-State Reasoning [83.32752897069362]
ビデオワールドモデルは、一度に世界全体の部分的な観察しか生成できない。
視覚状態から永続的で高可逆な抽象状態を分離するパラダイムを導入する。
StateCraftは、動的世界を発展させるために、言語モデルとビデオ拡散モデルを組み合わせる新しいアーキテクチャである。
論文 参考訳（メタデータ） (2026-10-14T08:39:41Z) - World Observer: Joint Actor-Observer Generation for Persistent World Modeling [32.95286817329024]
本稿では,エージェント中心の視点のアクターを共同で生成することで,行動から観察を分離するWorld Observerを紹介する。
これにより、アクターの視点を残したオブジェクトはオブザーバ内で視覚的に進化し続けるため、更新された状態は再突入時に反映される。
World Observerは視界外ダイナミクスを大幅に改善すると同時に、視覚的忠実度、カメラ制御、および3Dアテンデンスに競争力を維持している。
論文 参考訳（メタデータ） (2026-10-01T17:53:20Z) - World in World: Explore the World with World Models [5.1244963637555285]
我々は、不均一な制御証拠をクリーンな視覚状態に変換するトレーニング不要な推論時間インターフェースであるWorld in Worldを提示する。
我々は、様々な視点の変化の下で、カメラ制御されたビデオリレンダリングによるワールド・イン・ワールドの評価を行った。
論文 参考訳（メタデータ） (2026-09-10T13:42:26Z) - Code World Model: Coding Agent as World Brain [51.31807545747191]
私たちは、世界進化と視覚的実現を分離するフレームワークであるCode World Modelを紹介します。
コーディングエージェントは世界脳として機能し、出来事とその結果について推論する。
実行可能状態と視覚的生成を結びつけるために,フレームの時間的制約をプロキシビデオにエンコードするプロキシ表現を導入する。
論文 参考訳（メタデータ） (2026-08-26T15:37:33Z) - WorldOlympiad: Can Your World Model Survive a Triathlon? [39.69359039523777]
我々は,物理忠実度,幾何整合性,相互作用忠実度にまたがるビデオベース世界モデルの診断のためのベンチマークであるWorldOlympiadを紹介する。
WorldOlympiadは、世界モデルの評価を3つの相補的な次元に分解する。
論文 参考訳（メタデータ） (2026-06-09T17:24:36Z) - LiveWorld: Simulating Out-of-Sight Dynamics in Generative Video World Models [32.92934803081681]
近年の世代別ビデオワールドモデルは、視覚環境の進化をシミュレートすることを目的としており、観察者はカメラ制御によってシーンをインタラクティブに探索することができる。
彼らは、世界は観察者の視野内でしか進化しないと暗黙的に仮定している。
オブジェクトがオブザーバの視点を離れると、その状態はメモリ内で"凍結"され、その後同じ領域を再考しても、その間に発生すべき出来事を反映できないことがしばしばある。
永続的な世界進化をサポートするために,ビデオワールドモデルを拡張する新しいフレームワークであるLiveWorldを提案する。
論文 参考訳（メタデータ） (2026-03-07T10:31:39Z) - WorldLens: Full-Spectrum Evaluations of Driving World Models in Real World [100.68103378427567]
エージェントは現実的な4D駆動環境を合成し、説得力があるように見えるが、物理的または行動的に失敗することが多い。
モデルがどのように構築され、理解され、その生成された世界の中でどのように振る舞うかを評価するフルスペクトルベンチマークであるWorldLensを紹介します。
さらに、数値的なスコアとテキストの合理性を備えた人間の注釈付きビデオの大規模データセット WorldLens-26K を構築し、WorldLens-Agent を開発した。
論文 参考訳（メタデータ） (2025-12-11T18:59:58Z) - PAN: A World Model for General, Interactable, and Long-Horizon World Simulation [49.805071498152536]
PANは、汎用的で対話性があり、長い水平世界モデルである。
歴史と自然言語のアクションを前提とした高品質なビデオシミュレーションにより、将来の世界の状態を予測します。
実験により, PANは行動条件付き世界シミュレーション, 長期予測, シミュレーション推論において高い性能を発揮することが示された。
論文 参考訳（メタデータ） (2025-11-12T07:20:35Z) - Simulating the Visual World with Artificial Intelligence: A Roadmap [48.64639618440864]
ビデオ生成は、視覚的に魅力的なクリップを生成するものから、インタラクションをサポートし、物理的な可視性を維持する仮想環境を構築するものへとシフトしている。
この調査は、この進化の体系的な概要を提供し、現代のビデオ基盤モデルを2つのコアコンポーネントの組み合わせとして概念化した。
4世代にわたる映像生成の進展を追究し,本質的な物理的妥当性を具現化した映像生成モデルを構築した。
論文 参考訳（メタデータ） (2025-11-11T18:59:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。