論文の概要: World in World: Explore the World with World Models
- arxiv url: http://arxiv.org/abs/2609.11548v1
- Date: Thu, 10 Sep 2026 13:42:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.374115
- Title: World in World: Explore the World with World Models
- Title（参考訳）: World in World: World Modelsで世界を探る
- Abstract要約: 我々は、不均一な制御証拠をクリーンな視覚状態に変換するトレーニング不要な推論時間インターフェースであるWorld in Worldを提示する。
我々は、様々な視点の変化の下で、カメラ制御されたビデオリレンダリングによるワールド・イン・ワールドの評価を行った。
- 参考スコア（独自算出の注目度）: 5.1244963637555285
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autoregressive video world models enable interactive, long-horizon exploration, but flexible control remains challenging. Exploring a source video from new viewpoints requires the generated rollout to remain synchronised with the recorded event, place observed content in the requested view, plausibly complete newly exposed regions, and recover previously generated appearance on revisits. Existing methods typically address these requirements through task-specific modules or additional training. We present World in World, a training-free inference-time interface that converts heterogeneous control evidence into camera- and time-labelled clean visual states, which are read through the native self attention of a frozen causal video model. The evidence comprises source-video observations, target-view scene projections, geometry renderings that guide completion of newly exposed subject regions, and retrieved generated states beyond the rolling cache. Each evidence source carries token-level support and its own availability schedule. A correspondence router combines persistent point identities with geometry to establish token correspondences, guiding supported queries towards matching source-video tokens. Evidence-wise attention CFG (EWA) then independently regulates each auxiliary channel's additional contribution using attention responses from the same denoising forward pass. The shared interface supports camera-controlled rerendering, long-horizon revisiting, and human-motion transfer with the same frozen backbone. We evaluate World in World on camera-controlled video rerendering under diverse viewpoint changes, assessing perceptual quality, temporal consistency, and camera-following accuracy.
- Abstract（参考訳）: 自動回帰ビデオワールドモデルは、対話的で長期の探査を可能にするが、柔軟な制御は依然として難しい。
新しい視点からソースビデオを探索するには、生成されたロールアウトが記録されたイベントと同期し続け、要求されたビューに観察されたコンテンツを配置し、確実に新しく公開された領域を完了し、リビジットで以前に生成された外観を回復する必要がある。
既存のメソッドは通常、タスク固有のモジュールや追加のトレーニングを通じてこれらの要件に対処する。
We present World, a training-free inference-time interface that converts heterogeneous control evidence to camera- and time-labelled clean visual state, which are read through the native self attention of a frozen causal video model。
このエビデンスには、ソース・ビデオ観察、ターゲット・ビュー・シーン・プロジェクション、新しく露出した被写体領域の完成を導く幾何学的レンダリング、ローリングキャッシュを越えて生成された状態の検索が含まれる。
それぞれのエビデンスソースには、トークンレベルのサポートと、独自の可用性スケジュールがある。
対応ルータは、永続的なポイントIDとジオメトリを組み合わせてトークン対応を確立する。
CFG (Evidence-wise attention) CFG (EWA) は、各補助チャンネルの付加的なコントリビューションを同一の認知前方パスからの注意応答を用いて独立に制御する。
共有インターフェースは、カメラ制御されたリレンダリング、ロングホライズンリバイブティング、同じ冷凍バックボーンによる人動転送をサポートする。
我々は、様々な視点で映像のリレンダリングを行い、知覚的品質、時間的一貫性、カメラ追従精度を評価した。
関連論文リスト
- Wonder: Video World Model Done Better [70.28870858365214]
We present Wonder, a general-purpose video world model for real-time, camera-controllable world exploration。
画像や条件付きビデオが与えられたWonderは、ユーザがカメラを動かして対話的にナビゲートできるプレイ可能な世界を構築する。
本研究では、空間的に整列した動きと向きを与える高密度座標場を用いた新しいカメラコンディショニングを提案する。
論文 参考訳（メタデータ） (2026-07-28T17:45:25Z) - WorldDirector: Building Controllable World Simulators with Persistent Dynamic Memory [106.28234880163723]
WorldDirectorは、高度に制御可能なビデオワールドモデルフレームワークである。
我々のフレームワークは、視覚生成から意味的な動きのオーケストレーションを明示的に分離する。
長時間の視界外から再突入しても,動的実体の正確な視覚的アイデンティティを保たせることができた。
論文 参考訳（メタデータ） (2026-07-02T17:59:59Z) - Walking in the Implicit: Interactive World Exploration via Neural Scene Representation [18.76731897279849]
シーン中心のパラダイムであるウォーキング・イン・ザ・インプリシット(Walking in the Implicit)を提案する。
我々は、このパラダイムをNeuWorldとしてインスタンス化する: トランスフォーマーVAEは、スパースポーズフレームから局所的に固定されたNISを学習する。
VAEエンコーダを統一コンディショナーとして再利用することで、NeuWorldはカメラ、参照イメージ、履歴のキューを同じNISモダリティにマップする。
論文 参考訳（メタデータ） (2026-06-29T09:37:33Z) - Directing the World: Fast Autoregressive Video Generation with Compositional Human-Camera Control [56.828569670698975]
デレクシング・ザ・ワールド(Directing the World)は、人体動作とカメラ軌道制御を備えた、制御可能な世界モデルビデオ生成のための高速自動回帰フレームワークである。
私たちのキーとなるアイデアは、前もって統合された自己回帰ビデオを保持しながら、制御学習を分離することです。
人間の動作制御のために、t誘導型動的投射機構と洗練されたモーション-CFG戦略を設計する。
論文 参考訳（メタデータ） (2026-06-26T11:08:09Z) - WorldOlympiad: Can Your World Model Survive a Triathlon? [39.69359039523777]
我々は,物理忠実度,幾何整合性,相互作用忠実度にまたがるビデオベース世界モデルの診断のためのベンチマークであるWorldOlympiadを紹介する。
WorldOlympiadは、世界モデルの評価を3つの相補的な次元に分解する。
論文 参考訳（メタデータ） (2026-06-09T17:24:36Z) - Geo-Align: Video Generation Alignment via Metric Geometry Reward [53.65904111864641]
Geo-Alignは、カメラ制御ビデオ再レンダリング用に特別に設計された最初の強化学習フレームワークである。
事前訓練されたモデルに基づいて、スケールアウェアの知覚報酬機構を用いてモデルを最適化する。
実験により、Geo-Alignは、カメラの正確な制御性と視覚的忠実性の両方において、既存の教師付き学習ベースラインを一貫して上回っていることが示された。
論文 参考訳（メタデータ） (2026-05-22T17:59:43Z) - X-World: Controllable Ego-Centric Multi-Camera World Models for Scalable End-to-End Driving [45.260296714057766]
我々は,アクション条件付きマルチカメラ生成世界モデルであるX-Worldを紹介し,ビデオ空間における将来の観測を直接シミュレートする。
X-Worldは動的トラフィックエージェントと静的道路要素のオプションコントロールをサポートし、外観レベルの制御のためのテキストプロンプトインターフェイスを保持する。
実験により,X-Worldは高画質のマルチビュービデオ生成を実現し,カメラ間の高精細性を実現した。
論文 参考訳（メタデータ） (2026-03-20T14:23:32Z) - Towards Spatio-Temporal World Scene Graph Generation from Monocular Videos [17.190262848866396]
本稿では,Action Genomeの映像をフィードフォワード3D再構成により4DシーンにアップグレードするデータセットであるActionGenome4Dを紹介する。
次に、各タイムスタンプでワールドシーングラフを構築するタスクであるワールドシーングラフ生成(WSGG)を定式化する。
我々は3つの補完的手法を提案し、それぞれが観測されていない物体について推論するための異なる帰納バイアスを探索する。
論文 参考訳（メタデータ） (2026-03-13T17:18:03Z) - AnchorWeave: World-Consistent Video Generation with Retrieved Local Spatial Memories [78.78355829813793]
既存のメモリベースのアプローチでは、歴史的に再構成された幾何学のアンカービデオをレンダリングすることで、グローバルに再構成された3Dシーンを条件付けすることが多い。
AnchorWeaveは、単一の不整合グローバルメモリを複数のローカルな幾何学的メモリに置き換える、メモリ拡張ビデオ生成フレームワークである。
実験によると、AnchorWeaveは視覚的品質を維持しながら、長期的なシーンの一貫性を著しく向上する。
論文 参考訳（メタデータ） (2026-02-16T17:23:08Z) - Local-Global Associative Frame Assemble in Video Re-ID [57.7470971197962]
ビデオ列から自動生成されたオブジェクト境界ボックスにおける雑音および非表現フレームは、ビデオ再識別(Re-ID)における識別表現の学習に困難をもたらす
既存の手法の多くは、局所的な部分アライメントまたはグローバルな外観相関によって、ビデオフレームの重要性を個別に評価することで、この問題に対処している。
本研究では,局所的なアライメントとグローバルな相関関係を共同で検討し,相互の促進・強化について考察する。
論文 参考訳（メタデータ） (2021-10-22T19:07:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。