論文の概要: AlayaWorld: Interactive Long-Horizon World Modeling - Full Technical Report (v1.1)
- arxiv url: http://arxiv.org/abs/2608.13492v1
- Date: Thu, 13 Aug 2026 17:21:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.614568
- Title: AlayaWorld: Interactive Long-Horizon World Modeling - Full Technical Report (v1.1)
- Title（参考訳）: AlayaWorld: Interactive Long-Horizon World Modeling - Full Technical Report (v1.1)
- Abstract要約: 我々は、モデルにコンディショニング信号がどのように表現され、統合されるかを再検討する。
条件付け信号は、潜在表現と時間構造の両方において、可能な限り生成した内容と一致すべきである。
- 参考スコア（独自算出の注目度）: 39.20781986625199
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This report presents an improved version of AlayaWorld. While the backbone architecture, chunk-wise autoregressive generation scheme, and training data remain unchanged from the previous release, we substantially revise how conditioning signals are represented and integrated into the model. The new design is guided by a simple principle: conditioning signals should match the generated content as closely as possible in both latent representation and temporal structure. To this end, we make two major changes. First, we replace the previous depth-warping-based spatial memory with a streaming 3D point-cache renderer. Second, we redesign the conditioning pipeline so that visual conditions are encoded in the same causal-VAE latent space, with temporal statistics consistent with those of the generated video. Concretely, the new version introduces six modifications: (1) replacing static-frame image conditioning with motion-aware latent conditioning; (2) causally encoding re-rendered spatial memory as a continuous sequence; (3) aligning the temporal-memory window in pixel space; (4) adopting hard memory dropout that removes memory tokens rather than zeroing them; (5) unifying the VAE encoding and decoding protocol across training and inference; and (6) removing the camera AdaLN branch, such that viewpoint control is provided entirely through the re-rendered spatial condition.
- Abstract（参考訳）: 本報告では、AlayaWorldの改良版を示す。
バックボーンアーキテクチャ、チャンクワイド自己回帰生成方式、トレーニングデータは、前回のリリースから変化しないが、コンディショニング信号がどのように表現され、モデルに統合されるかを大幅に改善する。
条件付け信号は、潜在表現と時間的構造の両方において、可能な限り生成した内容と一致すべきである。
この目的のために、大きな変更が2つあります。
まず,従来の深度ウォーピング方式の空間メモリを,ストリーミング3Dポイントキャッシュレンダラーに置き換える。
第2に,視覚条件が同一因果-VAE潜時空間にエンコードされるように条件付けパイプラインを再設計し,時間統計は生成した映像と一致している。
具体的には、(1)静止フレームイメージコンディショニングをモーション対応の遅延条件に置き換える、(2)再レンダリングされた空間メモリを連続的なシーケンスとして因果的に符号化する、(3)時間記憶ウィンドウを画素空間に整列させる、(4)ハードメモリのドロップアウトを採用する、(5)トレーニングや推論を通じてVAEエンコーディングとデコードプロトコルを統一する、(6)カメラAdaLNブランチを除去し、再レンダリングされた空間条件によって視点制御が完全に提供される。
関連論文リスト
- Latent Spatial Memory for Video World Models [45.02259712072663]
ビデオワールドモデルのためのエンフラテント空間記憶を導入し、3Dキャッシュでシーン情報を拡散潜時空間に直接保存し、画素空間の再構成を避ける。
実験により、遅延空間メモリは、より高速なエンドツーエンドビデオ生成と、明示的な3Dベースラインに対するメモリフットプリントの削減を実現する。
論文 参考訳（メタデータ） (2026-06-08T17:59:54Z) - Echo-Memory: A Controlled Study of Memory in Action World Models [58.77172260403133]
本研究では,行動条件付き世界モデルにおける記憶機構の制御に関する研究を行う。
既存のメモリ設計と比較するのは難しいのは、ゲインにはバックボーン、トレーニング、検索、評価の違いが絡み合っているからである。
我々はEcho-Memoryを使ってアクション・ツー・ビデオのインタフェースを修正し、生成元によって履歴が保存され読み込まれるかだけを変える。
論文 参考訳（メタデータ） (2026-06-08T17:54:10Z) - Robust Dreamer: Deviation-Aware Latent Gaussian Memory for Action-Controlled AR Video Generation [89.70897512515477]
アクション制御された画像対ビデオ生成は、インタラクティブな世界シミュレーションにおいて有望なパラダイムであり、各制御信号が即時視覚応答を誘発する。
長時間の自己回帰的なロールアウトに対する視覚的忠実さと3D一貫性を維持することは依然として難しい。
既存の3D認識手法は、textitLatent--RGB Cyclingからの情報損失と、textiterror-free仮説によって引き起こされるトレーニング-推論ギャップという2つの障害により、破滅的なドリフトに悩まされることが多い。
textbfRobust Dreamerという,メモリ拡張フレームワークについて紹介する。
論文 参考訳（メタデータ） (2026-05-29T05:21:33Z) - Rethinking Memory as Continuously Evolving Connectivity [63.58181883607843]
既存のメモリ拡張LDMエージェントは、メモリを事前定義された表現と固定された検索パイプラインを備えた静的リポジトリとして扱う。
メモリをヘテロジニアスなグラフとしてモデル化し,そのトポロジを3段階にわたって段階的に洗練する,コネクティビティ進化型メモリフレームワークであるFluxMemを提案する。
LoCoMo、Mind2Web、GAIAなど、根本的に異なる3つのベンチマークにおいて、FluxMemは一貫した最先端のパフォーマンスを実現し、複雑なエージェント環境において強力な適応と一般化を示す。
論文 参考訳（メタデータ） (2026-05-27T17:35:34Z) - Attend Locally, Remember Linearly: Linear Attention as Cross-Frame Memory for Autoregressive Video Diffusion [61.57938553036056]
ARL2は、二次的なクロスフレームアテンションを固定サイズのリカレント状態に置き換えるハイブリッドアテンションモジュールである。
本研究では,フレーム内ソフトマックスブランチとフレーム間リカレント線形ブランチの2つに分割し,ストリームコンテキストの固定サイズ状態を維持する。
75%の層がハイブリッドリニアアテンションに置き換えられ、最大2.26ウォールクロックのスピードアップと54%のメモリ削減を実現した。
論文 参考訳（メタデータ） (2026-05-15T19:33:45Z) - Ray-Aware Pointer Memory with Adaptive Updates for Streaming 3D Reconstruction [19.132257919770947]
連続画像ストリームからの3次元再構成には、正確な幾何集約と安定したメモリ管理が必要である。
空間的位置と視線方向の両方を明示的にモデル化した3次元再構成のためのレイアウェア・ポインターメモリを提案する。
われわれのアプローチは、画像ストリームからのスケーラブルでドリフトに耐性のあるオンライン3D再構成のための、原則化されたフレームワークを提供する。
論文 参考訳（メタデータ） (2026-05-07T06:42:11Z) - AnyRecon: Arbitrary-View 3D Reconstruction with Video Diffusion Model [29.087865646035695]
カジュアルキャプチャーからシーンをモデリングするためにはスパースビュー3D再構成が不可欠であるが、非生成的再構築には依然として困難である。
我々は任意のスパース入力から復元するスケーラブルなフレームワークであるAnyReconを提案する。
実験では、不規則な入力、大きな視点ギャップ、長い軌道をまたいだ堅牢でスケーラブルな再構築が示されている。
論文 参考訳（メタデータ） (2026-04-21T17:59:47Z) - I3DM: Implicit 3D-aware Memory Retrieval and Injection for Consistent Video Scene Generation [56.33710337846449]
I3DMは、一貫した映像シーン生成のための暗黙的な3D対応メモリ機構である。
われわれのアプローチの核心は3D対応メモリ検索戦略である。
検索した履歴フレームをフル活用するために,3次元メモリインジェクションモジュールを導入する。
論文 参考訳（メタデータ） (2026-03-24T16:45:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。