論文の概要: Video World Models with Long-term Spatial Memory

• arxiv url: http://arxiv.org/abs/2506.05284v1
• Date: Thu, 05 Jun 2025 17:42:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.858008
• Title: Video World Models with Long-term Spatial Memory
• Title（参考訳）: 長期空間記憶型ビデオワールドモデル
• Authors: Tong Wu, Shuai Yang, Ryan Po, Yinghao Xu, Ziwei Liu, Dahua Lin, Gordon Wetzstein,
• Abstract要約: 本稿では,ビデオワールドモデルの長期的整合性を高める新しい枠組みを提案する。 我々のフレームワークは、長期空間記憶から情報を保存・取得する機構を含んでいる。 評価の結果,関連するベースラインに比べて品質,一貫性,コンテキスト長が向上した。
• 参考スコア（独自算出の注目度）: 110.530715838396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Emerging world models autoregressively generate video frames in response to actions, such as camera movements and text prompts, among other control signals. Due to limited temporal context window sizes, these models often struggle to maintain scene consistency during revisits, leading to severe forgetting of previously generated environments. Inspired by the mechanisms of human memory, we introduce a novel framework to enhancing long-term consistency of video world models through a geometry-grounded long-term spatial memory. Our framework includes mechanisms to store and retrieve information from the long-term spatial memory and we curate custom datasets to train and evaluate world models with explicitly stored 3D memory mechanisms. Our evaluations show improved quality, consistency, and context length compared to relevant baselines, paving the way towards long-term consistent world generation.
• Abstract（参考訳）: 新興世界モデルは、カメラの動きやテキストプロンプトなどのアクションに応答して、自動回帰的にビデオフレームを生成する。 時間的コンテキストのウィンドウサイズが限られているため、これらのモデルはリビジョン時にシーンの一貫性を維持するのに苦労することが多く、以前生成された環境をひどく忘れてしまう。 人間の記憶のメカニズムに触発されて,幾何学的空間記憶による映像世界モデルの長期的整合性を高める新しい枠組みを導入する。 我々のフレームワークには、長期空間記憶から情報を保存・取得する機構が含まれており、我々はカスタムデータセットをキュレートして、明示的に記憶された3Dメモリ機構で世界モデルを訓練・評価する。 評価の結果,関連するベースラインに比べて品質,一貫性,コンテキスト長が向上し,長期的一貫した世界創出への道が開けた。

関連論文リスト

• Long-Context State-Space Video World Models [66.28743632951218]
  本稿では、状態空間モデル(SSM)を活用して、計算効率を損なうことなく時間記憶を拡張する新しいアーキテクチャを提案する。 我々の設計の中心はブロックワイズSSMスキャン方式であり、時間記憶の拡張のために空間整合性を戦略的にトレードオフする。 メモリ迷路とMinecraftのデータセットの実験は、我々のアプローチが長距離メモリ保存のベースラインを超えたことを示している。
  論文  参考訳（メタデータ） (2025-05-26T16:12:41Z)
• Learning 3D Persistent Embodied World Models [84.40585374179037]
  我々は、以前に生成されたコンテンツの明示的なメモリを備えた、新しい永続的エンボディド・ワールドモデルを導入する。 映像拡散モデルでは, 映像拡散モデルにより, エージェントの今後の観察のRGB-D映像が予測される。 この生成は、環境の永続的な3Dマップに集約される。
  論文  参考訳（メタデータ） (2025-05-05T17:59:17Z)
• WORLDMEM: Long-term Consistent World Simulation with Memory [20.450750381415965]
  WorldMemは、メモリフレームとステートを格納するメモリユニットで構成されるメモリバンクでシーン生成を強化するフレームワークである。 本手法は,重要な視点や時間的ギャップの下でも,事前に観察されたシーンを正確に再構成することができる。
  論文  参考訳（メタデータ） (2025-04-16T17:59:30Z)
• FACTS: A Factored State-Space Framework For World Modelling [24.08175276756845]
  本研究では,時空間空間モデリングのための新しいリカレントフレームワークであるtextbfFACTored textbfState-space (textbfFACTS) モデルを提案する。 FACTSフレームワークは、置換可能なメモリ表現を学習するルーティング機構を備えたグラフメモリを構築する。 汎用的な世界モデリング設計にもかかわらず、常に最先端のモデルに勝ったり、マッチする。
  論文  参考訳（メタデータ） (2024-10-28T11:04:42Z)
• Global-to-Local Modeling for Video-based 3D Human Pose and Shape Estimation [53.04781510348416]
  フレーム内精度とフレーム間スムーズさにより,映像に基づく3次元人間のポーズと形状推定を評価する。 エンドツーエンドフレームワークGLoT(Global-to-Local Transformer)における長期的・短期的相関のモデル化を構造的に分離することを提案する。 我々のGLoTは、一般的なベンチマーク(3DPW、MPI-INF-3DHP、Human3.6M)において、最も低いモデルパラメータを持つ従来の最先端の手法を上回る。
  論文  参考訳（メタデータ） (2023-03-26T14:57:49Z)
• Video Dehazing via a Multi-Range Temporal Alignment Network with Physical Prior [117.6741444489174]
  ビデオのデハジングは、高い可視性とコントラストでヘイズフリーフレームを回復することを目的としている。 本稿では,物理ヘイズ先行を探索し,時間的情報を集約する新しい枠組みを提案する。 大規模な屋外ビデオデハージングベンチマークデータセットを構築した。
  論文  参考訳（メタデータ） (2023-03-17T03:44:17Z)
• GTA: Global Temporal Attention for Video Action Understanding [51.476605514802806]
  空間的注意を軸にグローバルな時間的注目を行うグローバルテンポラルアテンション(AGT:Global Temporal Attention)を分離的に紹介します。 2Dおよび3Dネットワーク上でのテストは、我々のアプローチが時間的モデリングを一貫して強化し、3つのビデオアクション認識データセットに対して最先端のパフォーマンスを提供することを示す。
  論文  参考訳（メタデータ） (2020-12-15T18:58:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。