論文の概要: World-T3: Test-Time Training as Persistent Memory for Real-Time Video World Models

• arxiv url: http://arxiv.org/abs/2610.17434v1
• Date: Mon, 12 Oct 2026 21:52:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.460986
• Title: World-T3: Test-Time Training as Persistent Memory for Real-Time Video World Models
• Title（参考訳）: World-T3:リアルタイムビデオワールドモデルのための永続記憶としてのテストタイムトレーニング
• Abstract要約: 本稿では、過去の観測を専用モデルパラメータに集約するテストタイムトレーニングメモリを備えた、カメラ制御ビデオワールドモデルであるWorld-T3を紹介する。 我々のTTメモリは、カメラのポーズによる高速な状態から以前に観測されたシーンの特徴を読み出し、一定のストレージとステップごとの計算で一貫した生成を可能にする。 長期のリビジットベンチマークでは、World-T3はPSNRを13.52から18.31dBに引き上げ、絶対回転誤差を3.344から1.075に減らした。
• 参考スコア（独自算出の注目度）: 23.209945433503382
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in video world models have enabled plausible interactive environments, yet long-horizon generation places a fundamental demand on visual memory: the previously observed world must remain consistent as the model continues to generate. Existing autoregressive approaches often implicitly rely on the generative model itself to retain such information, leading to spatial memory decay beyond the active context. We introduce World-T3, a camera-controlled video world model with a test-time training memory that consolidates past observations into dedicated model parameters. To robustly update this memory, we propose a recursive least-squares rule that incrementally absorbs novel visual features via online pose-keyed memory updates. Our TTT memory reads out previously observed scene features from the fast-weight state by camera pose, enabling consistent generation with constant storage and per-step computation regardless of rollout length. To facilitate real-time interactive generation with this robust memory, we further distill the autoregressive model into a few-step generator via dual-teacher distribution matching. On a long-horizon revisit benchmark, World-T3 raises revisit PSNR from 13.52 to 18.31 dB and reduces absolute rotation error from 3.344 to 1.075 relative to the strongest baseline on both metrics, while sustaining 20.6 FPS at 1280 x 704 on a single NVIDIA B200 GPU.
• Abstract（参考訳）: ビデオワールドモデルの最近の進歩により、プラウチブルなインタラクティブな環境が実現されているが、長い水平な生成は、視覚記憶に基本的な需要を与えている: これまで観察された世界は、モデルが生成し続けるにつれて一貫していなければならない。 既存の自己回帰的アプローチは、しばしばそのような情報を保持するために生成モデル自体を暗黙に頼り、アクティブな文脈を超えて空間記憶が崩壊する。 本稿では、過去の観測を専用モデルパラメータに集約するテストタイムトレーニングメモリを備えた、カメラ制御ビデオワールドモデルであるWorld-T3を紹介する。 このメモリを堅牢に更新するために、オンラインのポーズキーメモリ更新を通じて新しい視覚的特徴を漸進的に吸収する再帰的最小二乗ルールを提案する。 我々のTTTメモリは、カメラポーズによる高速な状態から以前に観測されたシーンの特徴を読み出し、一定の記憶とロールアウト長に関わらずステップ毎の計算を連続的に生成する。 この頑健なメモリでリアルタイムの対話的生成を容易にするため、我々はさらに2段階の教師分布マッチングにより自己回帰モデルを数段階のジェネレータに抽出する。 長期のリビジットベンチマークでは、World-T3はPSNRを13.52から18.31dBに引き上げ、絶対回転誤差を3.344から1.075に減らし、一方のNVIDIA B200 GPUでは20.6 FPSを1280 x 704で維持する。

関連論文リスト

• WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory [60.18419531120148]
  我々は、この目的のためにカメラクエリ可能な暗黙的な3Dメモリを学ぶビデオワールドモデルであるWorldCrafterを紹介する。 重要な洞察は、要求された視点をビデオジェネレータの限定トークン予算にマルチビューエビデンスを圧縮する方法を形作ることである。 静的および動的シーンにわたる実験では、長距離一貫性とカメラ制御精度が大幅に向上した。
  論文  参考訳（メタデータ） (2026-09-21T17:57:06Z)
• Addressable Memory for Video World Models [50.40232922140905]
  インタラクティブなビデオワールドモデルにおける視覚的永続性について研究する。 長時間の視覚的永続性のためのトレーニング不要なメモリフレームワーク WorldTrace を提案する。
  論文  参考訳（メタデータ） (2026-08-07T16:55:57Z)
• MegaSlide-DiT: Memory-Centric Adaptation and Deformable Local Attention for Efficient Video Diffusion [3.7821833028870038]
  MegaSlide-DiTは、1.5TBのホストRAMを持つ単一のH200 GPU上で、事前トレーニングされた105B DiTをどのように適用できるかを示すプロトタイプである。 私たちの考えでは、すべての永続的な重み、マスターウェイト、モーメントがホストメモリに留まるわけではなく、オンデマンドでGPUにストリームされるのは一時的なシャードだけなのです。
  論文  参考訳（メタデータ） (2026-07-17T19:30:05Z)
• Matrix-Game 3.0: Real-Time and Streaming Interactive World Model with Long-Horizon Memory [53.39687409541093]
  Matrix-Game 3.0は、720pのリアルタイムビデオ生成用に設計されたメモリ拡張型インタラクティブワールドモデルである。 データ、モデル、推論にまたがる体系的な改善を導入する。 実験結果から, Matrix-Game 3.0は最大40FPSのリアルタイム生成を実現し, 5Bモデルで720pの解像度を実現した。
  論文  参考訳（メタデータ） (2026-04-10T06:00:09Z)
• LoGeR: Long-Context Geometric Reconstruction with Hybrid Memory [97.14005794889134]
  提案するLoGeRは,高密度な3次元再構成を,後最適化なしで極めて長いシーケンスに拡張する新しいアーキテクチャである。 LoGeRはビデオストリームをチャンクで処理し、高忠実度なチャンク内推論に強力な双方向の事前処理を活用する。 このメモリアーキテクチャにより、LoGeRは128フレームのシーケンスでトレーニングでき、推論中に数千フレームまで一般化できる。
  論文  参考訳（メタデータ） (2026-03-03T18:55:37Z)
• RELIC: Interactive Video World Model with Long-Horizon Memory [74.81433479334821]
  真のインタラクティブな世界モデルは、リアルタイムの長距離ストリーミング、一貫した空間記憶、正確なユーザ制御を必要とする。 この3つの課題を完全に解決する統合フレームワークであるRELICを紹介します。 単一の画像とテキスト記述が与えられた後、RELICは任意のシーンをリアルタイムにメモリを意識した長期探索を可能にする。
  論文  参考訳（メタデータ） (2025-12-03T18:29:20Z)
• Video World Models with Long-term Spatial Memory [110.530715838396]
  本稿では,ビデオワールドモデルの長期的整合性を高める新しい枠組みを提案する。 我々のフレームワークは、長期空間記憶から情報を保存・取得する機構を含んでいる。 評価の結果,関連するベースラインに比べて品質,一貫性,コンテキスト長が向上した。
  論文  参考訳（メタデータ） (2025-06-05T17:42:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。