論文の概要: Online Neural Space Time Memory for Dynamic Novel View Synthesis
- arxiv url: http://arxiv.org/abs/2607.15271v1
- Date: Thu, 16 Jul 2026 17:58:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:33.204893
- Title: Online Neural Space Time Memory for Dynamic Novel View Synthesis
- Title（参考訳）: 動的新しい視点合成のためのオンラインニューラル空間時間メモリ
- Abstract要約: テストタイムトレーニング(TTT)は強力なメモリメカニズムを提供する。
標準モデルは、動的シーンの運動の変化に対応するために、各フレームで勾配ベースのメモリ更新を義務付ける。
そこで本手法では,動的人体動作の場面におけるリアルタイム,最先端の演奏と,微細なオンライン記憶の再現を実証する。
- 参考スコア（独自算出の注目度）: 23.462185130690447
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Online novel view synthesis from multi-view streaming videos faces a fundamental trade-off: maintaining a persistent, long-horizon memory to reconstruct temporarily occluded regions while operating under strict real-time constraints. While Test-Time Training (TTT) offers a powerful memory mechanism, standard models mandate gradient-based memory updates at every frame to adapt to the changing motion in dynamic scenes. The computational cost of heavy memory updates precludes real-time application and can lead to instability over long contexts. Given that memory updates are more demanding than memory application and video content is largely redundant, we propose to decouple the frequencies of these two processes. Our approach performs periodic memory updates while applying the memory on a per-frame basis, using cross-view attention to manage deformations between the prior memory state and the current frame. To lock in the historical context, we introduce two critical mechanisms: an auxiliary Memory Loss that forces persistent internalization of the scene, and a Memory Caching strategy that regularizes active weights against catastrophic drift. Our method demonstrates real-time, state-of-the-art performance on scenes with dynamic human motion as well as minute-scale online memorization.
- Abstract（参考訳）: 厳格なリアルタイム制約の下で動作しながら、一時的に閉鎖された領域を再構築するために、永続的で長い水平メモリを維持する。
Test-Time Training (TTT) は強力なメモリメカニズムを提供するが、標準的なモデルは動的シーンにおける動きの変化に対応するために、各フレームに勾配ベースのメモリ更新を委任する。
重メモリ更新の計算コストは、リアルタイムアプリケーションを妨げるとともに、長期にわたる不安定を招きかねない。
メモリ更新はメモリアプリケーションよりも要求が高く、ビデオコンテンツは大部分が冗長であるので、これらの2つのプロセスの周波数を分離することを提案する。
提案手法では, メモリをフレーム単位の周期的メモリ更新を行い, クロスビューアテンションを用いて, 前のメモリ状態と現在のフレーム間の変形を管理する。
歴史的文脈をロックするために、シーンの永続的な内部化を強制する補助記憶損失と、破滅的なドリフトに対するアクティブウェイトを規則化するメモリキャッシュ戦略の2つの重要なメカニズムを導入する。
そこで本手法では,動的人体動作の場面におけるリアルタイム,最先端の演奏と,微細なオンライン記憶の再現を実証する。
関連論文リスト
- RECAP-Forcing: Retaining Content Appearances for Long Video Generation [37.756464872090596]
外観の新規性によって記憶を整理するRECAP-Forcingを提案する。
長いビデオは単なるフレームの連続ではなく、主題、オブジェクト、シーンの進化したキャストである。
ビデオが進化するにつれて、光フローベースのノベルティバンクは、新たに公開されたコンテンツを選択的に保持することで、同じ原理を拡張する。
論文 参考訳（メタデータ） (2026-08-27T06:24:59Z) - MemoryWAM: Efficient World Action Modeling with Persistent Memory [80.90899269062128]
本稿では,効率的な永続メモリを持つ世界アクションモデルであるMemoryWAMを紹介する。
調整された注意機構は、詳細な短期コンテキストと圧縮された長期コンテキストの両方の検索を可能にする。
MemoryWAMは、シミュレーションと実世界の両方において、強力な視覚言語アクション(VLA)とWAMベースラインを上回っている。
論文 参考訳（メタデータ） (2026-06-18T17:59:51Z) - Attend Locally, Remember Linearly: Linear Attention as Cross-Frame Memory for Autoregressive Video Diffusion [61.57938553036056]
ARL2は、二次的なクロスフレームアテンションを固定サイズのリカレント状態に置き換えるハイブリッドアテンションモジュールである。
本研究では,フレーム内ソフトマックスブランチとフレーム間リカレント線形ブランチの2つに分割し,ストリームコンテキストの固定サイズ状態を維持する。
75%の層がハイブリッドリニアアテンションに置き換えられ、最大2.26ウォールクロックのスピードアップと54%のメモリ削減を実現した。
論文 参考訳（メタデータ） (2026-05-15T19:33:45Z) - SWIFT: Prompt-Adaptive Memory for Efficient Interactive Long Video Generation [31.105007908298003]
ストリーミング長ビデオ生成は、連続的なセマンティックスイッチングにおいて中心的な課題に直面している。
現在のアプローチは、プロンプトバウンダリや固定メモリ予算でのキャッシュ再構築に依存している。
マルチプロンプト長ビデオ生成のためのトレーニングフリーフレームワークであるSWIFTを提案する。
論文 参考訳（メタデータ） (2026-05-10T09:37:56Z) - RELIC: Interactive Video World Model with Long-Horizon Memory [74.81433479334821]
真のインタラクティブな世界モデルは、リアルタイムの長距離ストリーミング、一貫した空間記憶、正確なユーザ制御を必要とする。
この3つの課題を完全に解決する統合フレームワークであるRELICを紹介します。
単一の画像とテキスト記述が与えられた後、RELICは任意のシーンをリアルタイムにメモリを意識した長期探索を可能にする。
論文 参考訳（メタデータ） (2025-12-03T18:29:20Z) - WorldMM: Dynamic Multimodal Memory Agent for Long Video Reasoning [66.24870234484668]
我々は,複数の相補的記憶から構築・取得する,新しいマルチモーダルメモリエージェント WorldMM を紹介する。
WorldMMは5つの長いビデオ質問回答ベンチマークで既存のベースラインを大幅に上回っている。
論文 参考訳（メタデータ） (2025-12-02T05:14:52Z) - Mem4D: Decoupling Static and Dynamic Memory for Dynamic Scene Reconstruction [17.587320705104343]
静的幾何学と動的運動のモデリングを分離する新しいフレームワークを提案する。
Mem4Dは、グローバルな整合性を持つ静的幾何学を同時に維持し、高忠実度で動的要素を再構成する。
論文 参考訳（メタデータ） (2025-08-11T12:23:31Z) - Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。
本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。
我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
論文 参考訳（メタデータ） (2024-10-14T03:50:17Z) - CD-NGP: A Fast Scalable Continual Representation for Dynamic Scenes [31.783117836434403]
CD-NGPは、メモリオーバーヘッドを減らし、スケーラビリティを向上させる継続的学習フレームワークである。
トレーニングメモリ使用量は14GBに大幅に削減され、DyNeRFのストリーミング帯域幅はわずか0.4MBである。
論文 参考訳（メタデータ） (2024-09-08T17:35:48Z) - Recurrent Dynamic Embedding for Video Object Segmentation [54.52527157232795]
一定サイズのメモリバンクを構築するためにRDE(Recurrent Dynamic Embedding)を提案する。
本稿では, SAM を長時間の動画でより堅牢にするため, トレーニング段階での無バイアス誘導損失を提案する。
また、メモリバンクの異なる品質のマスクの埋め込みをネットワークが修復できるように、新たな自己補正戦略を設計する。
論文 参考訳（メタデータ） (2022-05-08T02:24:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。