論文の概要: Stream4D: Streaming 4D Reconstruction with Training-free Motion Decoupling via Causal KV-Cache Attention

• arxiv url: http://arxiv.org/abs/2610.31320v1
• Date: Thu, 22 Oct 2026 14:11:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.401274
• Title: Stream4D: Streaming 4D Reconstruction with Training-free Motion Decoupling via Causal KV-Cache Attention
• Title（参考訳）: Stream4D: 因果KVキャッシュによるトレーニング不要モーションデカップリングによる4D再構成
• Abstract要約: 既存のストリーミング手法は静的なシーンを前提としており、長いシーケンスで漂流とゴーストのアーティファクトをポーズさせる。 トレーニング不要のモーションデカップリング型ストリーミング再構築フレームワークであるStream4Dを,因果トランスフォーマーのバックボーンに直接組み込むことができる。 多様なダイナミックシーンのベンチマークでは、Stream4Dはカメラのポーズ推定と静的シーンの復元品質を大幅に改善し、信頼性の高いダイナミックマスクを出力し、ロングシーケンスのゴーストを効果的に緩和する。
• 参考スコア（独自算出の注目度）: 19.639023829882518
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 4D scene reconstruction requires robust handling of dynamic objects, yet existing streaming methods commonly assume static scenes, leading to pose drift and ghosting artifacts over long sequences. We introduce Stream4D, a training-free, motion-decoupled streaming reconstruction framework that can be directly integrated into causal Transformer backbones (e.g., StreamVGGT, Stream3R). Our key observation is that causal attention implicitly encodes rich temporal motion cues within the KV cache. We adaptively aggregate these cues from multiple attention layers and across temporal windows, and fuse them with depth priors to handle challenging cases such as occlusions and textureless regions, producing precise dynamic masks that decouple static and dynamic regions. We then apply a soft key masking scheme that leverages these dynamic masks to suppress interference from dynamic regions in causal attention, thereby improving camera pose estimation accuracy. Stream4D inherits the efficiency of causal attention and remains compatible with existing streaming architectures. On diverse dynamic-scene benchmarks, Stream4D significantly improves camera pose estimation and static-scene reconstruction quality, yields reliable dynamic masks, and effectively mitigates long-sequence ghosting.
• Abstract（参考訳）: 4Dシーンの再構築には動的オブジェクトの堅牢なハンドリングが必要であるが、既存のストリーミング手法では静的なシーンを前提としており、長いシーケンスでドリフトやゴーストのアーティファクトをポーズさせる。 トレーニング不要のモーションデカップリング型ストリーミング再構築フレームワークであるStream4Dを,因果トランスフォーマーのバックボーン(StreamVGGT,Stream3Rなど)に直接組み込むことができる。 我々のキーとなる観察は、因果的注意がKVキャッシュ内のリッチ・テンポラル・モーションキューを暗黙的に符号化することである。 我々はこれらのキューを複数の注意層や時間的窓から順応的に集約し、密閉領域やテクスチャレス領域などの困難なケースに対処するために、奥行きを融合させ、静的領域と動的領域を分離する正確な動的マスクを生成する。 次に、これらのダイナミックマスクを利用したソフトキーマスキング手法を適用し、因果的注意における動的領域からの干渉を抑制することにより、カメラポーズ推定精度を向上させる。 Stream4Dは因果的注意の効率を継承し、既存のストリーミングアーキテクチャとの互換性を維持している。 多様なダイナミックシーンのベンチマークでは、Stream4Dはカメラのポーズ推定と静的シーンの復元品質を大幅に改善し、信頼性の高いダイナミックマスクを出力し、ロングシーケンスのゴーストを効果的に緩和する。

関連論文リスト

• R-DMesh: Video-Guided 3D Animation via Rectified Dynamic Mesh Flow [50.93811008612562]
  動画誘導3Dアニメーションは、動的資産の直感的かつ正確な制御を提供するコンテンツ制作の可能性を秘めている。 現実のシナリオでは、ユーザーが提供するビデオの最初のポーズは、参照ビデオの開始フレームとほとんど一致しない。 ビデオコンテキストに合わせて高忠実度4Dメッシュを生成するためのフレームワークであるR-DMeshを提案する。
  論文  参考訳（メタデータ） (2026-05-13T17:58:13Z)
• Catalyst4D: High-Fidelity 3D-to-4D Scene Editing via Dynamic Propagation [51.4527986348543]
  高品質な3D編集を動的4Dガウスシーンに転送するフレームワークであるCatalyst4Dを紹介する。 AMGは、オリジナルのガウスアンと編集されたガウスアンの両方から、構造的に安定で空間的に代表的なアンカーのセットを構築している。 CUARは、ガウス色当たりの不確かさを推定することにより、時間的外観整合性を維持する。
  論文  参考訳（メタデータ） (2026-03-13T08:10:27Z)
• MoRe: Motion-aware Feed-forward 4D Reconstruction Transformer [45.19539316971492]
  MoReは、モノクロビデオから動的3Dシーンを効率よく回収するフィードフォワード4D再構成ネットワークである。 強力な静的再構築バックボーンを基盤として構築されたMoReは、静的構造から動的動作をアンタングルするために注意を強制する戦略を採用している。 複数のベンチマークの実験により、MoReは例外的な効率で高品質な動的再構成を実現することが示された。
  論文  参考訳（メタデータ） (2026-03-05T11:51:07Z)
• Flow4R: Unifying 4D Reconstruction and Tracking with Scene Flow [61.297800738187355]
  Flow4Rは、Vision Transformerを用いて、画素当たりのプロパティセット3Dポイント位置、シーンフロー、ポーズウェイト、および2ビュー入力からの信頼度を最小限に予測する。 静的データセットと動的データセットを併用してトレーニングされたFlow4Rは、4D再構築とトラッキングタスクにおける最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-15T06:58:08Z)
• MUT3R: Motion-aware Updating Transformer for Dynamic 3D Reconstruction [24.474529522394405]
  MUT3Rは,注意由来の動作キューを適用して,推論中の動的コンテンツを抑制する学習自由フレームワークである。 我々はモデルを再訓練したり微調整したりせず、事前訓練されたトランスフォーマーが自身の動きの手がかりを診断し、修正する。
  論文  参考訳（メタデータ） (2025-12-03T16:36:53Z)
• Easi3R: Estimating Disentangled Motion from DUSt3R Without Training [69.51086319339662]
  Easi3Rは,4次元再構成のための簡易かつ効率的なトレーニングフリー手法である。 提案手法は,事前学習やネットワークファインチューニングの必要性を排除し,推論中の注意適応を適用した。 実世界のダイナミックビデオの実験では、従来の最先端手法よりも軽量な注意適応が著しく優れていたことが示されている。
  論文  参考訳（メタデータ） (2025-03-31T17:59:58Z)
• Driv3R: Learning Dense 4D Reconstruction for Autonomous Driving [116.10577967146762]
  マルチビュー画像シーケンスからフレーム単位のポイントマップを直接回帰するフレームワークであるDriv3Rを提案する。 我々は4次元フロー予測器を用いてシーン内の移動物体を識別し、これらの動的領域の再構築をより重視する。 Driv3Rは4D動的シーン再構築において従来のフレームワークより優れており、推論速度は15倍高速である。
  論文  参考訳（メタデータ） (2024-12-09T18:58:03Z)
• Dynamics-Aware Gaussian Splatting Streaming Towards Fast On-the-Fly 4D Reconstruction [15.588032729272536]
  現在の3DGSベースのストリーミング手法は、ガウス原始体を均一に扱い、密度の高いガウスを常に更新する。 そこで本研究では, 反復的流動性4次元動的空間再構成のための新しい3段階パイプラインを提案する。 提案手法は,オンライン4次元再構成における最先端性能を実現し,最速のオンザフライトレーニング,優れた表現品質,リアルタイムレンダリング能力を示す。
  論文  参考訳（メタデータ） (2024-11-22T10:47:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。