論文の概要: Dyna3: VLM-Guided Training-Free 4D Reconstruction via Depth Foundation Models

• arxiv url: http://arxiv.org/abs/2610.01286v1
• Date: Thu, 01 Oct 2026 08:24:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.999117
• Title: Dyna3: VLM-Guided Training-Free 4D Reconstruction via Depth Foundation Models
• Title（参考訳）: Dyna3: 深部基礎モデルによるVLM誘導トレーニングフリー4D再構成
• Abstract要約: Dyna3はトレーニング不要のフレームワークで、4D動的シーン再構築のためにDA3を拡張する。 動的オブジェクトセグメンテーションにおけるVGGT4Dに対して,Dyna3は+5.5pp J-Meanで対応訓練された手法を超越していることを示す。
• 参考スコア（独自算出の注目度）: 10.437664755422574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent depth foundation models like Depth Anything 3 (DA3) achieve remarkable multi-view depth estimation but assume static 3D scenes, limiting their applicability to real-world dynamic environments. Existing training-free 4D methods like Easi3R and VGGT4D rely on correspondence-trained backbones whose attention encodes cross-frame matching, a property absent in depth-only models like DA3. We present Dyna3, a training-free framework that extends DA3 for 4D dynamic scene reconstruction without any fine-tuning. Our key insight is that DA3's cross-view features, though trained only for depth consistency, implicitly encode motion-discriminative signals when combined with best-match feature search across frames. Its static surfaces find consistent matches globally, while dynamic objects cannot. We further adopt vision-language models (VLM) to automatically generate scene-specific semantic prompts for SAM 3, enabling precise instance-level segmentation that distinguishes which objects move from what objects exist. For reconstruction, we decouple the scene into a cross-frame aligned static background and per-frame dynamic point clouds. Experiments on four datasets demonstrate that Dyna3 surpasses correspondence-trained methods with +5.5pp J-Mean over state-of-the-art VGGT4D on dynamic object segmentation, while achieving up to 13x faster pose estimation and 3x faster 4D reconstruction with 4 to 8x lower memory. Dyna3 could therefore enable much denser temporal sampling that prior methods cannot support.
• Abstract（参考訳）: 近年のDepth Anything 3 (DA3)のような深度基礎モデルは、目覚ましい多視点深度推定を実現しているが、静的な3Dシーンを仮定し、現実の動的環境に適用性を制限する。 Easi3RやVGGT4Dのような既存のトレーニング不要の4Dメソッドは、DA3のような深度のみのモデルにはない、フレーム間のマッチングを注意を符号化する通信訓練されたバックボーンに依存している。 我々は,4次元動的シーン再構成のためのDA3を拡張するトレーニングフリーフレームワークDyna3について,微調整なしで紹介する。 私たちの重要な洞察は、DA3のクロスビュー機能は、奥行きの一貫性のためにのみ訓練されているが、フレーム間のベストマッチ機能検索と組み合わせることで、暗黙的にモーション識別信号を符号化していることです。 静的曲面はグローバルに一貫性のある一致を見出すが、動的オブジェクトはできない。 我々はさらに視覚言語モデル(VLM)を採用し、SAM 3のシーン固有のセマンティックプロンプトを自動的に生成する。 再構築のために、シーンをクロスフレームの静的バックグラウンドとフレームごとの動的ポイントクラウドに分離します。 4つのデータセットの実験では、Dyna3は動的オブジェクトセグメンテーションにおける最先端のVGGT4Dよりも5.5pp J-Meanで対応訓練された手法を超越し、最大13倍高速なポーズ推定と4倍から8倍高速な4D再構成を実現している。 したがって、Dyna3は、以前のメソッドがサポートできないような、より高密度な時間サンプリングを可能にする。

関連論文リスト

• Motion4D: Learning 3D-Consistent Motion and Semantics for 4D Scene Understanding [54.859943475818234]
  基礎モデルからの2次元先行を統一された4次元ガウススプラッティング表現に統合する新しいフレームワークであるMotion4Dを提案する。 1) 局所的な一貫性を維持するために連続的に動き場と意味体を更新する逐次最適化,2) 長期的コヒーレンスのために全ての属性を共同で洗練するグローバル最適化,である。 提案手法は,ポイントベーストラッキング,ビデオオブジェクトセグメンテーション,新しいビュー合成など,多様なシーン理解タスクにおいて,2次元基礎モデルと既存の3Dベースアプローチの両方に優れる。
  論文  参考訳（メタデータ） (2025-12-03T09:32:56Z)
• VGGT4D: Mining Motion Cues in Visual Geometry Transformers for 4D Scene Reconstruction [15.933288728509337]
  VGGT4Dは、3DファウンデーションモデルであるVGGTを拡張して、堅牢な4Dシーン再構築を実現する。 当社のアプローチは,VGGTのグローバルアテンションレイヤが,リッチでレイヤワイドなダイナミックなキューを暗黙的にエンコードしている,という重要な発見に動機付けられています。 本手法は,動的物体分割,カメラポーズ推定,高密度再構成において優れた性能を実現する。
  論文  参考訳（メタデータ） (2025-11-25T06:30:22Z)
• C4D: 4D Made from 3D through Dual Correspondences [77.04731692213663]
  時間的対応を利用して既存の3次元再構成を4Dに拡張するフレームワークであるC4Dを紹介する。 C4Dは、短期光学フローと長期点追跡の2種類の対応をキャプチャする。 我々は、追加の移動情報を提供する動的認識ポイントトラッカーを訓練する。
  論文  参考訳（メタデータ） (2025-10-16T17:59:06Z)
• Easi3R: Estimating Disentangled Motion from DUSt3R Without Training [69.51086319339662]
  Easi3Rは,4次元再構成のための簡易かつ効率的なトレーニングフリー手法である。 提案手法は,事前学習やネットワークファインチューニングの必要性を排除し,推論中の注意適応を適用した。 実世界のダイナミックビデオの実験では、従来の最先端手法よりも軽量な注意適応が著しく優れていたことが示されている。
  論文  参考訳（メタデータ） (2025-03-31T17:59:58Z)
• Driv3R: Learning Dense 4D Reconstruction for Autonomous Driving [116.10577967146762]
  マルチビュー画像シーケンスからフレーム単位のポイントマップを直接回帰するフレームワークであるDriv3Rを提案する。 我々は4次元フロー予測器を用いてシーン内の移動物体を識別し、これらの動的領域の再構築をより重視する。 Driv3Rは4D動的シーン再構築において従来のフレームワークより優れており、推論速度は15倍高速である。
  論文  参考訳（メタデータ） (2024-12-09T18:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。