論文の概要: Motion- and Gravity-Aware Feedforward 3D Reconstruction

• arxiv url: http://arxiv.org/abs/2610.22177v1
• Date: Thu, 15 Oct 2026 16:34:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.193213
• Title: Motion- and Gravity-Aware Feedforward 3D Reconstruction
• Title（参考訳）: 運動・重力を考慮したフィードフォワード3次元再構成
• Abstract要約: 本稿では,LUPI(Learning Using Privileged Information)パラダイムの下で,動きと重力を意識したフレームワークを提案する。 トレーニング中は、幾何表現学習をガイドする特権信号として、残留光流と重力方向が提供される。 標準ベンチマークの実験では、特に動的オブジェクトを持つシーンにおいて、再構成精度とロバスト性が一貫した向上を示した。
• 参考スコア（独自算出の注目度）: 7.154350536721338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feed-forward transformer models have recently achieved strong performance in multi-view 3D reconstruction, but they still rely primarily on appearance-based attention and often struggle in dynamic scenes with weak geometric cues. In this work, we introduce a motion- and gravity-aware framework under the Learning Using Privileged Information (LUPI) paradigm. During training, residual optical flow and gravity direction are provided as privileged signals to guide geometric representation learning; during inference, the model uses standard visual inputs only. We integrate these priors into transformer backbones with lightweight architectural changes, preserving feed-forward efficiency. Experiments on standard benchmarks show consistent gains in reconstruction accuracy and robustness, especially in scenes with dynamic objects, ambiguous structure, and challenging camera motion. Our analysis further shows that the optimal injection stage is backbone-dependent: middle-layer integration is generally preferable for VGGT, while late-stage integration is more effective for π3. These results suggest that LUPI offers a practical way to inject motion and physical priors into feed-forward 3D reconstruction without increasing test-time complexity.
• Abstract（参考訳）: フィードフォワードトランスフォーマーモデルは近年、マルチビュー3D再構成において高いパフォーマンスを達成しているが、見た目に基づく注意と、弱い幾何学的手がかりを持つ動的なシーンでしばしば苦戦している。 本研究では,LUPI(Learning Using Privileged Information)パラダイムに基づく動きと重力を意識したフレームワークを提案する。 トレーニング中、残留する光学フローと重力方向は幾何学的表現学習を導く特権信号として提供され、推論中は標準視覚入力のみを使用する。 これらの前身をトランスフォーマーのバックボーンに統合し、軽量なアーキテクチャ変更を行い、フィードフォワード効率を保ちます。 標準ベンチマークの実験では、特に動的オブジェクト、あいまいな構造、挑戦的なカメラモーションのシーンにおいて、復元精度と堅牢性が一貫した向上を示した。 我々の分析では、最適注入段階はバックボーンに依存しており、中層結合は一般的にVGGTで好まれるが、後期結合はπ3でより効果的である。 これらの結果から,LUPIは,テストタイムの複雑さを増大させることなく,フィードフォワード3次元再構成に運動や身体的先行を注入する実用的な方法であることがわかった。

関連論文リスト

• MOSAIC-GS: Monocular Scene Reconstruction via Advanced Initialization for Complex Dynamic Environments [12.796165448365949]
  MOSAIC-GSはモノクロビデオから高忠実度ダイナミックシーンを再構築するための、新しく、完全に明示的で、計算的に効率的なアプローチである。 我々は,深度,光学的流れ,動的物体セグメンテーション,点追跡など,複数の幾何学的手法を活用する。 我々は,MOSAIC-GSが既存の手法に比べて大幅に高速な最適化とレンダリングを実現することを実証した。
  論文  参考訳（メタデータ） (2026-01-08T20:48:24Z)
• Visual Odometry with Transformers [68.453547770334]
  特徴抽出により単眼フレームのシーケンスを処理するビジュアル・オドメトリ・トランスフォーマ(VoT)を導入する。 従来の方法とは異なり、VoTは密度の高い幾何学を推定することなくカメラの動きを直接予測し、監視のためにカメラのポーズのみに依存する。 VoTは、より大きなデータセットで効果的にスケールし、より強力なトレーニング済みバックボーンの恩恵を受け、多様なカメラモーションとキャリブレーション設定を一般化し、従来のメソッドよりも3倍以上高速に動作しながらパフォーマンスを向上する。
  論文  参考訳（メタデータ） (2025-10-02T17:00:14Z)
• STream3R: Scalable Sequential 3D Reconstruction with Causal Transformer [72.88105562624838]
  本稿では,ポイントマップ予測をデコーダのみの変換器問題として再構成する新しい3次元再構成手法STream3Rを提案する。 大規模な3Dデータセットから幾何学的先行性を学ぶことで、STream3Rは多様で困難なシナリオにうまく一般化する。 この結果から,オンライン3次元知覚のための因果変換モデルの可能性を浮き彫りにし,ストリーミング環境におけるリアルタイム3次元理解の道を開いた。
  論文  参考訳（メタデータ） (2025-08-14T17:58:05Z)
• DGS-LRM: Real-Time Deformable 3D Gaussian Reconstruction From Monocular Videos [52.46386528202226]
  Deformable Gaussian Splats Large Reconstruction Model (DGS-LRM)を紹介する。 動的シーンのモノクロポーズビデオから変形可能な3Dガウススプラットを予測する最初のフィードフォワード法である。 最先端のモノクロビデオ3D追跡手法と同等の性能を発揮する。
  論文  参考訳（メタデータ） (2025-06-11T17:59:58Z)
• MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
  我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。 各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。 我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
  論文  参考訳（メタデータ） (2024-10-04T18:00:07Z)
• Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
  動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。 具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。 より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
  論文  参考訳（メタデータ） (2024-03-18T03:46:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。