論文の概要: StreetForward: Perceiving Dynamic Street with Feedforward Causal Attention

• arxiv url: http://arxiv.org/abs/2603.19552v1
• Date: Fri, 20 Mar 2026 01:31:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:38.934619
• Title: StreetForward: Perceiving Dynamic Street with Feedforward Causal Attention
• Title（参考訳）: ストリートフォワード:フィードフォワード因果関係を考慮したダイナミックストリートの知覚
• Authors: Zhongrui Yu, Zhao Wang, Yijia Xie, Yida Wang, Xueyang Zhang, Yifei Zhan, Kun Zhan,
• Abstract要約: 動的道路再建のためのポーズフリーかつトラッカーフリーフィードフォワードフレームワークであるStreetForwardについて述べる。 本稿では,画像シーケンスから動的動き情報をキャプチャする,シンプルで効果的な仮面アテンションモジュールを提案する。 我々は、オープンデータセット上でモデルをトレーニングし、評価し、既存の方法と比較して、新しいビューと深さで優れたパフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 11.60018084377282
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Feedforward reconstruction is crucial for autonomous driving applications, where rapid scene reconstruction enables efficient utilization of large-scale driving datasets in closed-loop simulation and other downstream tasks, eliminating the need for time-consuming per-scene optimization. We present StreetForward, a pose-free and tracker-free feedforward framework for dynamic street reconstruction. Building upon the alternating attention mechanism from Visual Geometry Grounded Transformer (VGGT), we propose a simple yet effective temporal mask attention module that captures dynamic motion information from image sequences and produces motion-aware latent representations. Static content and dynamic instances are represented uniformly with 3D Gaussian Splatting, and are optimized jointly by cross-frame rendering with spatio-temporal consistency, allowing the model to infer per-pixel velocities and produce high-fidelity novel views at new poses and times. We train and evaluate our model on the Waymo Open Dataset, demonstrating superior performance on novel view synthesis and depth estimation compared to existing methods. Furthermore, zero-shot inference on CARLA and other datasets validates the generalization capability of our approach. More visualizations are available on our project page: https://streetforward.github.io.
• Abstract（参考訳）: フィードフォワード再構成は、クローズドループシミュレーションやその他の下流タスクにおける大規模運転データセットの効率的な利用を可能にし、シーンごとの時間的最適化の必要性を排除し、自律運転アプリケーションにとって不可欠である。 動的道路再建のためのポーズフリーかつトラッカーフリーフィードフォワードフレームワークであるStreetForwardについて述べる。 Visual Geometry Grounded Transformer (VGGT) の交互アテンション機構を基盤として,画像シーケンスから動的モーション情報をキャプチャし,動き認識の潜在表現を生成する,シンプルで効果的な仮面アテンションモジュールを提案する。 静的コンテンツと動的インスタンスは3Dガウススプラッティングと一様に表現され、時空間整合性を持つクロスフレームレンダリングによって協調的に最適化され、モデルがピクセル毎の速度を推測し、新しいポーズや時間で高忠実なノベルビューを生成することができる。 我々は、Waymo Open Dataset上で、我々のモデルをトレーニングし、評価し、既存の方法と比較して、新しいビュー合成と深さ推定において優れた性能を示す。 さらに、CARLAや他のデータセットに対するゼロショット推論は、我々のアプローチの一般化能力を検証する。 詳しくはプロジェクトのページを参照してほしい。

関連論文リスト

• DGGT: Feedforward 4D Reconstruction of Dynamic Driving Scenes using Unposed Images [36.562825380568384]
  ポーズレス動的シーン再構築のための統合フレームワークである textbf driving Gaussian Grounded Transformer (DGGT) を紹介する。 提案手法は,フレームごとの3次元ガウスマップとカメラパラメータを共同で予測し,軽量なダイナミックヘッドでダイナミックスを歪曲する。 拡散ベースのレンダリング改善により、運動・補間アーティファクトがさらに減少し、スパース入力下での新規ビュー品質が向上する。
  論文  参考訳（メタデータ） (2025-12-02T18:29:18Z)
• Tracktention: Leveraging Point Tracking to Attend Videos Faster and Better [61.381599921020175]
  時間的一貫性は、出力が一貫性があり、アーティファクトがないことを保証するために、ビデオ予測において重要である。 時間的注意や3D畳み込みといった伝統的な手法は、重要な物体の動きに苦しむことがある。 本稿では,ポイントトラックを用いた動き情報を明示的に統合する新しいアーキテクチャコンポーネントであるトラックキート・レイヤを提案する。
  論文  参考訳（メタデータ） (2025-03-25T17:58:48Z)
• MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
  我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。 各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。 我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
  論文  参考訳（メタデータ） (2024-10-04T18:00:07Z)
• D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
  本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。 我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
  論文  参考訳（メタデータ） (2024-06-14T14:35:44Z)
• Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
  本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。 同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
  論文  参考訳（メタデータ） (2024-06-06T03:37:39Z)
• Dyna-DepthFormer: Multi-frame Transformer for Self-Supervised Depth Estimation in Dynamic Scenes [19.810725397641406]
  シーン深度と3次元運動場を協調的に予測する新しいDyna-Depthformerフレームワークを提案する。 まず,多視点の相関を一連の自己・横断的層を通じて活用し,深度特徴表現の強化を図る。 第2に,動的物体の運動場をセマンティック・プレセプションを使わずに推定するワーピングに基づく運動ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-01-14T09:43:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。