論文の概要: Foundation4D: Towards a unified perception and reconstruction model for autonomous vehicles

• arxiv url: http://arxiv.org/abs/2610.30340v1
• Date: Wed, 21 Oct 2026 19:00:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.10976
• Title: Foundation4D: Towards a unified perception and reconstruction model for autonomous vehicles
• Title（参考訳）: Foundation4D: 自動運転車の統一認識と再構築モデルを目指して
• Abstract要約: Foundation4Dは、幾何学的推定3次元検出、意味的占有、ビデオからのガウス的再構成のための統合フィードフォワードモデルである。 幾何学的占有を伴うコトレーニング検出は、検出のみのトレーニングよりも、トップクラスのmAPを1.2ポイント改善する。 我々はさらに、予測幾何と軌跡をライダーレスNuRecの前駆体として利用し、シミュレーションのための走行シーンの再構築を支援する。
• 参考スコア（独自算出の注目度）: 50.869471010323956
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Foundation4D, a unified feed-forward model for geometry estimation, 3D detection, semantic occupancy, and Gaussian reconstruction from multi-camera driving video. A shared backbone uses factorized spatiotemporal attention to efficiently combine observations across cameras and time. Our video inference pipeline uses pose graph optimization to refine camera trajectories and assembles object tracks across input windows. We also develop a data annotation pipeline and release PAI-Foundation4D, a benchmark with dense depth and semantic occupancy labels for 1,253 driving clips. With benchmark-specific fine-tuning, Foundation4D achieves the lowest depth AbsRel on Waymo and nuScenes, the highest detection mAP on nuScenes, and the highest occupancy mIoU on OpenOccupancy among the compared methods. Our task-combination study shows benefits for both detection and geometry: co-training detection with geometry and occupancy improves top-class mAP by 1.2 points over detection-only training, while co-training geometry with detection reduces camera-to-rig translation error by $13.4\%$ relative to geometry-only training. We further use the predicted geometry and trajectories as priors for lidarless NuRec, supporting reconstruction of driving scenes for simulation.
• Abstract（参考訳）: 本稿では,多カメラ駆動ビデオから幾何推定,3次元検出,意味的占有,ガウス的再構成を行うための統合フィードフォワードモデルであるFoundation4Dを紹介する。 共有バックボーンは、分解された時空間的注意を使って、カメラと時間間の観察を効率的に組み合わせる。 私たちのビデオ推論パイプラインは、ポーズグラフの最適化を使用して、カメラの軌跡を洗練し、入力ウィンドウ全体にわたってオブジェクトトラックを組み立てます。 また、データアノテーションパイプラインを開発し、1,253のドライビングクリップのための深度とセマンティック占有率ラベルのベンチマークであるPAI-Foundation4Dをリリースする。 ベンチマーク固有の微調整により、Foundation4DはWaymoとnuScenesのAbsRelの最低深度、nuScenesの最高検出mAP、OpenOccupancyの最高占有mIoUを達成した。 我々のタスク結合研究は、検出と幾何学の両方の利点を示している: 幾何学と占有によるコトレーニング検出は、検出のみのトレーニングよりも、トップクラスのmAPを1.2ポイント改善する一方、検出によるコトレーニング幾何は、幾何学のみのトレーニングと比較して、カメラとリグの翻訳誤差を13.4 %削減する。 我々はさらに、予測幾何と軌跡をライダーレスNuRecの前駆体として利用し、シミュレーションのための走行シーンの再構築を支援する。

関連論文リスト

• Geometry-Grounded Unified 3D Perception for Autonomous Driving [36.11730832045922]
  カメラベースの自律運転認識には、同期マルチカメラストリーム間のメートル法3D構造を保存する共有表現が必要である。 本稿では、VGGTの再構成指向の潜伏を校正・ストリーミング駆動シーンに適応させる、幾何グラウンドの統一3次元知覚フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-13T12:17:50Z)
• Learning to Reason in 4D: Dynamic Spatial Understanding for Vision Language Models [79.18306680174011]
  DSR Suiteは、データセット、ベンチマーク、モデルの各面にギャップを埋める。 そこで本研究では,DSRビデオから複数問合せペアを生成する自動パイプラインを提案する。 パイプラインは、カメラポーズ、局所点雲、オブジェクトマスク、向き、および3Dトラジェクトリを含む、豊富な幾何学的および運動的な情報を抽出する。
  論文  参考訳（メタデータ） (2025-12-23T17:56:36Z)
• St4RTrack: Simultaneous 4D Reconstruction and Tracking in the World [106.91539872943864]
  St4RTrackは、RGB入力から世界座標フレーム内の動的ビデオコンテンツを同時に再構成し、追跡するフレームワークである。 静的および動的シーン幾何学の両方をキャプチャして、同じ世界において、同時に両方のポイントマップを予測する。 統合されたデータ駆動フレームワークの有効性と効率を実証し、世界フレームの再構築と追跡のための新しい広範囲なベンチマークを構築します。
  論文  参考訳（メタデータ） (2025-04-17T17:55:58Z)
• Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction [72.54905331756076]
  動的シーンのモノクロ3次元再構成にビデオ拡散モデルを再利用するGeo4Dを提案する。 大規模な事前訓練ビデオモデルによってキャプチャされた強いダイナミックな事前情報を活用することで、Geo4Dは合成データのみを使用して訓練することができる。 提案手法は,これらのモダリティを調整・融合するマルチモーダルアライメントアルゴリズムと,推論時にスライディングウインドウアプローチを提案する。
  論文  参考訳（メタデータ） (2025-04-10T17:59:55Z)
• Easi3R: Estimating Disentangled Motion from DUSt3R Without Training [69.51086319339662]
  Easi3Rは,4次元再構成のための簡易かつ効率的なトレーニングフリー手法である。 提案手法は,事前学習やネットワークファインチューニングの必要性を排除し,推論中の注意適応を適用した。 実世界のダイナミックビデオの実験では、従来の最先端手法よりも軽量な注意適応が著しく優れていたことが示されている。
  論文  参考訳（メタデータ） (2025-03-31T17:59:58Z)
• PerMO: Perceiving More at Once from a Single Image for Autonomous Driving [76.35684439949094]
  単一画像から完全テクスチャ化された車両の3次元モデルを検出し,セグメント化し,再構成する新しい手法を提案する。 私たちのアプローチは、ディープラーニングの強みと従来のテクニックの優雅さを組み合わせています。 我々はこれらのアルゴリズムを自律運転システムに統合した。
  論文  参考訳（メタデータ） (2020-07-16T05:02:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。