論文の概要: GaussianWorld: Gaussian World Model for Streaming 3D Occupancy Prediction

• arxiv url: http://arxiv.org/abs/2412.10373v1
• Date: Fri, 13 Dec 2024 18:59:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:04:20.440200
• Title: GaussianWorld: Gaussian World Model for Streaming 3D Occupancy Prediction
• Title（参考訳）: ガウシアンワールド:ガウシアンワールドモデルによる3D作業予測
• Authors: Sicheng Zuo, Wenzhao Zheng, Yuanhui Huang, Jie Zhou, Jiwen Lu,
• Abstract要約: 3次元占有予測は、周囲の包括的認識のため、自動運転にとって重要である。 本研究では、シーンの進化を知覚に利用するための世界モデルに基づくフレームワークを提案する。 我々のフレームワークは、追加の計算を導入することなく、mIoUの単一フレームの性能を2%以上向上させる。
• 参考スコア（独自算出の注目度）: 67.81475355852997
• License:
• Abstract: 3D occupancy prediction is important for autonomous driving due to its comprehensive perception of the surroundings. To incorporate sequential inputs, most existing methods fuse representations from previous frames to infer the current 3D occupancy. However, they fail to consider the continuity of driving scenarios and ignore the strong prior provided by the evolution of 3D scenes (e.g., only dynamic objects move). In this paper, we propose a world-model-based framework to exploit the scene evolution for perception. We reformulate 3D occupancy prediction as a 4D occupancy forecasting problem conditioned on the current sensor input. We decompose the scene evolution into three factors: 1) ego motion alignment of static scenes; 2) local movements of dynamic objects; and 3) completion of newly-observed scenes. We then employ a Gaussian world model (GaussianWorld) to explicitly exploit these priors and infer the scene evolution in the 3D Gaussian space considering the current RGB observation. We evaluate the effectiveness of our framework on the widely used nuScenes dataset. Our GaussianWorld improves the performance of the single-frame counterpart by over 2% in mIoU without introducing additional computations. Code: https://github.com/zuosc19/GaussianWorld.
• Abstract（参考訳）: 3次元占有予測は、周囲の包括的認識のため、自動運転にとって重要である。 シーケンシャルな入力を組み込むために、既存のほとんどのメソッドは、現在の3D占有率を推測するために、以前のフレームから表現を融合する。 しかし、彼らは運転シナリオの連続性を考慮せず、3Dシーンの進化によって提供される強い事前を無視する(例えば、動的オブジェクトのみを移動させる)。 本稿では,シーンの進化を知覚に利用するための世界モデルに基づくフレームワークを提案する。 我々は、現在のセンサ入力に基づいて、3D占有率予測を4D占有率予測問題として再構成する。 我々はシーンの進化を3つの要因に分解する。 1) 静止画のエゴ運動アライメント 2) 動的物体の局所運動,及び 3)新しく保存されたシーンの完成。 次に、ガウス世界モデル(ガウス世界)を用いて、これらの先例を明示的に活用し、現在のRGB観測を考慮した3次元ガウス空間におけるシーン進化を推測する。 広く使われているnuScenesデータセットにおけるフレームワークの有効性を評価する。 我々のGaussianWorldは、追加の計算を導入することなく、mIoUでシングルフレーム対応の性能を2%以上向上させる。 コード:https://github.com/zuosc19/GaussianWorld

関連論文リスト

• Robust 3D Semantic Occupancy Prediction with Calibration-free Spatial Transformation [32.50849425431012]
  マルチカメラとLiDARを備えた自動運転車では、高精度で堅牢な予測のために、マルチセンサー情報を統一された3D空間に集約することが重要である。 最近の手法は主にセンサキャリブレーションに依存する2D-to-3D変換に基づいて構築され,2D画像情報を3D空間に投影する。 本研究では,空間対応を暗黙的にモデル化するために,バニラ注意に基づく校正自由空間変換を提案する。
  論文  参考訳（メタデータ） (2024-11-19T02:40:42Z)
• $\textit{S}^3$Gaussian: Self-Supervised Street Gaussians for Autonomous Driving [82.82048452755394]
  光リアルなストリートシーンの3D再構成は、現実の自動運転シミュレータを開発する上で重要な技術である。 既存のストリート3DGS法の多くは、静的および動的要素を分解するために、トラックされた3D車両バウンディングボックスを必要とする。 動的および静的な要素を4次元整合性から分解する自己教師付きストリートガウス(textitS3$Gaussian)手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T17:57:08Z)
• GaussianPrediction: Dynamic 3D Gaussian Prediction for Motion Extrapolation and Free View Synthesis [71.24791230358065]
  動的シーンモデリングと将来のシナリオ合成により,3次元ガウス表現を実現する新しいフレームワークを提案する。 GaussianPredictionは、ダイナミックなシーンのビデオ観察を使用して、あらゆる視点から将来の状態を予測できる。 本フレームワークは,合成データセットと実世界のデータセットの両方で優れた性能を示し,将来の環境の予測とレンダリングの有効性を示す。
  論文  参考訳（メタデータ） (2024-05-30T06:47:55Z)
• GaussianFormer: Scene as Gaussians for Vision-Based 3D Semantic Occupancy Prediction [70.65250036489128]
  3Dのセマンティック占有予測は,周囲のシーンの3Dの微細な形状とセマンティックスを得ることを目的としている。 本稿では,3Dシーンを3Dセマンティック・ガウシアンで表現するオブジェクト中心表現を提案する。 GaussianFormerは17.8%から24.8%のメモリ消費しか持たない最先端のメソッドで同等のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-27T17:59:51Z)
• LoopGaussian: Creating 3D Cinemagraph with Multi-view Images via Eulerian Motion Field [13.815932949774858]
  シネマグラフ(Cinemagraph)は、静止画と微妙な動きの要素を組み合わせた視覚メディアの一種である。 本稿では,3次元ガウスモデルを用いて,2次元画像空間から3次元空間への撮影画像の高次化を提案する。 実験の結果,提案手法の有効性を検証し,高品質で視覚的に魅力的なシーン生成を実証した。
  論文  参考訳（メタデータ） (2024-04-13T11:07:53Z)
• Uncertainty-aware State Space Transformer for Egocentric 3D Hand Trajectory Forecasting [79.34357055254239]
  ハンドトラジェクトリ予測は、AR/VRシステムと対話する際の人間の意図の迅速な理解を可能にするために不可欠である。 既存の方法では、現実の3Dアプリケーションでは不十分な2次元画像空間でこの問題に対処する。 初対人視点で観察されたRGBビデオから3次元空間のハンドトラジェクトリを予測することを目的とした,エゴセントリックな3Dハンドトラジェクトリ予測タスクを構築した。
  論文  参考訳（メタデータ） (2023-07-17T04:55:02Z)
• SurroundOcc: Multi-Camera 3D Occupancy Prediction for Autonomous Driving [98.74706005223685]
  3Dシーン理解は、視覚に基づく自動運転において重要な役割を果たす。 マルチカメラ画像を用いたSurroundOcc法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T17:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。