論文の概要: FlexDrive: Toward Trajectory Flexibility in Driving Scene Reconstruction and Rendering
- arxiv url: http://arxiv.org/abs/2502.21093v1
- Date: Fri, 28 Feb 2025 14:32:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-03 13:41:45.607350
- Title: FlexDrive: Toward Trajectory Flexibility in Driving Scene Reconstruction and Rendering
- Title(参考訳): FlexDrive: シーン再構築とレンダリングの軌道フレキシビリティを目指して
- Authors: Jingqiu Zhou, Lue Fan, Linjiang Huang, Xiaoyu Shi, Si Liu, Zhaoxiang Zhang, Hongsheng Li,
- Abstract要約: 経路外ビューの再構築の監督として,コンパクトで高品質な画像を作成するために,逆ビューワーピング技術を導入する。
提案手法は,広く使用されているOpenデータセット上で,経路内および経路外再構成およびレンダリング性能を向上する。
- 参考スコア(独自算出の注目度): 79.39246982782717
- License:
- Abstract: Driving scene reconstruction and rendering have advanced significantly using the 3D Gaussian Splatting. However, most prior research has focused on the rendering quality along a pre-recorded vehicle path and struggles to generalize to out-of-path viewpoints, which is caused by the lack of high-quality supervision in those out-of-path views. To address this issue, we introduce an Inverse View Warping technique to create compact and high-quality images as supervision for the reconstruction of the out-of-path views, enabling high-quality rendering results for those views. For accurate and robust inverse view warping, a depth bootstrap strategy is proposed to obtain on-the-fly dense depth maps during the optimization process, overcoming the sparsity and incompleteness of LiDAR depth data. Our method achieves superior in-path and out-of-path reconstruction and rendering performance on the widely used Waymo Open dataset. In addition, a simulator-based benchmark is proposed to obtain the out-of-path ground truth and quantitatively evaluate the performance of out-of-path rendering, where our method outperforms previous methods by a significant margin.
- Abstract(参考訳): ドライビングシーンの再構築とレンダリングは3Dガウススプラッティングによって大幅に進歩した。
しかしながら、これまでのほとんどの研究は、事前に記録された車両経路に沿ったレンダリング品質に焦点を当てており、パス外視点への一般化に苦慮しており、パス外視点における高品質な監視の欠如が原因である。
この問題に対処するため,我々は,コンパクトで高品質な画像を作成するための逆ビューワープ技術を導入し,それらのビューに対する高品質なレンダリング結果を実現する。
高精度で頑健な逆ビューワープのために,LiDAR深度データの空間性と不完全性を克服し,高度深度マップをオンザフライで取得するための深さブートストラップ方式を提案する。
提案手法は,広範に使用されているWaymo Openデータセット上で,経路内および経路外再構成およびレンダリング性能を向上する。
さらに,提案手法は,提案手法が従来の手法よりも有意な差で性能を保ち,パス外レンダリングの性能を定量的に評価するために,シミュレータベースのベンチマークを提案する。
関連論文リスト
- Horizon-GS: Unified 3D Gaussian Splatting for Large-Scale Aerial-to-Ground Scenes [55.15494682493422]
本稿では,ガウシアン・スプレイティング技術に基づく新しい手法であるHorizon-GSを導入し,航空やストリートビューの統一的な再構築とレンダリングに挑戦する。
提案手法は,これらの視点と新たなトレーニング戦略を組み合わせることによる重要な課題に対処し,視点の相違を克服し,高忠実度シーンを生成する。
論文 参考訳(メタデータ) (2024-12-02T17:42:00Z) - Drone-assisted Road Gaussian Splatting with Cross-view Uncertainty [10.37108303188536]
3D Gaussian Splatting (3D-GS)は、ニューラルレンダリングにおいて画期的な進歩を遂げた。
大規模な道路シーンレンダリングの一般的な忠実度は、入力画像によって制限されることが多い。
カービューのアンサンブルに基づくレンダリングの不確実性と空中画像とのマッチングにより、3D-GSにクロスビューの不確実性を導入する。
論文 参考訳(メタデータ) (2024-08-27T17:59:55Z) - Efficient Depth-Guided Urban View Synthesis [52.841803876653465]
高速フィードフォワード推論とシーンごとのファインチューニングのための効率的な深層誘導型都市ビュー合成(EDUS)を提案する。
EDUSは、粗い入力画像から一般化可能な都市ビュー合成を可能にするためのガイダンスとして、ノイズの多い幾何学的先行情報を利用する。
その結果,EDUSは高速なテスト時間最適化と組み合わせることで,スパース・ビュー・セッティングにおける最先端性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2024-07-17T08:16:25Z) - Pixel to Elevation: Learning to Predict Elevation Maps at Long Range using Images for Autonomous Offroad Navigation [10.898724668444125]
本稿では,車載エゴセントリック画像のみをリアルタイムに利用して,長距離の地形標高マップを予測できる学習型アプローチを提案する。
複雑で非構造的な地形における自律型オフロードロボットナビゲーションへの提案手法の適用性を実験的に検証した。
論文 参考訳(メタデータ) (2024-01-30T22:37:24Z) - Calibrating Panoramic Depth Estimation for Practical Localization and
Mapping [20.621442016969976]
周囲環境の絶対深度値は, 局所化, ナビゲーション, 3次元構造推定など, 様々な補助技術にとって重要な手がかりとなる。
本研究では,パノラマ画像から推定される精度の高い深度が,3次元情報を必要とする幅広い下流タスクに対して,強力で軽量な入力として機能することを提案する。
論文 参考訳(メタデータ) (2023-08-27T04:50:05Z) - Monocular BEV Perception of Road Scenes via Front-to-Top View Projection [57.19891435386843]
本稿では,鳥の目視で道路配置と車両占有率によって形成された局所地図を再構築する新しい枠組みを提案する。
我々のモデルは1つのGPU上で25FPSで動作し、リアルタイムパノラマHDマップの再構築に有効である。
論文 参考訳(メタデータ) (2022-11-15T13:52:41Z) - Structure-Aware Completion of Photogrammetric Meshes in Urban Road
Environment [13.7725733099315]
道路上の不要車両をシームレスに除去することによりメッシュの品質を向上させるための構造対応補完手法を提案する。
提案手法は大規模シーンのタイル付きメッシュモデルも処理可能であることに留意する必要がある。
論文 参考訳(メタデータ) (2020-11-23T05:04:28Z) - Photon-Driven Neural Path Guiding [102.12596782286607]
本稿では,スパース標本群から誘導される経路の高品質なサンプリング分布を再構築するニューラルパス誘導手法を提案する。
我々は、光源から追跡した光子をサンプリング密度再構成の入力として利用し、強力なグローバル照明の挑戦シーンに非常に効果的である。
提案手法は,従来の最先端の経路案内手法よりも,テストシーンのレンダリング結果が大幅に向上する。
論文 参考訳(メタデータ) (2020-10-05T04:54:01Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-03-27T21:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。