論文の概要: Drone-assisted Road Gaussian Splatting with Cross-view Uncertainty

• arxiv url: http://arxiv.org/abs/2408.15242v1
• Date: Tue, 27 Aug 2024 17:59:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 12:53:10.575541
• Title: Drone-assisted Road Gaussian Splatting with Cross-view Uncertainty
• Title（参考訳）: クロスビュー不確実性を考慮したドローン支援型道路ガウシアンスプラッティング
• Authors: Saining Zhang, Baijun Ye, Xiaoxue Chen, Yuantao Chen, Zongzheng Zhang, Cheng Peng, Yongliang Shi, Hao Zhao,
• Abstract要約: 3D Gaussian Splatting (3D-GS)は、ニューラルレンダリングにおいて画期的な進歩を遂げた。 大規模な道路シーンレンダリングの一般的な忠実度は、入力画像によって制限されることが多い。 カービューのアンサンブルに基づくレンダリングの不確実性と空中画像とのマッチングにより、3D-GSにクロスビューの不確実性を導入する。
• 参考スコア（独自算出の注目度）: 10.37108303188536
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robust and realistic rendering for large-scale road scenes is essential in autonomous driving simulation. Recently, 3D Gaussian Splatting (3D-GS) has made groundbreaking progress in neural rendering, but the general fidelity of large-scale road scene renderings is often limited by the input imagery, which usually has a narrow field of view and focuses mainly on the street-level local area. Intuitively, the data from the drone's perspective can provide a complementary viewpoint for the data from the ground vehicle's perspective, enhancing the completeness of scene reconstruction and rendering. However, training naively with aerial and ground images, which exhibit large view disparity, poses a significant convergence challenge for 3D-GS, and does not demonstrate remarkable improvements in performance on road views. In order to enhance the novel view synthesis of road views and to effectively use the aerial information, we design an uncertainty-aware training method that allows aerial images to assist in the synthesis of areas where ground images have poor learning outcomes instead of weighting all pixels equally in 3D-GS training like prior work did. We are the first to introduce the cross-view uncertainty to 3D-GS by matching the car-view ensemble-based rendering uncertainty to aerial images, weighting the contribution of each pixel to the training process. Additionally, to systematically quantify evaluation metrics, we assemble a high-quality synthesized dataset comprising both aerial and ground images for road scenes.
• Abstract（参考訳）: 大規模道路シーンのロバストでリアルなレンダリングは、自動運転シミュレーションにおいて不可欠である。 近年,3次元ガウススプラッティング(3D-GS)はニューラルレンダリングにおいて画期的な進歩を遂げているが,大規模な道路シーンレンダリングの一般的な忠実度は入力画像によって制限されることが多い。 直感的には、ドローンの観点からのデータは、地上車両の観点からのデータと相補的な視点を与え、シーンの再構築とレンダリングの完全性を高めることができる。 しかし、3D-GSでは大きな視界差を示す空地画像と地上画像とのNaivelyトレーニングが大きなコンバージェンス課題となり、道路ビューの性能改善は目覚ましいものではなかった。 道路ビューの新規な視線合成を強化し,航空情報を効果的に活用するために,従来の3D-GSトレーニングのように全ての画素を重み付けするのではなく,地上画像が学習結果の劣る領域の合成を支援する不確実性認識訓練を設計する。 カービューアンサンブルに基づくレンダリングの不確実性と空中画像とをマッチングし,各画素のトレーニングプロセスへの寄与を重み付けることにより,初めて3D-GSにクロスビュー不確実性を導入する。 さらに,評価指標を体系的に定量化するために,道路シーンの航空画像と地上画像の両方からなる高品質な合成データセットを組み立てる。

関連論文リスト

• Drive-1-to-3: Enriching Diffusion Priors for Novel View Synthesis of Real Vehicles [81.29018359825872]
  本稿では,実世界の課題に対して,大規模な事前学習モデルを微調整するための一連の優れたプラクティスを統合する。 具体的には,合成データと実運転データとの相違を考慮に入れたいくつかの戦略を開発する。 我々の洞察は、先行芸術よりも新しいビュー合成のためのFIDを68.8%値下げする効果のある微調整につながる。
  論文  参考訳（メタデータ） (2024-12-19T03:39:13Z)
• Extrapolated Urban View Synthesis Benchmark [53.657271730352214]
  光現実性シミュレーターは視覚中心型自動運転車(AV)の訓練と評価に不可欠である 中心となるのはノベルビュー合成(英語版)(NVS)であり、これはAVの広範かつ連続的なポーズ分布に対応するために、様々な目に見えない視点を生成する重要な能力である。 近年の3次元ガウス・スプラッティングのような放射場の発展は、リアルタイムなリアルタイムレンダリングを実現し、大規模ドライビングシーンのモデリングに広く利用されている。 私たちは、自動運転車と都市ロボットシミュレーション技術の進歩を支援するために、データを公開しました。
  論文  参考訳（メタデータ） (2024-12-06T18:41:39Z)
• Horizon-GS: Unified 3D Gaussian Splatting for Large-Scale Aerial-to-Ground Scenes [55.15494682493422]
  本稿では,ガウシアン・スプレイティング技術に基づく新しい手法であるHorizon-GSを導入し,航空やストリートビューの統一的な再構築とレンダリングに挑戦する。 提案手法は,これらの視点と新たなトレーニング戦略を組み合わせることによる重要な課題に対処し,視点の相違を克服し,高忠実度シーンを生成する。
  論文  参考訳（メタデータ） (2024-12-02T17:42:00Z)
• SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
  現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。 この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。 そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T09:20:29Z)
• 3D Data Augmentation for Driving Scenes on Camera [50.41413053812315]
  本稿では,Drive-3DAugと呼ばれる3次元データ拡張手法を提案する。 まずNeural Radiance Field(NeRF)を用いて,背景および前景の3次元モデルの再構成を行う。 そして、予め定義された背景の有効領域に適応した位置と向きの3Dオブジェクトを配置することにより、拡張駆動シーンを得ることができる。
  論文  参考訳（メタデータ） (2023-03-18T05:51:05Z)
• Simple and Effective Synthesis of Indoor 3D Scenes [78.95697556834536]
  1枚以上の画像から3D屋内シーンを没入する問題について検討する。 我々の狙いは、新しい視点から高解像度の画像とビデオを作成することである。 本稿では,不完全点雲の再投影から高解像度のRGB-D画像へ直接マップするイメージ・ツー・イメージのGANを提案する。
  論文  参考訳（メタデータ） (2022-04-06T17:54:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。