論文の概要: Urban4D: Semantic-Guided 4D Gaussian Splatting for Urban Scene Reconstruction

• arxiv url: http://arxiv.org/abs/2412.03473v1
• Date: Wed, 04 Dec 2024 16:59:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:07:56.411368
• Title: Urban4D: Semantic-Guided 4D Gaussian Splatting for Urban Scene Reconstruction
• Title（参考訳）: Urban 4D:セマンティックガイドによる4Dガウシアンスプラッティングによる都市景観復元
• Authors: Ziwen Li, Jiaxin Huang, Runnan Chen, Yunlong Che, Yandong Guo, Tongliang Liu, Fakhri Karray, Mingming Gong,
• Abstract要約: Urban4Dは、深い2Dセマンティックマップ生成の進歩に触発されたセマンティック誘導分解戦略である。 我々のアプローチは、信頼できるセマンティック・ガウシアンを通して潜在的に動的対象を区別する。 実世界のデータセットでの実験では、Urban4Dは従来の最先端の手法と同等または優れた品質を実現している。
• 参考スコア（独自算出の注目度）: 86.4386398262018
• License:
• Abstract: Reconstructing dynamic urban scenes presents significant challenges due to their intrinsic geometric structures and spatiotemporal dynamics. Existing methods that attempt to model dynamic urban scenes without leveraging priors on potentially moving regions often produce suboptimal results. Meanwhile, approaches based on manual 3D annotations yield improved reconstruction quality but are impractical due to labor-intensive labeling. In this paper, we revisit the potential of 2D semantic maps for classifying dynamic and static Gaussians and integrating spatial and temporal dimensions for urban scene representation. We introduce Urban4D, a novel framework that employs a semantic-guided decomposition strategy inspired by advances in deep 2D semantic map generation. Our approach distinguishes potentially dynamic objects through reliable semantic Gaussians. To explicitly model dynamic objects, we propose an intuitive and effective 4D Gaussian splatting (4DGS) representation that aggregates temporal information through learnable time embeddings for each Gaussian, predicting their deformations at desired timestamps using a multilayer perceptron (MLP). For more accurate static reconstruction, we also design a k-nearest neighbor (KNN)-based consistency regularization to handle the ground surface due to its low-texture characteristic. Extensive experiments on real-world datasets demonstrate that Urban4D not only achieves comparable or better quality than previous state-of-the-art methods but also effectively captures dynamic objects while maintaining high visual fidelity for static elements.
• Abstract（参考訳）: 動的都市景観の再構築は, その内在的な幾何学的構造と時空間的ダイナミックスにより, 重要な課題を呈している。 動的都市景観をモデル化する既存の手法は、潜在的に動いた地域を先取りすることなく、しばしば準最適結果をもたらす。 一方、手動3Dアノテーションに基づくアプローチでは、再構築品質が向上するが、労働集約的なラベリングにより実用的でない。 本稿では,動的・静的なガウスの分類と都市景観表現のための空間的・時間的次元の統合のための2次元意味地図の可能性を再考する。 深部2次元意味マップ生成の進歩に触発された意味誘導分解戦略を取り入れた新しいフレームワークであるUrban4Dを紹介する。 我々のアプローチは、信頼できるセマンティック・ガウシアンを通して潜在的に動的対象を区別する。 動的対象を明示的にモデル化するために,多層パーセプトロン(MLP)を用いて,各ガウスの学習可能な時間埋め込みを通じて時間情報を集約し,所望のタイムスタンプでの変形を予測する,直感的で効果的な4Dガウススプラッティング(4DGS)表現を提案する。 また, より正確な静的再構成を行うため, 低テクスチャ特性のため, 地表面の整合性を考慮したKNN(k-nearest neighbor)を設計する。 実世界のデータセットに対する大規模な実験は、Urban4Dが従来の最先端の手法と同等あるいは優れた品質を達成するだけでなく、静的要素の視覚的忠実さを維持しながら、動的オブジェクトを効果的にキャプチャすることを示した。

関連論文リスト

• 4D Gaussian Splatting: Modeling Dynamic Scenes with Native 4D Primitives [116.2042238179433]
  本稿では,動的シーンを非拘束な4次元ボリューム学習問題とみなす。 本研究では,4次元ガウス原始体の集合を対象とした動的シーンを明示的な幾何学的特徴と外観的特徴で表現する。 このアプローチは、下層のフォトリアリスティック時間体積を適合させることで、空間と時間の関連情報をキャプチャすることができる。 特に、我々の4DGSモデルは、複雑なダイナミックシーンのための、高解像度で斬新なビューのリアルタイムレンダリングをサポートする最初のソリューションです。
  論文  参考訳（メタデータ） (2024-12-30T05:30:26Z)
• DeSiRe-GS: 4D Street Gaussians for Static-Dynamic Decomposition and Surface Reconstruction for Urban Driving Scenes [71.61083731844282]
  本稿では,自己教師型ガウススプラッティング表現であるDeSiRe-GSについて述べる。 複雑な駆動シナリオにおいて、効率的な静的・動的分解と高忠実な表面再構成を可能にする。
  論文  参考訳（メタデータ） (2024-11-18T05:49:16Z)
• DENSER: 3D Gaussians Splatting for Scene Reconstruction of Dynamic Urban Environments [0.0]
  動的オブジェクトの表現を大幅に強化するフレームワークであるDENSERを提案する。 提案手法は最先端の手法を広いマージンで大幅に上回る。
  論文  参考訳（メタデータ） (2024-09-16T07:11:58Z)
• Gaussian Splatting LK [0.11249583407496218]
  本稿では,動的ガウススティングフレームワークにおけるネイティブワープフィールドの正規化の可能性について検討する。 フォワードワープフィールドネットワークに固有の知識を利用して解析速度場を導出できることが示される。 このルーカス・カナーデ型解析正規化により,高ダイナミックなシーンを再構成する際の優れた性能を実現することができる。
  論文  参考訳（メタデータ） (2024-07-16T01:50:43Z)
• HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting [53.6394928681237]
  RGB画像に基づく都市景観の全体的理解は、難しいが重要な問題である。 我々の主な考え方は、静的な3Dガウスと動的なガウスの組合せを用いた幾何学、外観、意味論、運動の合同最適化である。 提案手法は,2次元および3次元のセマンティック情報を高精度に生成し,新たな視点をリアルタイムに描画する機能を提供する。
  論文  参考訳（メタデータ） (2024-03-19T13:39:05Z)
• Periodic Vibration Gaussian: Dynamic Urban Scene Reconstruction and Real-time Rendering [36.111845416439095]
  周期振動ガウスモデル(PVG)を提案する。 PVGは、当初静的シーン表現のために設計された効率的な3Dガウススプラッティング技術に基づいている。 PVGは、最良の代替品よりも900倍の速度でレンダリングできる。
  論文  参考訳（メタデータ） (2023-11-30T13:53:50Z)
• Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
  動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。 我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。 我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
  論文  参考訳（メタデータ） (2023-08-18T17:59:21Z)
• LoRD: Local 4D Implicit Representation for High-Fidelity Dynamic Human Modeling [69.56581851211841]
  そこで我々は,LoRDという,動的に衣を着る人間の局所的な4D暗黙表現を提案する。 私たちの重要な洞察は、ネットワークがローカルな部分レベルの表現の潜在コードを学ぶように促すことです。 LoRDは、4D人間を表現する能力が強く、実用上の最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2022-08-18T03:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。