論文の概要: NeuroGauss4D-PCI: 4D Neural Fields and Gaussian Deformation Fields for Point Cloud Interpolation
- arxiv url: http://arxiv.org/abs/2405.14241v1
- Date: Thu, 23 May 2024 07:21:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 18:34:03.163368
- Title: NeuroGauss4D-PCI: 4D Neural Fields and Gaussian Deformation Fields for Point Cloud Interpolation
- Title（参考訳）: ニューロガス4D-PCI:点雲補間のための4次元ニューラル場とガウス変形場
- Authors: Chaokang Jiang, Dalong Du, Jiuming Liu, Siting Zhu, Zhenqiang Liu, Zhuang Ma, Zhujin Liang, Jie Zhou,
- Abstract要約: 補間は、点の空間性、複雑な時間的ダイナミクス、そして、疎度な時間的情報から完全な3次元点雲を導出することの難しさから課題に直面している。
本稿では,様々な動的シーンにまたがる複雑な非剛性変形のモデル化に優れるNeuroGauss4D-corruptを提案する。
NeuroGauss4D-corruptは、オブジェクトレベルのタスクと大規模自律運転データセットの両方で、主要なパフォーマンスを提供する。
- 参考スコア（独自算出の注目度）: 19.28734823769732
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Point Cloud Interpolation confronts challenges from point sparsity, complex spatiotemporal dynamics, and the difficulty of deriving complete 3D point clouds from sparse temporal information. This paper presents NeuroGauss4D-PCI, which excels at modeling complex non-rigid deformations across varied dynamic scenes. The method begins with an iterative Gaussian cloud soft clustering module, offering structured temporal point cloud representations. The proposed temporal radial basis function Gaussian residual utilizes Gaussian parameter interpolation over time, enabling smooth parameter transitions and capturing temporal residuals of Gaussian distributions. Additionally, a 4D Gaussian deformation field tracks the evolution of these parameters, creating continuous spatiotemporal deformation fields. A 4D neural field transforms low-dimensional spatiotemporal coordinates ($x,y,z,t$) into a high-dimensional latent space. Finally, we adaptively and efficiently fuse the latent features from neural fields and the geometric features from Gaussian deformation fields. NeuroGauss4D-PCI outperforms existing methods in point cloud frame interpolation, delivering leading performance on both object-level (DHB) and large-scale autonomous driving datasets (NL-Drive), with scalability to auto-labeling and point cloud densification tasks. The source code is released at https://github.com/jiangchaokang/NeuroGauss4D-PCI.
- Abstract（参考訳）: ポイントクラウド補間(Point Cloud Interpolation)は、ポイントスペーサ性、複雑な時空間力学、スパース時間情報から完全な3Dポイントクラウドを導出することの難しさといった課題に直面している。
本稿では,様々な動的シーンにまたがる複雑な非剛性変形のモデル化に優れるNeuroGauss4D-PCIを提案する。
この方法は、構造化された時間点クラウド表現を提供する反復的なガウスクラウドソフトクラスタリングモジュールから始まる。
提案した時間的ラジアル基底関数ガウス残差はガウスパラメータの時間的補間を利用して、滑らかなパラメータ遷移を可能にし、ガウス分布の時間的残差を捕捉する。
さらに、4次元ガウス変形場はこれらのパラメータの進化を追跡し、連続的な時空間変形場を生成する。
4次元神経場は低次元時空間座標(x,y,z,t$)を高次元潜在空間に変換する。
最後に,ニューラルネットワークからの潜伏特徴とガウス変形場からの幾何特徴とを適応的かつ効率的に融合する。
NeuroGauss4D-PCIは、ポイントクラウドフレームの補間において既存の方法よりも優れており、オブジェクトレベル(DHB)と大規模自律運転データセット(NL-Drive)の両方でリードパフォーマンスを提供し、自動ラベル付けやポイントクラウドのデンシフィケーションタスクへのスケーラビリティを実現している。
ソースコードはhttps://github.com/jiangchaokang/NeuroGauss4D-PCIで公開されている。
関連論文リスト
- GaussianRoom: Improving 3D Gaussian Splatting with SDF Guidance and Monocular Cues for Indoor Scene Reconstruction [3.043712258792239]
ニューラルネットワークSDFと3DGSを統合した統合フレームワークを提案する。
このフレームワークには学習可能なニューラルネットワークSDFフィールドが組み込まれており、ガウスの密度化と刈り取りをガイドしている。
本手法は, 表面再構成と新しいビュー合成の両面において, 最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-05-30T03:46:59Z) - Gaussian Opacity Fields: Efficient Adaptive Surface Reconstruction in Unbounded Scenes [50.92217884840301]
Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質で適応的な表面再構成のための新しいアプローチである。
GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。
GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
論文 参考訳（メタデータ） (2024-04-16T17:57:19Z) - Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。
我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。
提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
論文 参考訳（メタデータ） (2024-02-07T12:36:54Z) - GauFRe: Gaussian Deformation Fields for Real-time Dynamic Novel View
Synthesis [17.572987038801475]
変形可能な3次元ガウスを用いた動的シーン再構成手法を提案する。
差別化可能なパイプラインは、セルフ教師付きレンダリングでエンドツーエンドに最適化されている。
我々の手法は、最先端のニューラルラジアンス場法に匹敵する。
論文 参考訳（メタデータ） (2023-12-18T18:59:03Z) - Gaussian-Flow: 4D Reconstruction with Dynamic 3D Gaussian Particle [9.082693946898733]
高速な動的シーン再構成と,マルチビューおよびモノクロビデオからのリアルタイムレンダリングのための新しいポイントベースアプローチを提案する。
学習速度の遅さとレンダリング速度によって妨げられるNeRFベースのアプローチとは対照的に,我々はポイントベース3Dガウススプラッティング(3DGS)の最近の進歩を活用している。
提案手法は,フレームごとの3DGSモデリングと比較して,5倍のトレーニング速度を実現し,大幅な効率向上を実現している。
論文 参考訳（メタデータ） (2023-12-06T11:25:52Z) - Exploring Geometric Deep Learning For Precipitation Nowcasting [28.44612565923532]
そこで我々は,降水量予測のための幾何学的深層学習に基づく時間的グラフ畳み込みネットワーク(GCN)を提案する。
格子セル間の相互作用をシミュレートする隣接行列は、予測と接地真理画素値とのL1損失を最小化することにより、自動的に学習される。
トレント/アイタリー地域におけるレーダ反射率マップの配列について実験を行った。
論文 参考訳（メタデータ） (2023-09-11T21:14:55Z) - 4DAC: Learning Attribute Compression for Dynamic Point Clouds [37.447460254690135]
動的点雲の属性(例えば色)圧縮について検討し、4DACと呼ばれる学習ベースのフレームワークを提案する。
データ内の時間的冗長性を低減するため,まず深層ニューラルネットワークを用いた3次元動き推定と動き補償モジュールを構築した。
さらに,変換係数の確率分布を推定する条件付きエントロピーモデルを提案する。
論文 参考訳（メタデータ） (2022-04-25T15:30:06Z) - Learning Smooth Neural Functions via Lipschitz Regularization [92.42667575719048]
ニューラルフィールドにおけるスムーズな潜伏空間を促進するために設計された新しい正規化を導入する。
従来のリプシッツ正規化ネットワークと比較して、我々のアルゴリズムは高速で、4行のコードで実装できる。
論文 参考訳（メタデータ） (2022-02-16T21:24:54Z) - PU-Flow: a Point Cloud Upsampling Networkwith Normalizing Flows [58.96306192736593]
本稿では,正規化フローを組み込んだPU-Flowについて述べる。
具体的には、重みが局所的な幾何学的文脈から適応的に学習される潜在空間において、アップサンプリング過程を点として定式化する。
提案手法は, 再現性, 近接精度, 計算効率の観点から, 最先端の深層学習手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-07-13T07:45:48Z) - Pseudo-LiDAR Point Cloud Interpolation Based on 3D Motion Representation
and Spatial Supervision [68.35777836993212]
我々はPseudo-LiDAR点雲ネットワークを提案し、時間的および空間的に高品質な点雲列を生成する。
点雲間のシーンフローを活用することにより,提案ネットワークは3次元空間運動関係のより正確な表現を学習することができる。
論文 参考訳（メタデータ） (2020-06-20T03:11:04Z) - PUGeo-Net: A Geometry-centric Network for 3D Point Cloud Upsampling [103.09504572409449]
PUGeo-Netと呼ばれる新しいディープニューラルネットワークを用いた一様高密度点雲を生成する手法を提案する。
その幾何学中心の性質のおかげで、PUGeo-Netはシャープな特徴を持つCADモデルとリッチな幾何学的詳細を持つスキャンされたモデルの両方でうまく機能する。
論文 参考訳（メタデータ） (2020-02-24T14:13:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。