論文の概要: GaussianPU: A Hybrid 2D-3D Upsampling Framework for Enhancing Color Point Clouds via 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2409.01581v1
• Date: Tue, 3 Sep 2024 03:35:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 03:06:29.136706
• Title: GaussianPU: A Hybrid 2D-3D Upsampling Framework for Enhancing Color Point Clouds via 3D Gaussian Splatting
• Title（参考訳）: GaussianPU: 3D Gaussian Splattingによるカラーポイントクラウドの強化のためのハイブリッド2D-3Dアップサンプリングフレームワーク
• Authors: Zixuan Guo, Yifan Xie, Weijing Xie, Peng Huang, Fei Ma, Fei Richard Yu,
• Abstract要約: ロボット知覚のための3Dガウススプラッティング(3DGS)に基づく2D-3Dハイブリッドカラークラウドサンプリングフレームワーク(GaussianPU)を提案する。 二重スケールレンダリング画像復元ネットワークは、スパースポイントクラウドレンダリングを密度表現に変換する。 バニラ3DGSに一連の改良を加え、ポイント数を正確に制御できるようにしました。
• 参考スコア（独自算出の注目度）: 11.60605616190011
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dense colored point clouds enhance visual perception and are of significant value in various robotic applications. However, existing learning-based point cloud upsampling methods are constrained by computational resources and batch processing strategies, which often require subdividing point clouds into smaller patches, leading to distortions that degrade perceptual quality. To address this challenge, we propose a novel 2D-3D hybrid colored point cloud upsampling framework (GaussianPU) based on 3D Gaussian Splatting (3DGS) for robotic perception. This approach leverages 3DGS to bridge 3D point clouds with their 2D rendered images in robot vision systems. A dual scale rendered image restoration network transforms sparse point cloud renderings into dense representations, which are then input into 3DGS along with precise robot camera poses and interpolated sparse point clouds to reconstruct dense 3D point clouds. We have made a series of enhancements to the vanilla 3DGS, enabling precise control over the number of points and significantly boosting the quality of the upsampled point cloud for robotic scene understanding. Our framework supports processing entire point clouds on a single consumer-grade GPU, such as the NVIDIA GeForce RTX 3090, eliminating the need for segmentation and thus producing high-quality, dense colored point clouds with millions of points for robot navigation and manipulation tasks. Extensive experimental results on generating million-level point cloud data validate the effectiveness of our method, substantially improving the quality of colored point clouds and demonstrating significant potential for applications involving large-scale point clouds in autonomous robotics and human-robot interaction scenarios.
• Abstract（参考訳）: 濃淡色の点雲は視覚的知覚を高め、様々なロボット応用において重要な意味を持つ。 しかし、既存の学習ベースのポイントクラウドアップサンプリング手法は計算資源やバッチ処理戦略によって制限されており、ポイントクラウドを小さなパッチに分割する必要があることが多いため、知覚品質を低下させる歪みが生じる。 この課題に対処するために,ロボット認識のための3Dガウススプラッティング(3DGS)に基づく2D-3Dハイブリッド色点雲サンプリングフレームワーク(GaussianPU)を提案する。 このアプローチでは、3DGSを活用して、ロボットビジョンシステム内の2Dレンダリング画像で3Dポイントクラウドをブリッジする。 デュアルスケールレンダリング画像復元ネットワークは、スパースポイントのレンダリングを3DGSに変換し、精密なロボットカメラのポーズと補間されたスパースポイントの雲と共に3DGSに入力し、密度の高い3Dポイントの雲を再構築する。 我々は,バニラ3DGSの一連の改良を行い,点数を正確に制御し,ロボットシーン理解のためのアップサンプリングされた点雲の品質を大幅に向上させた。 私たちのフレームワークは、NVIDIA GeForce RTX 3090のような1つのコンシューマグレードのGPU上で、ポイントクラウド全体の処理をサポートします。 百万点クラウドデータの生成に関する大規模な実験結果から,本手法の有効性が検証され,着色点クラウドの品質が大幅に向上し,自律ロボットやロボットとロボットの相互作用シナリオにおける大規模点クラウドの応用に有意な可能性が示唆された。

関連論文リスト

• PointDreamer: Zero-shot 3D Textured Mesh Reconstruction from Colored Point Cloud by 2D Inpainting [18.44975150966385]
  色のついたポイントクラウドからテクスチャ化されたメッシュを再構築することは、3Dグラフィックスとビジョンにおいて重要な課題である。 色付き点雲からテクスチャ化されたメッシュ再構築のための新しいフレームワークであるPointDreamerを提案する。 成熟した技術と2Dビジョンの膨大なデータを活用することにより、2D画像のインペイントにより、忠実さと明瞭さが向上したメッシュを生成する。
  論文  参考訳（メタデータ） (2024-06-22T10:33:14Z)
• TriVol: Point Cloud Rendering via Triple Volumes [57.305748806545026]
  我々は,高密度かつ軽量な3D表現であるTriVolをNeRFと組み合わせて,点雲から写実的な画像を描画する。 我々のフレームワークは、微調整なしでシーン/オブジェクトのカテゴリを描画できる優れた一般化能力を持っている。
  論文  参考訳（メタデータ） (2023-03-29T06:34:12Z)
• Point2Pix: Photo-Realistic Point Cloud Rendering via Neural Radiance Fields [63.21420081888606]
  最近の放射場と拡張法は、2次元入力から現実的な画像を合成するために提案されている。 我々は3次元スパース点雲と2次元高密度画像画素を結びつけるための新しい点としてPoint2Pixを提示する。
  論文  参考訳（メタデータ） (2023-03-29T06:26:55Z)
• Ponder: Point Cloud Pre-training via Neural Rendering [93.34522605321514]
  本稿では,識別可能なニューラルエンコーダによる点雲表現の自己教師型学習手法を提案する。 学習したポイントクラウドは、3D検出やセグメンテーションといったハイレベルなレンダリングタスクだけでなく、3D再構成や画像レンダリングといった低レベルなタスクを含む、さまざまなダウンストリームタスクに簡単に統合できる。
  論文  参考訳（メタデータ） (2022-12-31T08:58:39Z)
• Leveraging Single-View Images for Unsupervised 3D Point Cloud Completion [53.93172686610741]
  Cross-PCCは3次元完全点雲を必要としない教師なしの点雲補完法である。 2次元画像の相補的な情報を活用するために,単視点RGB画像を用いて2次元特徴を抽出する。 我々の手法は、いくつかの教師付き手法に匹敵する性能を達成できる。
  論文  参考訳（メタデータ） (2022-12-01T15:11:21Z)
• Points2NeRF: Generating Neural Radiance Fields from 3D point cloud [0.0]
  ニューラルラジアンス場(NeRF)として3次元物体を表現することを提案する。 ハイパーネットワークのパラダイムを活用して、モデルをトレーニングして、関連するカラー値を持つ3Dポイントクラウドを取ります。 提案手法は効率的な3次元オブジェクト表現を提供し,既存手法に対するいくつかの利点を提供する。
  論文  参考訳（メタデータ） (2022-06-02T20:23:33Z)
• SE-MD: A Single-encoder multiple-decoder deep network for point cloud generation from 2D images [2.4087148947930634]
  単一の2D RGB画像から3Dモデルを生成することは、困難で活発に研究されているコンピュータビジョンタスクである。 非効率な3D表現形式、弱い3Dモデル生成バックボーン、高密度の点雲を生成することができないなど、さまざまな問題があります。 新たな2次元RGB画像からポイントクラウドへの変換手法が提案され,フィールドにおける技術状況が改善されている。
  論文  参考訳（メタデータ） (2021-06-17T10:48:46Z)
• ParaNet: Deep Regular Representation for 3D Point Clouds [62.81379889095186]
  ParaNetは、3Dポイントクラウドを表現するための新しいエンドツーエンドのディープラーニングフレームワークである。 不規則な3D点雲を通常の2Dカラー画像に変換する。 多視点投影とボキセル化に基づく従来の正規表現法とは異なり、提案した表現は微分可能で可逆である。
  論文  参考訳（メタデータ） (2020-12-05T13:19:55Z)
• ImVoteNet: Boosting 3D Object Detection in Point Clouds with Image Votes [93.82668222075128]
  RGB-Dシーンに対するImVoteNetと呼ばれる3次元検出アーキテクチャを提案する。 ImVoteNetは、画像に2D票、ポイントクラウドに3D票を投じることに基づいている。 挑戦的なSUN RGB-Dデータセット上でモデルを検証した。
  論文  参考訳（メタデータ） (2020-01-29T05:09:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。