論文の概要: Few-shot point cloud reconstruction and denoising via learned Guassian splats renderings and fine-tuned diffusion features
- arxiv url: http://arxiv.org/abs/2404.01112v4
- Date: Wed, 24 Apr 2024 03:14:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-25 16:15:09.000760
- Title: Few-shot point cloud reconstruction and denoising via learned Guassian splats renderings and fine-tuned diffusion features
- Title（参考訳）: 学習したグアシアンスプラッツレンダリングと微調整拡散特性による雲の復元とデノナイズ
- Authors: Pietro Bonazzi, Marie-Julie Rakatosaona, Marco Cannici, Federico Tombari, Davide Scaramuzza,
- Abstract要約: 本稿では,少数の画像から点雲を再構成し,そのレンダリングから点雲を識別する手法を提案する。
制約条件下での再構成を改善するため,ハイブリッド表面と外観の相違点のトレーニングを規則化する。
これらの学習したフィルタを使って、3Dの監督なしに来る点雲ノイズを除去する方法を実証する。
- 参考スコア（独自算出の注目度）: 52.62053703535824
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing deep learning methods for the reconstruction and denoising of point clouds rely on small datasets of 3D shapes. We circumvent the problem by leveraging deep learning methods trained on billions of images. We propose a method to reconstruct point clouds from few images and to denoise point clouds from their rendering by exploiting prior knowledge distilled from image-based deep learning models. To improve reconstruction in constraint settings, we regularize the training of a differentiable renderer with hybrid surface and appearance by introducing semantic consistency supervision. In addition, we propose a pipeline to finetune Stable Diffusion to denoise renderings of noisy point clouds and we demonstrate how these learned filters can be used to remove point cloud noise coming without 3D supervision. We compare our method with DSS and PointRadiance and achieved higher quality 3D reconstruction on the Sketchfab Testset and SCUT Dataset.
- Abstract（参考訳）: 点雲の復元と復調のための既存のディープラーニング手法は、3次元形状の小さなデータセットに依存している。
何十億もの画像で訓練されたディープラーニング手法を活用することで、この問題を回避する。
画像ベース深層学習モデルから抽出した事前知識を利用して,少ない画像から点雲を再構成し,そのレンダリングから点雲を識別する手法を提案する。
制約設定の再構築を改善するために,意味的整合性管理を導入することで,ハイブリッド表面と外観の相違可能なレンダラーのトレーニングを規則化する。
さらに、ノイズの多い点雲の描画を微調整する安定拡散パイプラインを提案し、これらの学習されたフィルタを用いて、3Dの監督なしに来る点雲ノイズを除去する方法を実証する。
提案手法をDSSとPointRadianceと比較し,Sketchfab TestsetとSCUT Datasetで高品質な3D再構成を実現した。
関連論文リスト
- GS-PT: Exploiting 3D Gaussian Splatting for Comprehensive Point Cloud Understanding via Self-supervised Learning [15.559369116540097]
ポイントクラウドの自己教師型学習は、ラベルのない3Dデータを活用して、手動のアノテーションに頼ることなく意味のある表現を学習することを目的としている。
本稿では,3Dガウススプラッティング(3DGS)をポイントクラウドの自己教師型学習に初めて統合したGS-PTを提案する。
我々のパイプラインは、トランスフォーマーを自己教師付き事前学習のバックボーンとして利用し、3DGSによる新しいコントラスト学習タスクを導入している。
論文 参考訳（メタデータ） (2024-09-08T03:46:47Z) - Fast Learning of Signed Distance Functions from Noisy Point Clouds via Noise to Noise Mapping [54.38209327518066]
点雲から符号付き距離関数を学習することは、3Dコンピュータビジョンにおいて重要な課題である。
クリーンポイントクラウドや地上の真理監督を必要としないノイズ・ノイズマッピングを用いてSDFを学習することを提案する。
我々の新しい特徴はノイズ・ト・ノイズマッピングにあり、1つの物体やシーンの高精度なSDFを、その多重または単一ノイズの観測から推測することができる。
論文 参考訳（メタデータ） (2024-07-04T03:35:02Z) - LAM3D: Large Image-Point-Cloud Alignment Model for 3D Reconstruction from Single Image [64.94932577552458]
大規模再構成モデルは、単一または複数入力画像から自動3Dコンテンツ生成の領域において大きな進歩を遂げている。
彼らの成功にもかかわらず、これらのモデルはしばしば幾何学的不正確な3Dメッシュを生成し、画像データからのみ3D形状を推論する固有の課題から生まれた。
生成した3Dメッシュの忠実度を高めるために3Dポイントクラウドデータを利用する新しいフレームワークであるLarge Image and Point Cloud Alignment Model (LAM3D)を導入する。
論文 参考訳（メタデータ） (2024-05-24T15:09:12Z) - DiffPoint: Single and Multi-view Point Cloud Reconstruction with ViT
Based Diffusion Model [10.253402444122084]
我々は,ポイントクラウド再構築の課題に対して,ViTと拡散モデルを組み合わせたDiffPointという巧妙で強力なアーキテクチャを提案する。
DiffPointを単視点と多視点の両方の再構成タスクで評価し、最先端の結果を得る。
論文 参考訳（メタデータ） (2024-02-17T10:18:40Z) - Test-Time Augmentation for 3D Point Cloud Classification and
Segmentation [40.62640761825697]
データ拡張は、ディープラーニングタスクのパフォーマンスを向上させるための強力なテクニックである。
本研究は,3次元点雲に対するTTA(Test-time augmentation)について検討する。
論文 参考訳（メタデータ） (2023-11-22T04:31:09Z) - Learning Signed Distance Functions from Noisy 3D Point Clouds via Noise
to Noise Mapping [52.25114448281418]
3Dポイントクラウドから署名付き距離関数(SDF)を学習することは、3Dコンピュータビジョンにおいて重要な課題である。
クリーンポイントクラウドや地上の真実管理を必要とせず,ノイズからノイズへのマッピングを通じてSDFを学習することを提案する。
我々の新しい特徴はノイズ・ト・ノイズマッピングにあり、1つの物体やシーンの高度に正確なSDFを、その多重または単一ノイズの点雲観測から推測することができる。
論文 参考訳（メタデータ） (2023-06-02T09:52:04Z) - StarNet: Style-Aware 3D Point Cloud Generation [82.30389817015877]
StarNetは、マッピングネットワークを使用して高忠実度および3Dポイントクラウドを再構築し、生成することができる。
我々のフレームワークは、クラウドの再構築と生成タスクにおいて、様々なメトリクスで同等の最先端のパフォーマンスを達成します。
論文 参考訳（メタデータ） (2023-03-28T08:21:44Z) - Ponder: Point Cloud Pre-training via Neural Rendering [93.34522605321514]
本稿では,識別可能なニューラルエンコーダによる点雲表現の自己教師型学習手法を提案する。
学習したポイントクラウドは、3D検出やセグメンテーションといったハイレベルなレンダリングタスクだけでなく、3D再構成や画像レンダリングといった低レベルなタスクを含む、さまざまなダウンストリームタスクに簡単に統合できる。
論文 参考訳（メタデータ） (2022-12-31T08:58:39Z) - Flow-based GAN for 3D Point Cloud Generation from a Single Image [16.04710129379503]
本稿では,任意の解像度の点群をサンプリングするためのフローベース明示的生成モデルを継承する,ハイブリッドな明示的生成モデルを提案する。
大規模合成データセットShapeNetについて評価し,提案手法の優れた性能を示す実験結果を得た。
論文 参考訳（メタデータ） (2022-10-08T17:58:20Z) - Learning A Locally Unified 3D Point Cloud for View Synthesis [45.757280092357355]
ソースビューから局所的に統一された3Dポイントクラウドを学習する深層学習に基づくビュー合成パラダイムを提案する。
3つのベンチマークデータセットによる実験結果から,提案手法は平均PSNRを4dB以上改善できることが示された。
論文 参考訳（メタデータ） (2022-09-12T04:07:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。