論文の概要: Point Cloud Pre-training with Diffusion Models

• arxiv url: http://arxiv.org/abs/2311.14960v1
• Date: Sat, 25 Nov 2023 08:10:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 22:46:19.562432
• Title: Point Cloud Pre-training with Diffusion Models
• Title（参考訳）: 拡散モデルによる点雲事前学習
• Authors: Xiao Zheng, Xiaoshui Huang, Guofeng Mei, Yuenan Hou, Zhaoyang Lyu, Bo Dai, Wanli Ouyang, Yongshun Gong
• Abstract要約: 我々は、ポイントクラウド拡散事前学習(PointDif)と呼ばれる新しい事前学習手法を提案する。 PointDifは、分類、セグメンテーション、検出など、さまざまな下流タスクのために、さまざまな現実世界のデータセット間で大幅に改善されている。
• 参考スコア（独自算出の注目度）: 62.12279263217138
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-training a model and then fine-tuning it on downstream tasks has demonstrated significant success in the 2D image and NLP domains. However, due to the unordered and non-uniform density characteristics of point clouds, it is non-trivial to explore the prior knowledge of point clouds and pre-train a point cloud backbone. In this paper, we propose a novel pre-training method called Point cloud Diffusion pre-training (PointDif). We consider the point cloud pre-training task as a conditional point-to-point generation problem and introduce a conditional point generator. This generator aggregates the features extracted by the backbone and employs them as the condition to guide the point-to-point recovery from the noisy point cloud, thereby assisting the backbone in capturing both local and global geometric priors as well as the global point density distribution of the object. We also present a recurrent uniform sampling optimization strategy, which enables the model to uniformly recover from various noise levels and learn from balanced supervision. Our PointDif achieves substantial improvement across various real-world datasets for diverse downstream tasks such as classification, segmentation and detection. Specifically, PointDif attains 70.0% mIoU on S3DIS Area 5 for the segmentation task and achieves an average improvement of 2.4% on ScanObjectNN for the classification task compared to TAP. Furthermore, our pre-training framework can be flexibly applied to diverse point cloud backbones and bring considerable gains.
• Abstract（参考訳）: モデルの事前トレーニングと下流タスクでの微調整は、2D画像とNLPドメインにおいて大きな成功を収めた。 しかしながら、点雲の無秩序で不均一な密度特性のため、点雲の事前知識を探求し、点雲のバックボーンを事前訓練することは非自明である。 本稿では,Point cloud Diffusion pre-training (PointDif) と呼ばれる新しい事前学習手法を提案する。 我々は,ポイントクラウド事前学習タスクを条件付きポイントツーポイント生成問題と考え,条件付きポイントジェネレータを導入する。 このジェネレータは、バックボーンによって抽出された特徴を集約し、ノイズ点雲からのポイント・ツー・ポイント・リカバリを誘導する条件として使用する。 また,モデルが様々なノイズレベルから均一に回復し,バランスの取れた監視から学習することのできる一様サンプリング最適化手法を提案する。 我々のPointDifは、分類、セグメンテーション、検出といった様々な下流タスクのために、様々な現実世界のデータセット間で大幅に改善されている。 具体的には,S3DIS領域5では,S3DIS領域5で70.0% mIoUを獲得し,TAPと比較してScanObjectNNでは平均2.4%向上した。 さらに、当社の事前トレーニングフレームワークは、さまざまなポイントクラウドバックボーンに柔軟に適用でき、大幅な向上を実現しています。

関連論文リスト

• Parameter-Efficient Fine-Tuning in Spectral Domain for Point Cloud Learning [49.91297276176978]
  私たちは小説を提案します。 ポイントGST (Point GST) と呼ばれる点雲の効率的な微細調整法。 ポイントGSTは事前トレーニングされたモデルを凍結し、スペクトル領域のパラメータを微調整するためのトレーニング可能なポイントクラウドスペクトルアダプタ(PCSA)を導入する。 挑戦的なポイントクラウドデータセットに関する大規模な実験は、ポイントGSTが完全に微調整されたデータセットを上回るだけでなく、トレーニング可能なパラメータを大幅に削減することを示した。
  論文  参考訳（メタデータ） (2024-10-10T17:00:04Z)
• P2P-Bridge: Diffusion Bridges for 3D Point Cloud Denoising [81.92854168911704]
  私たちは、Diffusion Schr"odingerブリッジをポイントクラウドに適応させる新しいフレームワークを通じて、ポイントクラウドを飾るタスクに取り組みます。 オブジェクトデータセットの実験では、P2P-Bridgeは既存のメソッドよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-08-29T08:00:07Z)
• AD-PT: Autonomous Driving Pre-Training with Large-scale Point Cloud Dataset [25.935496432142976]
  知覚モデルが大規模なクラウドデータセットから学ぶことは、Autonomous Driving (AD)コミュニティの長期的なビジョンである。 我々は、ポイントクラウド事前トレーニングタスクを半教師付き問題として定式化し、少数のラベル付きおよび大規模ラベルなしのポイントクラウドデータを活用する。 我々は、異なるベースラインモデルの下で、nuScenesやKITTIを含む一連の下流認識ベンチマークにおいて、大幅な性能向上を達成する。
  論文  参考訳（メタデータ） (2023-06-01T12:32:52Z)
• GeoMAE: Masked Geometric Target Prediction for Self-supervised Point Cloud Pre-Training [16.825524577372473]
  幾何学的特徴再構成に基づくポイントクラウド表現学習フレームワークを提案する。 我々は,3つの自己教師型学習目標を特異点雲,すなわちセントロイド予測,正規推定,曲率予測と同定する。 私たちのパイプラインは概念的にはシンプルで、まずポイントのグループをランダムにマスキングし、次にTransformerベースのポイントクラウドエンコーダという2つの大きなステップで構成されています。
  論文  参考訳（メタデータ） (2023-05-15T17:14:55Z)
• PointPatchMix: Point Cloud Mixing with Patch Scoring [58.58535918705736]
  我々は、パッチレベルでポイントクラウドを混合し、混合ポイントクラウドのコンテンツベースターゲットを生成するPointPatchMixを提案する。 パッチスコアリングモジュールは、事前学習した教師モデルから、コンテンツに基づく重要度スコアに基づいて目標を割り当てる。 Point-MAE をベースラインとして,ScanObjectNN では86.3%,ModelNet40 では94.1% の精度で,従来の手法をかなり上回りました。
  論文  参考訳（メタデータ） (2023-03-12T14:49:42Z)
• Upsampling Autoencoder for Self-Supervised Point Cloud Learning [11.19408173558718]
  人間のアノテーションを使わずに、ポイントクラウド学習のための自己教師付き事前学習モデルを提案する。 アップサンプリング操作は、ポイントクラウドの高レベルセマンティック情報と低レベル幾何情報の両方を捕捉することをネットワークに促す。 我々のUAEは、形状分類、部分分割、点雲アップサンプリングタスクにおいて、従来の最先端手法よりも優れています。
  論文  参考訳（メタデータ） (2022-03-21T07:20:37Z)
• A Conditional Point Diffusion-Refinement Paradigm for 3D Point Cloud Completion [69.32451612060214]
  実スキャンされた3Dポイントクラウドはしばしば不完全であり、下流アプリケーションのために完全なポイントクラウドを復元することが重要である。 ほとんどの既存のポイントクラウド補完方法は、トレーニングにチャンファー距離(CD)損失を使用する。 本稿では,点雲完了のためのPDR(Point Diffusion-Refinement)パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-12-07T06:59:06Z)
• SPU-Net: Self-Supervised Point Cloud Upsampling by Coarse-to-Fine Reconstruction with Self-Projection Optimization [52.20602782690776]
  実際のスキャンされたスパースデータからトレーニング用の大規模なペアリングスパーススキャンポイントセットを得るのは高価で面倒です。 本研究では,SPU-Net と呼ばれる自己監視型点群アップサンプリングネットワークを提案する。 本研究では,合成データと実データの両方について様々な実験を行い,最先端の教師付き手法と同等の性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-12-08T14:14:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。