論文の概要: PointCG: Self-supervised Point Cloud Learning via Joint Completion and Generation

• arxiv url: http://arxiv.org/abs/2411.06041v1
• Date: Sat, 09 Nov 2024 02:38:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:11:53.581626
• Title: PointCG: Self-supervised Point Cloud Learning via Joint Completion and Generation
• Title（参考訳）: PointCG: ジョイントコンプリートとジェネレーションによる自己教師型ポイントクラウド学習
• Authors: Yun Liu, Peng Li, Xuefeng Yan, Liangliang Nan, Bing Wang, Honghua Chen, Lina Gong, Wei Zhao, Mingqiang Wei,
• Abstract要約: 本稿では,マスク付きポイントモデリング(MPM)と3D-to-2D生成という2つの一般的な手法を,事前学習フレームワーク内にプリテキストタスクとして統合する。 我々はこれらの2つの手法によって提供される空間的認識と精密な監督を活用して、それぞれの限界に対処する。
• 参考スコア（独自算出の注目度）: 32.04698431036215
• License:
• Abstract: The core of self-supervised point cloud learning lies in setting up appropriate pretext tasks, to construct a pre-training framework that enables the encoder to perceive 3D objects effectively. In this paper, we integrate two prevalent methods, masked point modeling (MPM) and 3D-to-2D generation, as pretext tasks within a pre-training framework. We leverage the spatial awareness and precise supervision offered by these two methods to address their respective limitations: ambiguous supervision signals and insensitivity to geometric information. Specifically, the proposed framework, abbreviated as PointCG, consists of a Hidden Point Completion (HPC) module and an Arbitrary-view Image Generation (AIG) module. We first capture visible points from arbitrary views as inputs by removing hidden points. Then, HPC extracts representations of the inputs with an encoder and completes the entire shape with a decoder, while AIG is used to generate rendered images based on the visible points' representations. Extensive experiments demonstrate the superiority of the proposed method over the baselines in various downstream tasks. Our code will be made available upon acceptance.
• Abstract（参考訳）: 自己教師付きポイントクラウド学習のコアは、適切なプリテキストタスクを設定し、エンコーダが3Dオブジェクトを効果的に知覚できる事前トレーニングフレームワークを構築することである。 本稿では,マスク付きポイントモデリング(MPM)と3D-to-2D生成という2つの一般的な手法を,事前学習フレームワーク内にプリテキストタスクとして統合する。 我々はこれらの2つの手法によって提供される空間的認識と精密な監視を利用して、それぞれの制限に対処する:曖昧な監視信号と幾何学的情報に対する不感度。 具体的には、提案したフレームワークはPointCGと略され、Hdden Point Completion (HPC) モジュールとArbitrary-view Image Generation (AIG) モジュールで構成されている。 まず、隠れた点を取り除き、任意のビューからインプットとして可視点をキャプチャする。 そして、HPCはエンコーダで入力の表現を抽出し、デコーダで全形状を完成させ、AIGは可視点の表現に基づいて描画画像を生成する。 様々な下流タスクにおいて,提案手法がベースラインよりも優れていることを示す実験が盛んである。 私たちのコードは受け入れ次第利用可能になります。

関連論文リスト

• Self-supervised Learning of LiDAR 3D Point Clouds via 2D-3D Neural Calibration [107.61458720202984]
  本稿では,自律走行シーンにおける3次元知覚を高めるための,新しい自己教師型学習フレームワークを提案する。 本稿では,画像とポイントクラウドデータの領域ギャップを埋めるために,学習可能な変換アライメントを提案する。 我々は剛性ポーズを推定するために密度の高い2D-3D対応を確立する。
  論文  参考訳（メタデータ） (2024-01-23T02:41:06Z)
• PointLLM: Empowering Large Language Models to Understand Point Clouds [63.39876878899682]
  PointLLMは人間の指示で色のついたオブジェクトポイントクラウドを理解する。 文脈的に適切な応答を生成し、点雲と常識の把握を図示する。
  論文  参考訳（メタデータ） (2023-08-31T17:59:46Z)
• Flattening-Net: Deep Regular 2D Representation for 3D Point Cloud Analysis [66.49788145564004]
  我々は、任意の幾何学と位相の不規則な3次元点雲を表現するために、Flattning-Netと呼ばれる教師なしのディープニューラルネットワークを提案する。 我々の手法は、現在の最先端の競合相手に対して好意的に機能する。
  論文  参考訳（メタデータ） (2022-12-17T15:05:25Z)
• Piecewise Planar Hulls for Semi-Supervised Learning of 3D Shape and Pose from 2D Images [133.68032636906133]
  本研究では,1つの2次元画像から,物体の3次元形状とポーズをキーポイントで推定する問題について検討する。 形状とポーズは、カテゴリによって収集された画像と、その部分的な2Dキーポイントアノテーションから直接学習される。
  論文  参考訳（メタデータ） (2022-11-14T16:18:11Z)
• PointMCD: Boosting Deep Point Cloud Encoders via Multi-view Cross-modal Distillation for 3D Shape Recognition [55.38462937452363]
  本稿では,教師として事前訓練されたディープイメージエンコーダ,学生としてディープポイントエンコーダを含む多視点クロスモーダル蒸留アーキテクチャを提案する。 複数ビューの視覚的および幾何学的記述子をペアワイズにアライメントすることで、より強力なディープポイントエンコーダを、疲労や複雑なネットワーク修正を伴わずに得ることができる。
  論文  参考訳（メタデータ） (2022-07-07T07:23:20Z)
• SASA: Semantics-Augmented Set Abstraction for Point-based 3D Object Detection [78.90102636266276]
  SASA(Semantics-Augmented Set Abstraction)と呼ばれる新しい集合抽象化手法を提案する。 そこで本研究では, 推定点前景スコアに基づいて, より重要な前景点の維持を支援するセマンティックス誘導点サンプリングアルゴリズムを提案する。 実際には、SASAは、前景オブジェクトに関連する貴重な点を識別し、ポイントベースの3D検出のための特徴学習を改善するのに有効である。
  論文  参考訳（メタデータ） (2022-01-06T08:54:47Z)
• Weakly Supervised Semantic Segmentation in 3D Graph-Structured Point Clouds of Wild Scenes [36.07733308424772]
  3Dセグメンテーションラベルの欠如は、効率的な点雲セグメンテーションの主な障害の1つである。 本稿では,2D のみを監督する点群における大規模セマンティックシーンセグメンテーションのための,新しいディープグラフ畳み込みネットワークフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-26T23:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。