論文の概要: Ponder: Point Cloud Pre-training via Neural Rendering

• arxiv url: http://arxiv.org/abs/2301.00157v2
• Date: Thu, 26 Oct 2023 15:56:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-28 05:52:54.140188
• Title: Ponder: Point Cloud Pre-training via Neural Rendering
• Title（参考訳）: Ponder: ニューラルネットワークによるポイントクラウド事前トレーニング
• Authors: Di Huang, Sida Peng, Tong He, Honghui Yang, Xiaowei Zhou, Wanli Ouyang
• Abstract要約: 本稿では,識別可能なニューラルエンコーダによる点雲表現の自己教師型学習手法を提案する。 学習したポイントクラウドは、3D検出やセグメンテーションといったハイレベルなレンダリングタスクだけでなく、3D再構成や画像レンダリングといった低レベルなタスクを含む、さまざまなダウンストリームタスクに簡単に統合できる。
• 参考スコア（独自算出の注目度）: 93.34522605321514
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel approach to self-supervised learning of point cloud representations by differentiable neural rendering. Motivated by the fact that informative point cloud features should be able to encode rich geometry and appearance cues and render realistic images, we train a point-cloud encoder within a devised point-based neural renderer by comparing the rendered images with real images on massive RGB-D data. The learned point-cloud encoder can be easily integrated into various downstream tasks, including not only high-level tasks like 3D detection and segmentation, but low-level tasks like 3D reconstruction and image synthesis. Extensive experiments on various tasks demonstrate the superiority of our approach compared to existing pre-training methods.
• Abstract（参考訳）: 微分可能なニューラルレンダリングによる点雲表現の自己教師付き学習手法を提案する。 インフォメーションポイントクラウド機能はリッチなジオメトリと外観の手がかりをエンコードでき、リアルな画像をレンダリングできるという事実に動機づけられ、大量のrgb-dデータ上にレンダリングされた画像と実際の画像を比較して、考案されたポイントベースのニューラルレンダ内でポイントクラウドエンコーダを訓練する。 学習したポイントクラウドエンコーダは、3D検出やセグメンテーションといったハイレベルなタスクだけでなく、3D再構成や画像合成といった低レベルなタスクを含む、さまざまな下流タスクに簡単に統合できる。 様々な課題に対する広範囲な実験は,既存の事前学習法と比較して,アプローチが優れていることを示している。

関連論文リスト

• PFGS: High Fidelity Point Cloud Rendering via Feature Splatting [5.866747029417274]
  スパースポイントから高品質な画像をレンダリングする新しいフレームワークを提案する。 この手法はまず3次元ガウス格子と点雲のレンダリングを橋渡しする。 異なるベンチマーク実験により、レンダリング品質と主成分の必要性の観点から、我々の手法の優位性を示す。
  論文  参考訳（メタデータ） (2024-07-04T11:42:54Z)
• HVDistill: Transferring Knowledge from Images to Point Clouds via Unsupervised Hybrid-View Distillation [106.09886920774002]
  本稿では,HVDistillと呼ばれるハイブリッドビューに基づく知識蒸留フレームワークを提案する。 提案手法は,スクラッチからトレーニングしたベースラインに対して一貫した改善を実現し,既存のスキームを大幅に上回っている。
  論文  参考訳（メタデータ） (2024-03-18T14:18:08Z)
• PRED: Pre-training via Semantic Rendering on LiDAR Point Clouds [18.840000859663153]
  本稿では,屋外点雲のための画像支援事前学習フレームワークPreDを提案する。 我々のフレームワークの主な構成要素は、Birds-Eye-View (BEV) 機能マップ条件付きセマンティックレンダリングである。 我々は、高マスキング比のポイントワイドマスクを組み込むことにより、モデルの性能をさらに向上させる。
  論文  参考訳（メタデータ） (2023-11-08T07:26:09Z)
• Point2Pix: Photo-Realistic Point Cloud Rendering via Neural Radiance Fields [63.21420081888606]
  最近の放射場と拡張法は、2次元入力から現実的な画像を合成するために提案されている。 我々は3次元スパース点雲と2次元高密度画像画素を結びつけるための新しい点としてPoint2Pixを提示する。
  論文  参考訳（メタデータ） (2023-03-29T06:26:55Z)
• Self-Supervised Learning with Multi-View Rendering for 3D Point Cloud Analysis [33.31864436614945]
  本稿では,3次元点雲モデルのための新しい事前学習手法を提案する。 我々の事前訓練は、局所的なピクセル/ポイントレベルの対応損失と、大域的な画像/ポイントの雲のレベル損失によって自己管理される。 これらの改善されたモデルは、さまざまなデータセットや下流タスクにおける既存の最先端メソッドよりも優れています。
  論文  参考訳（メタデータ） (2022-10-28T05:23:03Z)
• Shrinking unit: a Graph Convolution-Based Unit for CNN-like 3D Point Cloud Feature Extractors [0.0]
  我々は、画像領域からのインスピレーションの欠如が、そのようなギャップの主な原因であると主張している。 我々は,CNNのような3Dポイント・クラウド特徴抽出器の設計のために,Shrinkingユニットと呼ばれるグラフ畳み込み単位を提案する。
  論文  参考訳（メタデータ） (2022-09-26T15:28:31Z)
• SimIPU: Simple 2D Image and 3D Point Cloud Unsupervised Pre-Training for Spatial-Aware Visual Representations [85.38562724999898]
  我々はSimIPUと呼ばれる2Dイメージと3Dポイントクラウドの教師なし事前学習戦略を提案する。 具体的には、モーダル内空間認識モジュールとモーダル間特徴相互作用モジュールからなるマルチモーダルコントラスト学習フレームワークを開発する。 我々の知る限りでは、屋外マルチモーダルデータセットに対する対照的な学習事前学習戦略を探求する最初の研究である。
  論文  参考訳（メタデータ） (2021-12-09T03:27:00Z)
• Voint Cloud: Multi-View Point Cloud Representation for 3D Understanding [80.04281842702294]
  本稿では,複数の視点から抽出した特徴の集合として,各3次元点を表す多視点クラウド(Voint Cloud)の概念を紹介する。 この新しい3次元Vointクラウド表現は、3Dポイントクラウド表現のコンパクト性と、マルチビュー表現の自然なビュー認識性を組み合わせたものである。 理論的に確立された機能を持つVointニューラルネットワーク(VointNet)をデプロイし,Voint空間の表現を学習する。
  論文  参考訳（メタデータ） (2021-11-30T13:08:19Z)
• Graphite: GRAPH-Induced feaTure Extraction for Point Cloud Registration [80.69255347486693]
  我々は、シンプルな機能とキーポイント検出器である Graph-induced feaTure extract Pipeline を導入する。 我々は,点クラウド領域を記述し,有意な点を抽出する汎用的なグラフベース学習手法を構築した。 我々は3Dキーポイントパイプラインをグラフニューラルネットワークで再構成し、ポイントセットの効率的な処理を可能にする。
  論文  参考訳（メタデータ） (2020-10-18T19:41:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。