論文の概要: PointGPT: Auto-regressively Generative Pre-training from Point Clouds

• arxiv url: http://arxiv.org/abs/2305.11487v2
• Date: Tue, 23 May 2023 02:38:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 11:11:10.700581
• Title: PointGPT: Auto-regressively Generative Pre-training from Point Clouds
• Title（参考訳）: PointGPT: ポイントクラウドからの自動回帰生成事前トレーニング
• Authors: Guangyan Chen, Meiling Wang, Yi Yang, Kai Yu, Li Yuan, Yufeng Yue
• Abstract要約: 我々はGPTの概念を点雲に拡張する新しいアプローチであるPointGPTを提案する。 具体的には、変圧器モデルの事前訓練に対して、ポイントクラウド自動回帰生成タスクを提案する。 提案手法は,ModelNet40データセットで94.9%,ScanObjectNNデータセットで93.4%の分類精度を達成し,他のトランスフォーマーモデルよりも優れている。
• 参考スコア（独自算出の注目度）: 45.488532108226565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) based on the generative pre-training transformer (GPT) have demonstrated remarkable effectiveness across a diverse range of downstream tasks. Inspired by the advancements of the GPT, we present PointGPT, a novel approach that extends the concept of GPT to point clouds, addressing the challenges associated with disorder properties, low information density, and task gaps. Specifically, a point cloud auto-regressive generation task is proposed to pre-train transformer models. Our method partitions the input point cloud into multiple point patches and arranges them in an ordered sequence based on their spatial proximity. Then, an extractor-generator based transformer decoder, with a dual masking strategy, learns latent representations conditioned on the preceding point patches, aiming to predict the next one in an auto-regressive manner. Our scalable approach allows for learning high-capacity models that generalize well, achieving state-of-the-art performance on various downstream tasks. In particular, our approach achieves classification accuracies of 94.9% on the ModelNet40 dataset and 93.4% on the ScanObjectNN dataset, outperforming all other transformer models. Furthermore, our method also attains new state-of-the-art accuracies on all four few-shot learning benchmarks.
• Abstract（参考訳）: GPT(generative pre-training transformer)に基づく大規模言語モデル(LLM)は、様々な下流タスクにおいて顕著な効果を示した。 GPTの進歩にインスパイアされたPointGPTは、GPTの概念をポイントクラウドに拡張し、障害特性、低情報密度、タスクギャップに関連する課題に対処する新しいアプローチである。 具体的には、変圧器モデルの事前学習にポイントクラウド自動回帰生成タスクが提案されている。 提案手法は,入力点雲を複数の点パッチに分割し,その空間的近接に基づいて順序順に配置する。 そして、抽出器ジェネレータをベースとしたトランスフォーマーデコーダを2つのマスキング戦略により、先行する点パッチに条件付き潜時表現を学習し、次の点を自動回帰的に予測する。 当社のスケーラブルなアプローチでは、さまざまな下流タスクで最先端のパフォーマンスを実現することによって、一般化された高容量モデルを学ぶことができます。 特に,ModelNet40データセットでは94.9%,ScanObjectNNデータセットでは93.4%の分類精度を達成し,他のトランスフォーマーモデルよりも優れている。 さらに,本手法は,4つの数発の学習ベンチマークにおいて,最先端の精度を新たに達成する。

関連論文リスト

• Point Cloud Pre-training with Diffusion Models [62.12279263217138]
  我々は、ポイントクラウド拡散事前学習(PointDif)と呼ばれる新しい事前学習手法を提案する。 PointDifは、分類、セグメンテーション、検出など、さまざまな下流タスクのために、さまざまな現実世界のデータセット間で大幅に改善されている。
  論文  参考訳（メタデータ） (2023-11-25T08:10:05Z)
• General Point Model with Autoencoding and Autoregressive [55.051626723729896]
  本稿では,ポイントクラウドトランスにおける自動エンコーディングと自己回帰タスクをシームレスに統合する汎用ポイントモデルを提案する。 このモデルは汎用性が高く、ダウンストリームポイントクラウド表現タスクの微調整や、条件なしおよび条件付き生成タスクが可能である。
  論文  参考訳（メタデータ） (2023-10-25T06:08:24Z)
• Instance-aware Dynamic Prompt Tuning for Pre-trained Point Cloud Models [64.49254199311137]
  本稿では,事前学習点クラウドモデルのための新しいインスタンス対応動的プロンプトチューニング(IDPT)戦略を提案する。 IDPTの本質は、各ポイントクラウドインスタンスのセマンティックな事前特徴を知覚する動的プロンプト生成モジュールを開発することである。 実験では、IDPTはトレーニング可能なパラメータのわずか7%で、ほとんどのタスクにおいて完全な微調整よりも優れています。
  論文  参考訳（メタデータ） (2023-04-14T16:03:09Z)
• AdaPoinTr: Diverse Point Cloud Completion with Adaptive Geometry-Aware Transformers [94.11915008006483]
  本稿では,ポイントクラウドの完了をセット・ツー・セットの翻訳問題として再定義する手法を提案する。 我々は、ポイントクラウド補完のためにTransformerエンコーダデコーダアーキテクチャを採用したPoinTrと呼ばれる新しいモデルを設計する。 本手法は,PCNで6.53 CD,ShapeNet-55で0.81 CD,現実世界のKITTIで0.392 MMDを実現する。
  論文  参考訳（メタデータ） (2023-01-11T16:14:12Z)
• POS-BERT: Point Cloud One-Stage BERT Pre-Training [34.30767607646814]
  POS-BERT(POS-BERT)は,点雲に対する一段階のBERT事前学習法である。 Point-BERTと異なり、トークン化剤は極端に訓練され凍結されている。 POS-BERTは、ポイント-BERTを3.5%上回る最先端の分類精度を達成する。
  論文  参考訳（メタデータ） (2022-04-03T04:49:39Z)
• Masked Autoencoders for Point Cloud Self-supervised Learning [27.894216954216716]
  本稿では,ポイントクラウドによる自己教師型学習のためのマスク付きオートエンコーダの巧妙なスキームを提案する。 入力点雲を不規則点パッチに分割し、ランダムに高い比で隠蔽する。 標準のトランスフォーマーベースのオートエンコーダは、非対称な設計とシフトマスクトークン操作を備え、非マスク点パッチから高い遅延特徴を学習する。
  論文  参考訳（メタデータ） (2022-03-13T09:23:39Z)
• Point-BERT: Pre-training 3D Point Cloud Transformers with Masked Point Modeling [104.82953953453503]
  BERTの概念を3Dポイントクラウドに一般化するための新しいパラダイムであるPoint-BERTを提案する。 提案したBERTスタイルの事前学習戦略は,標準点クラウドトランスフォーマーの性能を著しく向上することを示す実験である。
  論文  参考訳（メタデータ） (2021-11-29T18:59:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。