論文の概要: General Point Model with Autoencoding and Autoregressive

• arxiv url: http://arxiv.org/abs/2310.16861v1
• Date: Wed, 25 Oct 2023 06:08:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-28 00:05:28.125715
• Title: General Point Model with Autoencoding and Autoregressive
• Title（参考訳）: 自己エンコーディングと自己回帰を伴う一般点モデル
• Authors: Zhe Li and Zhangyang Gao and Cheng Tan and Stan Z. Li and Laurence T. Yang
• Abstract要約: 本稿では,ポイントクラウドトランスにおける自動エンコーディングと自己回帰タスクをシームレスに統合する汎用ポイントモデルを提案する。 このモデルは汎用性が高く、ダウンストリームポイントクラウド表現タスクの微調整や、条件なしおよび条件付き生成タスクが可能である。
• 参考スコア（独自算出の注目度）: 55.051626723729896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The pre-training architectures of large language models encompass various types, including autoencoding models, autoregressive models, and encoder-decoder models. We posit that any modality can potentially benefit from a large language model, as long as it undergoes vector quantization to become discrete tokens. Inspired by GLM, we propose a General Point Model (GPM) which seamlessly integrates autoencoding and autoregressive tasks in point cloud transformer. This model is versatile, allowing fine-tuning for downstream point cloud representation tasks, as well as unconditional and conditional generation tasks. GPM enhances masked prediction in autoencoding through various forms of mask padding tasks, leading to improved performance in point cloud understanding. Additionally, GPM demonstrates highly competitive results in unconditional point cloud generation tasks, even exhibiting the potential for conditional generation tasks by modifying the input's conditional information. Compared to models like Point-BERT, MaskPoint and PointMAE, our GPM achieves superior performance in point cloud understanding tasks. Furthermore, the integration of autoregressive and autoencoding within the same transformer underscores its versatility across different downstream tasks.
• Abstract（参考訳）: 大規模言語モデルの事前学習アーキテクチャは、オートエンコードモデル、自動回帰モデル、エンコーダ・デコーダモデルなど様々なタイプを含む。 我々は、ベクトル量子化によって離散トークンとなる限り、任意のモダリティが大きな言語モデルから恩恵を受ける可能性があると仮定する。 GLMにインスパイアされた汎用ポイントモデル(GPM)は,ポイントクラウドトランスフォーマーにおける自動エンコーディングと自己回帰タスクをシームレスに統合する。 このモデルは汎用性が高く、ダウンストリームポイントクラウド表現タスクの微調整や、条件なしおよび条件付き生成タスクが可能である。 GPMは、各種マスクパディングタスクによる自動エンコーディングにおけるマスク付き予測を強化し、ポイントクラウド理解のパフォーマンスを向上させる。 さらに、GPMは、入力の条件情報を変更することで条件生成タスクの可能性を示す、無条件のクラウド生成タスクにおいて非常に競争力のある結果を示す。 Point-BERTやMaskPoint、PointMAEといったモデルと比較して、GPMはポイントクラウド理解タスクにおいて優れたパフォーマンスを実現しています。 さらに、同じトランスにおける自動回帰と自動エンコーディングの統合は、異なる下流タスクにおけるその汎用性を示している。

関連論文リスト

• Pre-training Point Cloud Compact Model with Partial-aware Reconstruction [51.403810709250024]
  本稿では, 部分認識型textbfReconstruction を用いた, Point-CPR という事前学習型クラウド圧縮モデルを提案する。 我々のモデルは様々なタスクにおいて強い性能を示し、特にパラメータの2%しか持たない主要なMPMベースモデルであるPointGPT-Bを上回っている。
  論文  参考訳（メタデータ） (2024-07-12T15:18:14Z)
• Bringing Masked Autoencoders Explicit Contrastive Properties for Point Cloud Self-Supervised Learning [116.75939193785143]
  画像領域における視覚変換器(ViT)のコントラスト学習(CL)は、従来の畳み込みバックボーンのCLに匹敵する性能を達成した。 ViTで事前訓練した3Dポイントクラウドでは、マスク付きオートエンコーダ(MAE)モデリングが主流である。
  論文  参考訳（メタデータ） (2024-07-08T12:28:56Z)
• M$^3$CS: Multi-Target Masked Point Modeling with Learnable Codebook and Siamese Decoders [19.68592678093725]
  マスク付き点モデリングは、点雲の自己教師型事前学習の有望なスキームとなっている。 M$3$CSは上記の能力を持つモデルを可能にするために提案されている。
  論文  参考訳（メタデータ） (2023-09-23T02:19:21Z)
• PointGPT: Auto-regressively Generative Pre-training from Point Clouds [45.488532108226565]
  我々はGPTの概念を点雲に拡張する新しいアプローチであるPointGPTを提案する。 具体的には、変圧器モデルの事前訓練に対して、ポイントクラウド自動回帰生成タスクを提案する。 提案手法は,ModelNet40データセットで94.9%,ScanObjectNNデータセットで93.4%の分類精度を達成し,他のトランスフォーマーモデルよりも優れている。
  論文  参考訳（メタデータ） (2023-05-19T07:39:04Z)
• Masked Autoencoders for Point Cloud Self-supervised Learning [27.894216954216716]
  本稿では,ポイントクラウドによる自己教師型学習のためのマスク付きオートエンコーダの巧妙なスキームを提案する。 入力点雲を不規則点パッチに分割し、ランダムに高い比で隠蔽する。 標準のトランスフォーマーベースのオートエンコーダは、非対称な設計とシフトマスクトークン操作を備え、非マスク点パッチから高い遅延特徴を学習する。
  論文  参考訳（メタデータ） (2022-03-13T09:23:39Z)
• Point-BERT: Pre-training 3D Point Cloud Transformers with Masked Point Modeling [104.82953953453503]
  BERTの概念を3Dポイントクラウドに一般化するための新しいパラダイムであるPoint-BERTを提案する。 提案したBERTスタイルの事前学習戦略は,標準点クラウドトランスフォーマーの性能を著しく向上することを示す実験である。
  論文  参考訳（メタデータ） (2021-11-29T18:59:03Z)
• Deep Autoencoding Topic Model with Scalable Hybrid Bayesian Inference [55.35176938713946]
  我々は、ガンマ分布の階層構造を用いて、その多確率層生成ネットワークを構築するディープ・オートエンコーディング・トピック・モデル(DATM)を開発した。 Weibull上向き変分エンコーダを提案する。このエンコーダは深層ニューラルネットワークを介して情報を上向きに伝播し,次いで下向き生成モデルを提案する。 大規模コーパス上での教師なしおよび教師なしの学習タスクにおいて,モデルの有効性とスケーラビリティを実証した。
  論文  参考訳（メタデータ） (2020-06-15T22:22:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。