論文の概要: PointRWKV: Efficient RWKV-Like Model for Hierarchical Point Cloud Learning

• arxiv url: http://arxiv.org/abs/2405.15214v2
• Date: Tue, 3 Sep 2024 06:40:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-04 18:11:10.916404
• Title: PointRWKV: Efficient RWKV-Like Model for Hierarchical Point Cloud Learning
• Title（参考訳）: PointRWKV:階層型クラウド学習のための効率的なRWKVライクなモデル
• Authors: Qingdong He, Jiangning Zhang, Jinlong Peng, Haoyang He, Xiangtai Li, Yabiao Wang, Chengjie Wang,
• Abstract要約: NLP分野におけるRWKVモデルから導かれる線形複雑性のモデルであるPointRWKVを提案する。 まず,改良型マルチヘッド行列値状態を用いて,PointRWKVブロック内のグローバル処理機能について検討する。 局所的な幾何学的特徴を同時に抽出するために,グラフ安定化器を用いた固定半径近傍グラフにおいて,点雲を効率的に符号化する並列分岐を設計する。
• 参考スコア（独自算出の注目度）: 56.14518823931901
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have revolutionized the point cloud learning task, but the quadratic complexity hinders its extension to long sequence and makes a burden on limited computational resources. The recent advent of RWKV, a fresh breed of deep sequence models, has shown immense potential for sequence modeling in NLP tasks. In this paper, we present PointRWKV, a model of linear complexity derived from the RWKV model in the NLP field with necessary modifications for point cloud learning tasks. Specifically, taking the embedded point patches as input, we first propose to explore the global processing capabilities within PointRWKV blocks using modified multi-headed matrix-valued states and a dynamic attention recurrence mechanism. To extract local geometric features simultaneously, we design a parallel branch to encode the point cloud efficiently in a fixed radius near-neighbors graph with a graph stabilizer. Furthermore, we design PointRWKV as a multi-scale framework for hierarchical feature learning of 3D point clouds, facilitating various downstream tasks. Extensive experiments on different point cloud learning tasks show our proposed PointRWKV outperforms the transformer- and mamba-based counterparts, while significantly saving about 42\% FLOPs, demonstrating the potential option for constructing foundational 3D models.
• Abstract（参考訳）: トランスフォーマーは、ポイントクラウド学習タスクに革命をもたらしたが、二次的な複雑さは、長いシーケンスへの拡張を妨げ、限られた計算リソースに負担をかける。 新たな深部配列モデルであるRWKVの最近の出現は、NLPタスクにおけるシーケンスモデリングの大きな可能性を示している。 本稿では,NLP分野におけるRWKVモデルから導出される線形複雑度モデルであるPointRWKVについて述べる。 具体的には, 組込み点パッチを入力として, 改良型マルチヘッド行列値状態と動的注意再帰機構を用いて, PointRWKVブロック内のグローバル処理機能について検討する。 局所的な幾何学的特徴を同時に抽出するために,グラフ安定化器を用いた固定半径近傍グラフにおいて,点雲を効率的に符号化する並列分岐を設計する。 さらに、3Dポイントクラウドの階層的特徴学習のためのマルチスケールフレームワークとしてPointRWKVを設計し、様々な下流タスクを容易にする。 異なる点のクラウド学習タスクに関する大規模な実験により、提案したPointRWKVは、トランスフォーマーおよびマンバベースのものよりも優れ、約42\%のFLOPを節約し、基礎的な3Dモデルを構築するための潜在的選択肢を示す。

関連論文リスト

• Dynamic 3D Point Cloud Sequences as 2D Videos [81.46246338686478]
  3Dポイントクラウドシーケンスは、現実世界の環境における最も一般的で実用的な表現の1つとして機能する。 textitStructured Point Cloud Videos (SPCV) と呼ばれる新しい汎用表現を提案する。 SPCVは点雲列を空間的滑らかさと時間的一貫性を持つ2Dビデオとして再編成し、画素値は点の3D座標に対応する。
  論文  参考訳（メタデータ） (2024-03-02T08:18:57Z)
• Adaptive Point Transformer [88.28498667506165]
  Adaptive Point Cloud Transformer (AdaPT) は、適応トークン選択機構によって強化された標準PTモデルである。 AdaPTは推論中のトークン数を動的に削減し、大きな点雲の効率的な処理を可能にする。
  論文  参考訳（メタデータ） (2024-01-26T13:24:45Z)
• PosDiffNet: Positional Neural Diffusion for Point Cloud Registration in a Large Field of View with Perturbations [27.45001809414096]
  PosDiffNetは、3Dコンピュータビジョンにおけるポイントクラウド登録のモデルである。 ベルトラミフローに基づくグラフニューラル偏微分方程式(PDE)を用いて高次元特徴を求める。 我々は、点雲間のアライメントを容易にするために、高特徴類似度スコアから導かれる多レベル対応を用いる。 我々はPosDiffNetを複数の3Dポイントクラウドデータセット上で評価し、摂動を伴う広い視野でのポイントクラウド登録において、最先端(SOTA)性能を達成することを検証した。
  論文  参考訳（メタデータ） (2024-01-06T08:58:15Z)
• Point Cloud Pre-training with Diffusion Models [62.12279263217138]
  我々は、ポイントクラウド拡散事前学習(PointDif)と呼ばれる新しい事前学習手法を提案する。 PointDifは、分類、セグメンテーション、検出など、さまざまな下流タスクのために、さまざまな現実世界のデータセット間で大幅に改善されている。
  論文  参考訳（メタデータ） (2023-11-25T08:10:05Z)
• AdaPoinTr: Diverse Point Cloud Completion with Adaptive Geometry-Aware Transformers [94.11915008006483]
  本稿では,ポイントクラウドの完了をセット・ツー・セットの翻訳問題として再定義する手法を提案する。 我々は、ポイントクラウド補完のためにTransformerエンコーダデコーダアーキテクチャを採用したPoinTrと呼ばれる新しいモデルを設計する。 本手法は,PCNで6.53 CD,ShapeNet-55で0.81 CD,現実世界のKITTIで0.392 MMDを実現する。
  論文  参考訳（メタデータ） (2023-01-11T16:14:12Z)
• CpT: Convolutional Point Transformer for 3D Point Cloud Processing [10.389972581905]
  CpT: Convolutional Point Transformer - 3Dポイントクラウドデータの非構造化の性質を扱うための新しいディープラーニングアーキテクチャ。 CpTは、既存の注目ベースのConvolutions Neural Networksと、以前の3Dポイントクラウド処理トランスフォーマーの改善である。 我々のモデルは、既存の最先端のアプローチと比較して、様々なポイントクラウド処理タスクの効果的なバックボーンとして機能する。
  論文  参考訳（メタデータ） (2021-11-21T17:45:55Z)
• Planning with Learned Dynamic Model for Unsupervised Point Cloud Registration [25.096635750142227]
  我々は,変換ネットワークと評価ネットワークから構成される点雲の潜在動的モデルを開発する。 我々は、ポイントクラウド登録プロセスにおける報酬を最大化し、計画方針を反復的に更新するためにクロスエントロピー法(CEM)を用いる。 ModelNet40および7Sceneベンチマークデータセットの実験結果から,本手法は教師なしで良好な登録性能が得られることが示された。
  論文  参考訳（メタデータ） (2021-08-05T13:47:11Z)
• DV-ConvNet: Fully Convolutional Deep Learning on Point Clouds with Dynamic Voxelization and 3D Group Convolution [0.7340017786387767]
  3次元点雲の解釈は、成分点のランダム性と空間性のために難しい課題である。 本研究では,効率的な3Dポイントクラウド解釈に向けて,標準的な3Dコンボリューションに注意を向ける。 我々のネットワークは、非常に高速に動作し、収束することができるが、いくつかのベンチマークデータセットの最先端の手法と比較して、オンパーまたはさらにパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-09-07T07:45:05Z)
• Pseudo-LiDAR Point Cloud Interpolation Based on 3D Motion Representation and Spatial Supervision [68.35777836993212]
  我々はPseudo-LiDAR点雲ネットワークを提案し、時間的および空間的に高品質な点雲列を生成する。 点雲間のシーンフローを活用することにより,提案ネットワークは3次元空間運動関係のより正確な表現を学習することができる。
  論文  参考訳（メタデータ） (2020-06-20T03:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。