論文の概要: GTNet: Graph Transformer Network for 3D Point Cloud Classification and Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2305.15213v3
- Date: Mon, 5 Aug 2024 06:40:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-07 00:45:00.829812
- Title: GTNet: Graph Transformer Network for 3D Point Cloud Classification and Semantic Segmentation
- Title（参考訳）: GTNet:3Dポイントクラウド分類とセマンティックセグメンテーションのためのグラフトランスフォーマネットワーク
- Authors: Wei Zhou, Qian Wang, Weiwei Jin, Xinzhe Shi, Ying He,
- Abstract要約: グラフベースのディープラーニングネットワークとTransformerベースのディープラーニングネットワークは、さまざまなポイントクラウドタスクで優れたパフォーマンスを示している。
本稿では,Graph Transformerという新機能抽出ブロックを提案し,GTNetと呼ばれる3Dポイントクラウド学習ネットワークを構築した。
- 参考スコア（独自算出の注目度）: 10.596757615219207
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, graph-based and Transformer-based deep learning networks have demonstrated excellent performances on various point cloud tasks. Most of the existing graph methods are based on static graph, which take a fixed input to establish graph relations. Moreover, many graph methods apply maximization and averaging to aggregate neighboring features, so that only a single neighboring point affects the feature of centroid or different neighboring points have the same influence on the centroid's feature, which ignoring the correlation and difference between points. Most Transformer-based methods extract point cloud features based on global attention and lack the feature learning on local neighbors. To solve the problems of these two types of models, we propose a new feature extraction block named Graph Transformer and construct a 3D point point cloud learning network called GTNet to learn features of point clouds on local and global patterns. Graph Transformer integrates the advantages of graph-based and Transformer-based methods, and consists of Local Transformer and Global Transformer modules. Local Transformer uses a dynamic graph to calculate all neighboring point weights by intra-domain cross-attention with dynamically updated graph relations, so that every neighboring point could affect the features of centroid with different weights; Global Transformer enlarges the receptive field of Local Transformer by a global self-attention. In addition, to avoid the disappearance of the gradient caused by the increasing depth of network, we conduct residual connection for centroid features in GTNet; we also adopt the features of centroid and neighbors to generate the local geometric descriptors in Local Transformer to strengthen the local information learning capability of the model. Finally, we use GTNet for shape classification, part segmentation and semantic segmentation tasks in this paper.
- Abstract（参考訳）: 近年,グラフベースおよびトランスフォーマーベースのディープラーニングネットワークは,様々なポイントクラウドタスクにおいて優れた性能を示した。
既存のグラフ手法のほとんどは静的グラフに基づいており、グラフ関係を確立するために固定的な入力を取る。
さらに、多くのグラフ法は、隣接する特徴を集約するために最大化と平均化を適用するので、1つの隣接点だけが中心点の特徴に影響を及ぼすか、または異なる隣接点だけが、点間の相関や差を無視した中心点の特徴に同じ影響を及ぼす。
トランスフォーマーベースのほとんどの手法は、グローバルな注意に基づくポイントクラウドの特徴を抽出し、近隣地域の特徴学習を欠いている。
これら2種類のモデルの課題を解決するため,グラフ変換器という新機能抽出ブロックを提案し,GTNetと呼ばれる3次元ポイントポイントクラウド学習ネットワークを構築し,局所パターンとグローバルパターンにおけるポイントクラウドの特徴を学習する。
Graph Transformerは、グラフベースとTransformerベースのメソッドの利点を統合し、Local TransformerとGlobal Transformerモジュールで構成される。
Local Transformerは、動的グラフを使用して、動的に更新されたグラフ関係を持つドメイン内のクロスアテンションによって、近隣のすべてのポイントが異なる重みを持つセントロイドの特徴に影響を与えるように、すべての近隣のポイントウェイトを計算する。
また,ネットワーク深度の増加による勾配の消失を回避するため,GTNetにおけるセントロイド特徴の残差接続を行い,局所変換器の局所的幾何学的記述子を生成することで,モデルの局所的情報学習能力を向上する。
最後に,GTNetを用いて形状分類,部分分割,意味分割を行う。
関連論文リスト
- GSTran: Joint Geometric and Semantic Coherence for Point Cloud Segmentation [33.72549134362884]
本稿では,セグメント化作業に適した新しい変圧器ネットワークであるGSTranを提案する。
提案するネットワークは主に,局所幾何学変換器と大域意味変換器の2つの主成分から構成される。
ShapeNetPartとS3DISベンチマークの実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2024-08-21T12:12:37Z) - Boosting Cross-Domain Point Classification via Distilling Relational Priors from 2D Transformers [59.0181939916084]
従来の3Dネットワークは主に局所幾何学的詳細に焦点を当て、局所幾何学間の位相構造を無視する。
そこで本稿では,大規模画像上においてよく訓練されたトランスフォーマーから前駆体を抽出する,新しい先駆体蒸留法を提案する。
PointDA-10とSim-to-Realデータセットの実験は、提案手法が点クラウド分類におけるUDAの最先端性能を一貫して達成していることを検証する。
論文 参考訳（メタデータ） (2024-07-26T06:29:09Z) - Graph Transformer GANs with Graph Masked Modeling for Architectural
Layout Generation [153.92387500677023]
本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。
提案したグラフ変換器エンコーダは、局所的およびグローバルな相互作用をモデル化するために、Transformer内のグラフ畳み込みと自己アテンションを組み合わせる。
また,グラフ表現学習のための自己指導型事前学習手法を提案する。
論文 参考訳（メタデータ） (2024-01-15T14:36:38Z) - Transitivity-Preserving Graph Representation Learning for Bridging Local
Connectivity and Role-based Similarity [2.5252594834159643]
局所的およびグローバルな構造情報を固定長ベクトル表現に統合するUnified Graph Transformer Networks (UGT)を提案する。
まず、UGTは各ノードの局所的な部分構造を特定し、各ノードの$k$ホップ近傍の特徴を集約することによって局所構造を学習する。
第三に、UGTは自己アテンションを通じて統一表現を学び、構造距離とノードペア間の$p$ステップ遷移確率を符号化する。
論文 参考訳（メタデータ） (2023-08-18T12:49:57Z) - VTPNet for 3D deep learning on point cloud [10.470127366415813]
Voxel-Transformer-Point(VTP)ブロックは、ポイントクラウドの局所的およびグローバル的特徴を抽出する。
VTPは、ボクセルベース、ポイントベース、トランスフォーマーベースの方法の利点を組み合わせたものである。
実験の結果、VTPNetは3Dポイントのクラウド学習において優れたパフォーマンスを示している。
論文 参考訳（メタデータ） (2023-05-10T13:07:46Z) - Graph Transformer GANs for Graph-Constrained House Generation [223.739067413952]
本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。
GTGANは、グラフ制約のある住宅生成タスクにおいて、エンドツーエンドで効率的なグラフノード関係を学習する。
論文 参考訳（メタデータ） (2023-03-14T20:35:45Z) - SemAffiNet: Semantic-Affine Transformation for Point Cloud Segmentation [94.11915008006483]
ポイントクラウドセマンティックセグメンテーションのためのSemAffiNetを提案する。
我々はScanNetV2とNYUv2データセットについて広範な実験を行った。
論文 参考訳（メタデータ） (2022-05-26T17:00:23Z) - CpT: Convolutional Point Transformer for 3D Point Cloud Processing [10.389972581905]
CpT: Convolutional Point Transformer - 3Dポイントクラウドデータの非構造化の性質を扱うための新しいディープラーニングアーキテクチャ。
CpTは、既存の注目ベースのConvolutions Neural Networksと、以前の3Dポイントクラウド処理トランスフォーマーの改善である。
我々のモデルは、既存の最先端のアプローチと比較して、様々なポイントクラウド処理タスクの効果的なバックボーンとして機能する。
論文 参考訳（メタデータ） (2021-11-21T17:45:55Z) - Local Augmentation for Graph Neural Networks [78.48812244668017]
本稿では,局所的な部分グラフ構造によりノード特性を向上する局所拡張を提案する。
局所的な拡張に基づいて、プラグイン・アンド・プレイ方式で任意のGNNモデルに適用可能な、LA-GNNという新しいフレームワークをさらに設計する。
論文 参考訳（メタデータ） (2021-09-08T18:10:08Z) - A Rotation-Invariant Framework for Deep Point Cloud Analysis [132.91915346157018]
ネットワーク入力時に一般的な3次元カルト座標を置き換えるために,新しい低レベル純粋回転不変表現を導入する。
また,これらの表現を特徴に組み込むネットワークアーキテクチャを提案し,点とその近傍の局所的関係とグローバルな形状構造を符号化する。
本手法は, 形状分類, 部分分割, 形状検索を含む多点雲解析タスクにおいて評価する。
論文 参考訳（メタデータ） (2020-03-16T14:04:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。