論文の概要: A Hierarchical Spatial Transformer for Massive Point Samples in Continuous Space

• arxiv url: http://arxiv.org/abs/2311.04434v1
• Date: Wed, 8 Nov 2023 02:54:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-09 17:16:57.729855
• Title: A Hierarchical Spatial Transformer for Massive Point Samples in Continuous Space
• Title（参考訳）: 連続空間における大規模点サンプルの階層的空間変換器
• Authors: Wenchong He, Zhe Jiang, Tingsong Xiao, Zelin Xu, Shigang Chen, Ronald Fick, Miles Medina, Christine Angelini
• Abstract要約: 既存のトランスは、主にシーケンス(テキストや時系列)、画像やビデオ、グラフのために設計されている。 本稿では,連続空間における大規模(最大100万点)点サンプルに対する新しい変圧器モデルを提案する。
• 参考スコア（独自算出の注目度）: 11.074768589778934
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Transformers are widely used deep learning architectures. Existing transformers are mostly designed for sequences (texts or time series), images or videos, and graphs. This paper proposes a novel transformer model for massive (up to a million) point samples in continuous space. Such data are ubiquitous in environment sciences (e.g., sensor observations), numerical simulations (e.g., particle-laden flow, astrophysics), and location-based services (e.g., POIs and trajectories). However, designing a transformer for massive spatial points is non-trivial due to several challenges, including implicit long-range and multi-scale dependency on irregular points in continuous space, a non-uniform point distribution, the potential high computational costs of calculating all-pair attention across massive points, and the risks of over-confident predictions due to varying point density. To address these challenges, we propose a new hierarchical spatial transformer model, which includes multi-resolution representation learning within a quad-tree hierarchy and efficient spatial attention via coarse approximation. We also design an uncertainty quantification branch to estimate prediction confidence related to input feature noise and point sparsity. We provide a theoretical analysis of computational time complexity and memory costs. Extensive experiments on both real-world and synthetic datasets show that our method outperforms multiple baselines in prediction accuracy and our model can scale up to one million points on one NVIDIA A100 GPU. The code is available at \url{https://github.com/spatialdatasciencegroup/HST}.
• Abstract（参考訳）: トランスフォーマーはディープラーニングアーキテクチャとして広く使われている。 既存のトランスフォーマーは、主にシーケンス(テキストや時系列)、画像やビデオ、グラフ用に設計されている。 本稿では,連続空間における大規模(最大100万点)点試料の変圧器モデルを提案する。 このようなデータは、環境科学(例えば、センサ観測)、数値シミュレーション(例えば、粒子層流、天体物理学)、位置ベースのサービス(例えば、POIや軌道学)においてユビキタスである。 しかし、連続空間における不規則点への暗黙の長距離およびマルチスケールの依存、一様でない点分布、多点にわたる全対の注意を計算するための潜在的に高い計算コスト、および様々な点密度による過密な予測のリスクなど、大規模な空間点に対する変換器の設計は、いくつかの課題により非自明である。 これらの課題に対処するために,四分木階層内のマルチレゾリューション表現学習と粗い近似による効率的な空間的注意を含む新しい階層的空間トランスフォーマモデルを提案する。 また、入力特徴雑音と点間隔に関する予測信頼度を推定する不確実量化分岐を設計する。 計算時間の複雑さとメモリコストを理論的に解析する。 実世界のデータセットと合成データセットの両方に対する大規模な実験により、我々の手法は予測精度において複数のベースラインを上回り、我々のモデルは1つのNVIDIA A100 GPU上で100万ポイントまでスケール可能であることが示された。 コードは \url{https://github.com/spatialdatasciencegroup/hst} で入手できる。

関連論文リスト

• Locality-Sensitive Hashing-Based Efficient Point Transformer with Applications in High-Energy Physics [11.182510067821745]
  本研究では,大規模クラウド処理に最適化された新しいトランスモデルを提案する。 本モデルは局所帰納バイアスを統合し,ハードウェアフレンドリーな正規演算とほぼ直線的な複雑性を実現する。 大規模クラウドデータに対するカーネル近似において,LSH(Locality-sensitive hashing),特にOR & AND-construction LSH(OR & AND-construction LSH)の優位性が示された。
  論文  参考訳（メタデータ） (2024-02-19T20:48:09Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• Eagle: Large-Scale Learning of Turbulent Fluid Dynamics with Mesh Transformers [23.589419066824306]
  流体力学を推定することは、解決するのが非常に難しい。 問題に対する新しいモデル,メソッド,ベンチマークを導入する。 我々の変換器は、既存の合成データセットと実際のデータセットの両方において、最先端のパフォーマンスより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-16T12:59:08Z)
• CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point Cloud Learning [81.85951026033787]
  この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。 また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。 提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
  論文  参考訳（メタデータ） (2022-07-31T21:39:15Z)
• Fast and realistic large-scale structure from machine-learning-augmented random field simulations [0.0]
  我々は、予測された対数正規ダークマター密度場をより現実的なダークマターマップに変換するために機械学習モデルを訓練する。 本研究では,フィールド分解能,赤方偏移,宇宙論的パラメータの異なる様々な統計的テストと比較したモデルの性能を示す。
  論文  参考訳（メタデータ） (2022-05-16T18:00:01Z)
• Stratified Transformer for 3D Point Cloud Segmentation [89.9698499437732]
  Stratified Transformerは、長距離コンテキストをキャプチャし、強力な一般化能力と高性能を示す。 不規則な点配置によって引き起こされる課題に対処するために,局所情報を集約する第1層点埋め込みを提案する。 S3DIS, ScanNetv2およびShapeNetPartデータセットにおける本手法の有効性と優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2022-03-28T05:35:16Z)
• PnP-DETR: Towards Efficient Visual Analysis with Transformers [146.55679348493587]
  近年、DeTRはトランスフォーマーを用いたソリューションビジョンタスクの先駆者であり、画像特徴マップを直接オブジェクト結果に変換する。 最近の変圧器を用いた画像認識モデルとTTは、一貫した効率向上を示す。
  論文  参考訳（メタデータ） (2021-09-15T01:10:30Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• FFD: Fast Feature Detector [22.51804239092462]
  特定のスケール空間領域にロバストで正確なキーポイントが存在することを示す。 スケールスペースピラミッドの滑らか度比とぼかしをそれぞれ2と0.627に設定することで、信頼性の高いキーポイントの検出が容易であることが証明された。
  論文  参考訳（メタデータ） (2020-12-01T21:56:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。