論文の概要: Locality-Sensitive Hashing-Based Efficient Point Transformer with
Applications in High-Energy Physics
- arxiv url: http://arxiv.org/abs/2402.12535v1
- Date: Mon, 19 Feb 2024 20:48:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 18:27:23.056709
- Title: Locality-Sensitive Hashing-Based Efficient Point Transformer with
Applications in High-Energy Physics
- Title(参考訳): 局所性センシティブハッシュ方式高エネルギー物理応用による高効率点変換器
- Authors: Siqi Miao, Zhiyuan Lu, Mia Liu, Javier Duarte, Pan Li
- Abstract要約: 本研究では,大規模クラウド処理に最適化された新しいトランスモデルを提案する。
本モデルは局所帰納バイアスを統合し,ハードウェアフレンドリーな正規演算とほぼ直線的な複雑性を実現する。
大規模クラウドデータに対するカーネル近似において,LSH(Locality-sensitive hashing),特にOR & AND-construction LSH(OR & AND-construction LSH)の優位性が示された。
- 参考スコア(独自算出の注目度): 11.997110683096205
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study introduces a novel transformer model optimized for large-scale
point cloud processing in scientific domains such as high-energy physics (HEP)
and astrophysics. Addressing the limitations of graph neural networks and
standard transformers, our model integrates local inductive bias and achieves
near-linear complexity with hardware-friendly regular operations. One
contribution of this work is the quantitative analysis of the error-complexity
tradeoff of various sparsification techniques for building efficient
transformers. Our findings highlight the superiority of using
locality-sensitive hashing (LSH), especially OR \& AND-construction LSH, in
kernel approximation for large-scale point cloud data with local inductive
bias. Based on this finding, we propose LSH-based Efficient Point Transformer
(\textbf{HEPT}), which combines E$^2$LSH with OR \& AND constructions and is
built upon regular computations. HEPT demonstrates remarkable performance in
two critical yet time-consuming HEP tasks, significantly outperforming existing
GNNs and transformers in accuracy and computational speed, marking a
significant advancement in geometric deep learning and large-scale scientific
data processing. Our code is available at
\url{https://github.com/Graph-COM/HEPT}.
- Abstract(参考訳): 本研究では,高エネルギー物理(HEP)や天体物理学などの科学領域における大規模クラウド処理に最適化された新しい変圧器モデルを提案する。
グラフニューラルネットワークと標準トランスフォーマーの限界に対処し,局所帰納的バイアスを統合し,ハードウェアフレンドリーな正規操作でニアリニアな複雑性を実現する。
この研究の1つの貢献は、効率的な変圧器を構築するための様々なスパーシフィケーション技術の誤差・複雑さトレードオフの定量的解析である。
局所性に敏感なハッシュ(LSH),特にOR \& AND-construction LSHは,局所誘導バイアスを伴う大規模クラウドデータに対するカーネル近似の優位性を示す。
そこで本研究では,E$^2$LSH と OR \& AND 構造を組み合わせた LSH ベースの効率的な点変換器 (\textbf{HEPT}) を提案する。
HEPTは2つの重要な時間を要するHEPタスクにおいて顕著な性能を示し、既存のGNNやトランスフォーマーを精度と計算速度で大幅に上回っており、幾何学的深層学習と大規模科学データ処理の大きな進歩を示している。
私たちのコードは \url{https://github.com/Graph-COM/HEPT} で利用可能です。
関連論文リスト
- A Hierarchical Spatial Transformer for Massive Point Samples in
Continuous Space [11.074768589778934]
既存のトランスは、主にシーケンス(テキストや時系列)、画像やビデオ、グラフのために設計されている。
本稿では,連続空間における大規模(最大100万点)点サンプルに対する新しい変圧器モデルを提案する。
論文 参考訳(メタデータ) (2023-11-08T02:54:19Z) - On the Convergence of Encoder-only Shallow Transformers [62.639819460956176]
エンコーダのみの浅部変圧器のグローバル収束理論を現実的な条件下で構築する。
我々の結果は、現代のトランスフォーマー、特にトレーニング力学の理解を深める道を開くことができる。
論文 参考訳(メタデータ) (2023-11-02T20:03:05Z) - HEAL-SWIN: A Vision Transformer On The Sphere [0.7036032466145112]
HEAL-SWIN変換器は,高度に均一な階層的等角領域等緯線図形 (HEALPix) グリッドを組み合わせたものである。
HEAL-SWINでは、HEALPixグリッドのネスト構造を用いてSWINトランスのパッチとウィンドウ操作を行う。
合成および実自動車のデータセット上でのセマンティックセグメンテーションおよび深度回帰タスクにおいて,本モデルの優れた性能を示す。
論文 参考訳(メタデータ) (2023-07-14T12:46:59Z) - Transformers as Statisticians: Provable In-Context Learning with
In-Context Algorithm Selection [88.23337313766353]
この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。
コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。
エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
論文 参考訳(メタデータ) (2023-06-07T17:59:31Z) - Equivariant Graph Neural Networks for Charged Particle Tracking [1.6626046865692057]
EuclidNetは荷電粒子追跡のための新しい対称性等価GNNである。
TrackMLデータセット上の最先端のインタラクションネットワークに対してベンチマークを行う。
以上の結果から,EuclidNetは小規模なモデルスケールでほぼ最先端の性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-04-11T15:43:32Z) - Learning a Fourier Transform for Linear Relative Positional Encodings in
Transformers [60.58073666177477]
我々はLearner-Transformers(Learner-Transformers)と呼ばれる線形変換器の新しいクラスを提案する。
学習者変換器は、幅広い相対的位置符号化機構(RPE)を組み込む
また、画像分類や3次元分子モデリングといった他のデータモダリティやタスクについても、sを徹底的に検証した。
論文 参考訳(メタデータ) (2023-02-03T18:57:17Z) - Hyperparameter Optimization of Generative Adversarial Network Models for
High-Energy Physics Simulations [0.0]
Generative Adversarial Network(GAN)は、学習によって高忠実な合成データを生成する強力なツールである。
この研究は、大型ハドロン衝突型加速器のデータに対して、GANを効率的にチューニングするための最初の洞察を提供する。
論文 参考訳(メタデータ) (2022-08-12T20:39:57Z) - Your Transformer May Not be as Powerful as You Expect [88.11364619182773]
連続列列列関数を近似できるかどうかに関して, RPE ベースの変換器のパワーを数学的に解析する。
RPEをベースとしたトランスフォーマーでは,ニューラルネットワークの深さや幅がどんなに深くても近似できない連続列列列列関数が存在することを示す。
我々は,その条件を満たす,Universal RPE-based (URPE) Attentionと呼ばれる新しいアテンションモジュールを開発する。
論文 参考訳(メタデータ) (2022-05-26T14:51:30Z) - REMuS-GNN: A Rotation-Equivariant Model for Simulating Continuum
Dynamics [0.0]
本稿では,連続体力学系をシミュレーションする回転同変マルチスケールモデルREMuS-GNNを紹介する。
楕円円柱まわりの非圧縮性流れについて,本手法の実証と評価を行った。
論文 参考訳(メタデータ) (2022-05-05T16:20:37Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳(メタデータ) (2022-04-21T05:27:09Z) - Stable, Fast and Accurate: Kernelized Attention with Relative Positional
Encoding [63.539333383965726]
相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。
相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
論文 参考訳(メタデータ) (2021-06-23T17:51:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。