Fugu-MT 論文翻訳(概要): Locality-Sensitive Hashing-Based Efficient Point Transformer with Applications in High-Energy Physics

論文の概要: Locality-Sensitive Hashing-Based Efficient Point Transformer with Applications in High-Energy Physics

arxiv url: http://arxiv.org/abs/2402.12535v2
Date: Wed, 5 Jun 2024 16:57:00 GMT
ステータス: 処理完了
システム内更新日: 2024-06-07 01:11:46.031989
Title: Locality-Sensitive Hashing-Based Efficient Point Transformer with Applications in High-Energy Physics
Title（参考訳）: 高エネルギー物理応用のための局所感性ハッシュを用いた高効率点変圧器
Authors: Siqi Miao, Zhiyuan Lu, Mia Liu, Javier Duarte, Pan Li,
Abstract要約: 本研究では,大規模クラウド処理に最適化された新しいトランスモデルを提案する。本モデルは局所帰納バイアスを統合し,ハードウェアフレンドリーな正規演算とほぼ直線的な複雑性を実現する。大規模クラウドデータに対するカーネル近似において,LSH(Locality-sensitive hashing),特にOR & AND-construction LSH(OR & AND-construction LSH)の優位性が示された。
参考スコア（独自算出の注目度）: 11.182510067821745
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This study introduces a novel transformer model optimized for large-scale point cloud processing in scientific domains such as high-energy physics (HEP) and astrophysics. Addressing the limitations of graph neural networks and standard transformers, our model integrates local inductive bias and achieves near-linear complexity with hardware-friendly regular operations. One contribution of this work is the quantitative analysis of the error-complexity tradeoff of various sparsification techniques for building efficient transformers. Our findings highlight the superiority of using locality-sensitive hashing (LSH), especially OR & AND-construction LSH, in kernel approximation for large-scale point cloud data with local inductive bias. Based on this finding, we propose LSH-based Efficient Point Transformer (HEPT), which combines E$^2$LSH with OR & AND constructions and is built upon regular computations. HEPT demonstrates remarkable performance on two critical yet time-consuming HEP tasks, significantly outperforming existing GNNs and transformers in accuracy and computational speed, marking a significant advancement in geometric deep learning and large-scale scientific data processing. Our code is available at https://github.com/Graph-COM/HEPT.
Abstract（参考訳）: 本研究では,高エネルギー物理(HEP)や天体物理学などの科学領域における大規模クラウド処理に最適化された新しい変圧器モデルを提案する。グラフニューラルネットワークと標準トランスフォーマーの限界に対処するため、我々のモデルは局所帰納バイアスを統合し、ハードウェアフレンドリーな正規演算とほぼ直線的な複雑性を実現する。この研究の1つの貢献は、効率的な変圧器を構築するための様々なスパーシフィケーション手法の誤差・複雑さトレードオフの定量的解析である。局所誘導バイアスを伴う大規模クラウドデータに対するカーネル近似において,LSH(Locality-sensitive hashing),特にOR & AND-construction LSH(OR & AND-Construction LSH)の優位性が示された。そこで本研究では,E$^2$LSH と OR & AND の構成を組み合わせた LSH ベースの高効率点変換器 (HEPT) を提案する。 HEPTは2つの重要な時間を要するHEPタスクにおいて顕著な性能を示し、既存のGNNやトランスフォーマーを精度と計算速度で大幅に上回り、幾何学的深層学習と大規模科学データ処理の大きな進歩を示している。私たちのコードはhttps://github.com/Graph-COM/HEPTで公開されています。

関連論文リスト

Liquid Fourier Latent Dynamics Networks for fast GPU-based numerical simulations in computational cardiology [0.0]
複素測地上での高次非線形微分方程式の多スケールおよび多物理集合に対するパラメータ化時空間サロゲートモデルを作成するために、Latent Dynamics Networks(LDNets)の拡張を提案する。 LFLDNetは、時間的ダイナミクスのために神経学的にインスパイアされたスパースな液体ニューラルネットワークを使用し、時間進行のための数値ソルバの要求を緩和し、パラメータ、精度、効率、学習軌道の点で優れたパフォーマンスをもたらす。
論文参考訳（メタデータ） (2024-08-19T09:14:25Z)
AdaLog: Post-Training Quantization for Vision Transformers with Adaptive Logarithm Quantizer [54.713778961605115]
Vision Transformer (ViT) はコンピュータビジョンコミュニティにおいて最も普及しているバックボーンネットワークの1つである。本稿では,AdaLog(Adaptive Logarithm AdaLog)量子化器を提案する。
論文参考訳（メタデータ） (2024-07-17T18:38:48Z)
Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
論文参考訳（メタデータ） (2024-06-24T23:00:58Z)
Universal Physics Transformers: A Framework For Efficiently Scaling Neural Operators [12.165876595927452]
ユニバーサル物理変換器(Universal Physics Transformer、UPT)は、幅広い問題に対して効率的かつ統一的な学習パラダイムである。 UPTはグリッドやパーティクルベースの潜在メッシュを使わずに動作し、構造や粒子間の柔軟性を実現する。メッシュ型流体シミュレーションおよび定常レイノルズ平均Navier-StokesシミュレーションにおけるUTTの適用性と有効性を示した。
論文参考訳（メタデータ） (2024-02-19T18:52:13Z)
TransAxx: Efficient Transformers with Approximate Computing [4.347898144642257]
Vision Transformer (ViT) モデルは非常に競争力があり、畳み込みニューラルネットワーク (CNN) の代替として人気がある。本稿では,PyTorchライブラリをベースとしたフレームワークであるTransAxxを提案する。提案手法では,モンテカルロ木探索(MCTS)アルゴリズムを用いて,構成可能な空間を効率的に探索する。
論文参考訳（メタデータ） (2024-02-12T10:16:05Z)
A Hierarchical Spatial Transformer for Massive Point Samples in Continuous Space [11.074768589778934]
既存のトランスは、主にシーケンス(テキストや時系列)、画像やビデオ、グラフのために設計されている。本稿では,連続空間における大規模(最大100万点)点サンプルに対する新しい変圧器モデルを提案する。
論文参考訳（メタデータ） (2023-11-08T02:54:19Z)
Hyperparameter Optimization of Generative Adversarial Network Models for High-Energy Physics Simulations [0.0]
Generative Adversarial Network(GAN)は、学習によって高忠実な合成データを生成する強力なツールである。この研究は、大型ハドロン衝突型加速器のデータに対して、GANを効率的にチューニングするための最初の洞察を提供する。
論文参考訳（メタデータ） (2022-08-12T20:39:57Z)
Your Transformer May Not be as Powerful as You Expect [88.11364619182773]
連続列列列関数を近似できるかどうかに関して, RPE ベースの変換器のパワーを数学的に解析する。 RPEをベースとしたトランスフォーマーでは,ニューラルネットワークの深さや幅がどんなに深くても近似できない連続列列列列関数が存在することを示す。我々は,その条件を満たす,Universal RPE-based (URPE) Attentionと呼ばれる新しいアテンションモジュールを開発する。
論文参考訳（メタデータ） (2022-05-26T14:51:30Z)
Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文参考訳（メタデータ） (2022-04-21T05:27:09Z)
Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [63.539333383965726]
相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
論文参考訳（メタデータ） (2021-06-23T17:51:26Z)
Efficient pre-training objectives for Transformers [84.64393460397471]
本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
論文参考訳（メタデータ） (2021-04-20T00:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。