論文の概要: Spatially Aware Linear Transformer (SAL-T) for Particle Jet Tagging

• arxiv url: http://arxiv.org/abs/2510.23641v1
• Date: Fri, 24 Oct 2025 18:00:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 15:35:36.309063
• Title: Spatially Aware Linear Transformer (SAL-T) for Particle Jet Tagging
• Title（参考訳）: 粒子ジェットタグ用空間認識リニアトランス(SAL-T)
• Authors: Aaron Wang, Zihan Zhao, Subash Katel, Vivekanand Gyanchand Sahu, Elham E Khoda, Abhijith Gandrakota, Jennifer Ngadiuba, Richard Cavanaugh, Javier Duarte,
• Abstract要約: 変換器は高エネルギー粒子衝突における大域的相関と局所的相関を捉えるのに非常に効果的である。 変換器は高エネルギー粒子衝突における大域的相関と局所的相関を捉えるのに非常に効果的である。 本稿では,線形注意を維持できるライフォーマアーキテクチャの拡張である空間認識線形変換器(SAL-T)を紹介する。
• 参考スコア（独自算出の注目度）: 5.844119137664664
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers are very effective in capturing both global and local correlations within high-energy particle collisions, but they present deployment challenges in high-data-throughput environments, such as the CERN LHC. The quadratic complexity of transformer models demands substantial resources and increases latency during inference. In order to address these issues, we introduce the Spatially Aware Linear Transformer (SAL-T), a physics-inspired enhancement of the linformer architecture that maintains linear attention. Our method incorporates spatially aware partitioning of particles based on kinematic features, thereby computing attention between regions of physical significance. Additionally, we employ convolutional layers to capture local correlations, informed by insights from jet physics. In addition to outperforming the standard linformer in jet classification tasks, SAL-T also achieves classification results comparable to full-attention transformers, while using considerably fewer resources with lower latency during inference. Experiments on a generic point cloud classification dataset (ModelNet10) further confirm this trend. Our code is available at https://github.com/aaronw5/SAL-T4HEP.
• Abstract（参考訳）: トランスフォーマーは高エネルギー粒子衝突における大域的相関と局所的相関を捉えるのに非常に効果的であるが、CERN LHCのような高データスループット環境での展開課題を示す。 トランスモデルの二次的な複雑さは、かなりのリソースを必要とし、推論中に遅延を増大させる。 これらの問題に対処するために,線形注意を保ちながら物理に着想を得たリンフォーマアーキテクチャの拡張である空間認識線形変換器(SAL-T)を導入する。 そこで本手法では,運動特性に基づく粒子の空間的分割を取り入れ,物理的に重要な領域間での注目度を計算する。 さらに, ジェット物理の知見から, 局所的な相関を捉えるために, 畳み込み層を用いる。 SAL-Tはジェット分類タスクにおける標準リンフォーマよりも優れており、フルアテンション・トランスフォーマーに匹敵する分類結果も達成している。 ジェネリックポイントクラウド分類データセット(ModelNet10)の実験は、この傾向をさらに確認している。 私たちのコードはhttps://github.com/aaronw5/SAL-T4HEPで公開されています。

関連論文リスト

• PiT: Progressive Diffusion Transformer [50.46345527963736]
  拡散変換器(DiT)は変換器アーキテクチャを用いて画像生成において顕著な性能を発揮する。 DiTは以前信じられていたようなグローバルな情報に大きく依存していない。 Pseudo Progressive Diffusion Transformer (PiT)を提案する。
  論文  参考訳（メタデータ） (2025-05-19T15:02:33Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Frequency-aware Feature Fusion for Dense Image Prediction [99.85757278772262]
  本稿では,高密度画像予測のための周波数認識機能融合(FreqFusion)を提案する。 FreqFusionは、Adaptive Low-Pass Filter (ALPF) ジェネレータ、オフセットジェネレータ、Adaptive High-Pass Filter (AHPF) ジェネレータを統合する。 包括的可視化と定量的分析は、FreqFusionが機能一貫性を効果的に改善し、オブジェクト境界を鋭くすることを示している。
  論文  参考訳（メタデータ） (2024-08-23T07:30:34Z)
• Locality-Sensitive Hashing-Based Efficient Point Transformer with Applications in High-Energy Physics [11.182510067821745]
  本研究では,大規模クラウド処理に最適化された新しいトランスモデルを提案する。 本モデルは局所帰納バイアスを統合し,ハードウェアフレンドリーな正規演算とほぼ直線的な複雑性を実現する。 大規模クラウドデータに対するカーネル近似において,LSH(Locality-sensitive hashing),特にOR & AND-construction LSH(OR & AND-construction LSH)の優位性が示された。
  論文  参考訳（メタデータ） (2024-02-19T20:48:09Z)
• FactoFormer: Factorized Hyperspectral Transformers with Self-Supervised Pretraining [36.44039681893334]
  ハイパースペクトル画像(HSI)は、豊富なスペクトルと空間情報を含む。 現在の最先端ハイパースペクトル変換器は、入力されたHSIサンプルをスペクトル次元に沿ってトークン化するのみである。 本稿では、自己教師付き事前学習手順を取り入れた新しい分解スペクトル空間変換器を提案する。
  論文  参考訳（メタデータ） (2023-09-18T02:05:52Z)
• DepthFormer: Exploiting Long-Range Correlation and Local Information for Accurate Monocular Depth Estimation [50.08080424613603]
  高精度な単分子深度推定には長距離相関が不可欠である。 我々は,このグローバルコンテキストを効果的な注意機構でモデル化するためにTransformerを活用することを提案する。 提案したモデルであるDepthFormerは、最先端のモノクル深度推定手法をはるかに超えている。
  論文  参考訳（メタデータ） (2022-03-27T05:03:56Z)
• TransMOT: Spatial-Temporal Graph Transformer for Multiple Object Tracking [74.82415271960315]
  映像内の物体間の空間的・時間的相互作用を効率的にモデル化するソリューションであるTransMOTを提案する。 TransMOTは従来のTransformerよりも計算効率が高いだけでなく、トラッキング精度も向上している。 提案手法は、MOT15、MOT16、MOT17、MOT20を含む複数のベンチマークデータセット上で評価される。
  論文  参考訳（メタデータ） (2021-04-01T01:49:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。