論文の概要: Interpreting Transformers for Jet Tagging

• arxiv url: http://arxiv.org/abs/2412.03673v2
• Date: Mon, 09 Dec 2024 03:47:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 11:30:32.995623
• Title: Interpreting Transformers for Jet Tagging
• Title（参考訳）: ジェットタグ用変圧器の解釈
• Authors: Aaron Wang, Abhijith Gandrakota, Jennifer Ngadiuba, Vivekanand Sahu, Priyansh Bhatnagar, Elham E Khoda, Javier Duarte,
• Abstract要約: 本研究では, 注目熱マップと粒子対相関を$eta$-$phi$平面上で解析することによりParTの解釈に着目する。 同時に、ParTは崩壊に応じて重要な粒子やサブジェットに様々な焦点が当てられていることを示し、このモデルが従来のジェットサブ構造を学習していることを示す。
• 参考スコア（独自算出の注目度）: 2.512200562089791
• License:
• Abstract: Machine learning (ML) algorithms, particularly attention-based transformer models, have become indispensable for analyzing the vast data generated by particle physics experiments like ATLAS and CMS at the CERN LHC. Particle Transformer (ParT), a state-of-the-art model, leverages particle-level attention to improve jet-tagging tasks, which are critical for identifying particles resulting from proton collisions. This study focuses on interpreting ParT by analyzing attention heat maps and particle-pair correlations on the $\eta$-$\phi$ plane, revealing a binary attention pattern where each particle attends to at most one other particle. At the same time, we observe that ParT shows varying focus on important particles and subjets depending on decay, indicating that the model learns traditional jet substructure observables. These insights enhance our understanding of the model's internal workings and learning process, offering potential avenues for improving the efficiency of transformer architectures in future high-energy physics applications.
• Abstract（参考訳）: 機械学習(ML)アルゴリズム、特に注目ベースのトランスフォーマーモデルは、CERN LHCでATLASやCMSのような粒子物理学実験によって生成された膨大なデータを解析するのに欠かせないものとなっている。 最新技術モデルであるParticle Transformer (ParT)は、粒子レベルの注意を生かしてジェットタグタスクを改善する。 本研究では, 注目熱マップと粒子対相関を$\eta$-$\phi$平面上で解析することによりParTの解釈に着目し, 各粒子が少なくとも一方の粒子に付随する2成分の注意パターンを明らかにする。 同時に、ParTは崩壊に応じて重要な粒子やサブジェットに様々な焦点が当てられていることを示し、このモデルが従来のジェットサブ構造を学習していることを示す。 これらの知見は、モデルの内部動作と学習プロセスの理解を深め、将来の高エネルギー物理学応用におけるトランスフォーマーアーキテクチャの効率を改善するための潜在的手段を提供する。

関連論文リスト

• Particle Multi-Axis Transformer for Jet Tagging [0.774199694856838]
  本稿では,新しいアーキテクチャであるParticle Multi-Axis transformer (ParMAT)を提案する。 ParMATは単一ユニット内の局所的およびグローバルな空間的相互作用を含み、様々な入力長を扱う能力を向上させる。 JETCLASSは10種類の粒子からなる1億基のジェットを含む,公開可能な大規模データセットである。
  論文  参考訳（メタデータ） (2024-06-09T10:34:16Z)
• Variational Pseudo Marginal Methods for Jet Reconstruction in Particle Physics [2.223804777595989]
  ジェット潜伏構造を推定するためのコンビニアル・シークエンシャルモンテカルロ法を提案する。 第2の貢献として、パラメータ学習のための変分推論アルゴリズムを開発するために、得られた推定値を利用する。 本研究では,コライダー物理生成モデルを用いて生成したデータを用いて実験を行い,本手法の有効性について述べる。
  論文  参考訳（メタデータ） (2024-06-05T13:18:55Z)
• Learning to Approximate Particle Smoothing Trajectories via Diffusion Generative Models [16.196738720721417]
  希少な観測からシステムを学ぶことは、生物学、金融学、物理学など多くの分野において重要である。 本研究では,条件付き粒子フィルタリングと祖先サンプリングと拡散モデルを統合する手法を提案する。 車両追跡や単一セルRNAシークエンシングデータなど,時系列生成とタスクにおけるアプローチを実証する。
  論文  参考訳（メタデータ） (2024-06-01T21:54:01Z)
• Image Classification in High-Energy Physics: A Comprehensive Survey of Applications to Jet Analysis [3.1070277982608605]
  本稿では機械学習(ML)とその専門分野である深層学習(DL)を用いたアプリケーションの概要を紹介する。 本研究の第1部では, 各種粒子物理学の基礎を考察し, 利用可能な学習モデルとともに粒子物理を評価するためのガイドラインを策定する。 次に、よく定義されたビームエネルギーにおける陽子-陽子衝突を中心に高エネルギー衝突で再構成されたジェット画像の詳細な分類を行う。 提案技術は、高輝度LHC(HL-HLC)や将来の円柱ハドロンなどの将来のハドロン-ハドロン衝突体(HLC)に適用できる。
  論文  参考訳（メタデータ） (2024-03-18T16:33:29Z)
• Interpretable Joint Event-Particle Reconstruction for Neutrino Physics at NOvA with Sparse CNNs and Transformers [124.29621071934693]
  本稿では,畳み込みによって実現される空間学習と,注意によって実現される文脈学習を組み合わせた新しいニューラルネットワークアーキテクチャを提案する。 TransformerCVNは各事象を同時に分類し、各粒子のアイデンティティを再構築する。 このアーキテクチャにより、ネットワークの予測に関する洞察を提供する、いくつかの解釈可能性の研究を行うことができる。
  論文  参考訳（メタデータ） (2023-03-10T20:36:23Z)
• Particle-Based Score Estimation for State Space Model Learning in Autonomous Driving [62.053071723903834]
  マルチオブジェクト状態推定はロボットアプリケーションの基本的な問題である。 粒子法を用いて最大形パラメータを学習することを検討する。 自動運転車から収集した実データに本手法を適用した。
  論文  参考訳（メタデータ） (2022-12-14T01:21:05Z)
• Transformer with Implicit Edges for Particle-based Physics Simulation [135.77656965678196]
  Implicit Edges (TIE) を用いたトランスフォーマーは、素粒子相互作用のリッチなセマンティクスをエッジフリーでキャプチャする。 様々な複雑さと素材の多様な領域におけるモデルの評価を行った。
  論文  参考訳（メタデータ） (2022-07-22T03:45:29Z)
• NeuroFluid: Fluid Dynamics Grounding with Particle-Driven Neural Radiance Fields [65.07940731309856]
  深層学習は流体のような複雑な粒子系の物理力学をモデル化する大きな可能性を示している。 本稿では,流体力学グラウンドリング(fluid dynamics grounding)として知られる,部分的に観測可能なシナリオについて考察する。 我々はNeuroFluidという2段階の異なるネットワークを提案する。 初期形状、粘度、密度が異なる流体の基礎物理学を合理的に推定することが示されている。
  論文  参考訳（メタデータ） (2022-03-03T15:13:29Z)
• Physics-Integrated Variational Autoencoders for Robust and Interpretable Generative Modeling [86.9726984929758]
  我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。 本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。 合成および実世界のデータセットの集合に対して生成的性能改善を示す。
  論文  参考訳（メタデータ） (2021-02-25T20:28:52Z)
• SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
  トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。 事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。 本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。