論文の概要: Efficient and Robust Jet Tagging at the LHC with Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2311.14160v1
• Date: Thu, 23 Nov 2023 19:00:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-27 16:25:22.889917
• Title: Efficient and Robust Jet Tagging at the LHC with Knowledge Distillation
• Title（参考訳）: 知識蒸留によるLHCにおける効率的ロバストジェットタグリング
• Authors: Ryan Liu, Abhijith Gandrakota, Jennifer Ngadiuba, Maria Spiropulu, Jean-Roch Vlimant
• Abstract要約: 本稿では,学生モデルの性能を総合的に向上させた知識蒸留の実施について述べる。 学生モデルでも同様の帰納バイアスを生じさせることで、任意のローレンツブーストに対してより堅牢性が得られることを示す。
• 参考スコア（独自算出の注目度）: 1.658130005539979
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The challenging environment of real-time data processing systems at the Large Hadron Collider (LHC) strictly limits the computational complexity of algorithms that can be deployed. For deep learning models, this implies that only models with low computational complexity that have weak inductive bias are feasible. To address this issue, we utilize knowledge distillation to leverage both the performance of large models and the reduced computational complexity of small ones. In this paper, we present an implementation of knowledge distillation, demonstrating an overall boost in the student models' performance for the task of classifying jets at the LHC. Furthermore, by using a teacher model with a strong inductive bias of Lorentz symmetry, we show that we can induce the same inductive bias in the student model which leads to better robustness against arbitrary Lorentz boost.
• Abstract（参考訳）: LHC(Large Hadron Collider)におけるリアルタイムデータ処理システムの困難な環境は、デプロイ可能なアルゴリズムの計算複雑性を厳しく制限する。 ディープラーニングモデルでは、帰納バイアスの弱い計算複雑性の低いモデルのみが実現可能であることを意味する。 この問題に対処するため,我々は,大規模モデルの性能と小型モデルの計算複雑性の低減を両立するために,知識蒸留を利用する。 本稿では,LHCにおけるジェットの分類作業において,学生モデルの性能の全体的な向上を示す知識蒸留の実装について述べる。 さらに,ローレンツ対称性の強いインダクティブバイアスを持つ教師モデルを用いることにより,任意のローレンツブーストに対するロバスト性が向上する学生モデルにおいて,同じインダクティブバイアスを誘導できることを示した。

関連論文リスト

• Over-parameterized Student Model via Tensor Decomposition Boosted Knowledge Distillation [10.48108719012248]
  我々は、より大規模な教師モデルを模倣するために、コンパクトな学生モデルを訓練する知識蒸留(KD)に焦点を当てる。 これまでの作業の多くとは対照的に、トレーニング中の学生モデルのパラメータをスケールアップする。
  論文  参考訳（メタデータ） (2024-11-10T12:40:59Z)
• Learning reduced-order Quadratic-Linear models in Process Engineering using Operator Inference [7.471096682644106]
  この研究は、プロセス工学における動的システムの効率的なモデリングという課題に対処する。 我々は、低次モデル学習、特に演算子推論を用いる。 本研究の応用は、パワー・トゥ・Xフレームワークにおける重要な反応である二酸化炭素のメタン化である。
  論文  参考訳（メタデータ） (2024-02-27T17:21:10Z)
• Explainable Equivariant Neural Networks for Particle Physics: PELICAN [51.02649432050852]
  PELICANは、新しい置換同変であり、ローレンツ不変アグリゲーターネットワークである。 本稿では,タグ付け(分類)とローレンツ発泡トップクォークの再構成(回帰)の両文脈におけるPELICANアルゴリズムアーキテクチャについて述べる。 PELICANの適用範囲を、クォーク開始時とグルーオン開始時とを識別するタスクに拡張し、5種類のジェットを対象とするマルチクラス同定を行う。
  論文  参考訳（メタデータ） (2023-07-31T09:08:40Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Knowledge Distillation Performs Partial Variance Reduction [93.6365393721122]
  知識蒸留は'学生'モデルの性能を高めるための一般的な手法である。 知識蒸留(KD)の背後にある力学は、まだ完全には理解されていない。 我々は,KDを新しいタイプの分散還元機構として解釈できることを示す。
  論文  参考訳（メタデータ） (2023-05-27T21:25:55Z)
• Distillation from Heterogeneous Models for Top-K Recommendation [43.83625440616829]
  HetCompは、教師の軌跡から一連の知識を伝達することで、学生モデルをガイドするフレームワークである。 HetCompは学生モデルの蒸留品質と一般化を著しく改善する。
  論文  参考訳（メタデータ） (2023-03-02T10:23:50Z)
• Deep Unfolded Tensor Robust PCA with Self-supervised Learning [21.710932587432396]
  深部展開を用いたテンソルRPCAの高速かつ簡易な自己教師モデルについて述べる。 我々のモデルは、競争力やパフォーマンスを保ちながら、根拠となる真理ラベルの必要性を排除します。 我々はこれらの主張を、合成データと実世界のタスクの混合上で実証する。
  論文  参考訳（メタデータ） (2022-12-21T20:34:42Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• Efficient Transformers in Reinforcement Learning using Actor-Learner Distillation [91.05073136215886]
  「Actor-Learner Distillation」は、大容量学習者モデルから小容量学習者モデルへ学習の進捗を移す。 Actor-Learner Distillation を用いて,トランスフォーマー学習モデルの明確なサンプル効率向上を再現する,いくつかの挑戦的なメモリ環境を実証する。
  論文  参考訳（メタデータ） (2021-04-04T17:56:34Z)
• Efficient Model-Based Reinforcement Learning through Optimistic Policy Search and Planning [93.1435980666675]
  最先端の強化学習アルゴリズムと楽観的な探索を容易に組み合わせることができることを示す。 我々の実験は、楽観的な探索が行動に罰則がある場合、学習を著しくスピードアップすることを示した。
  論文  参考訳（メタデータ） (2020-06-15T18:37:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。