論文の概要: Efficient and Robust Jet Tagging at the LHC with Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2311.14160v1
• Date: Thu, 23 Nov 2023 19:00:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-11-27 16:25:22.889917
• Title: Efficient and Robust Jet Tagging at the LHC with Knowledge Distillation
• Title（参考訳）: 知識蒸留によるLHCにおける効率的ロバストジェットタグリング
• Authors: Ryan Liu, Abhijith Gandrakota, Jennifer Ngadiuba, Maria Spiropulu, Jean-Roch Vlimant
• Abstract要約: 本稿では,学生モデルの性能を総合的に向上させた知識蒸留の実施について述べる。 学生モデルでも同様の帰納バイアスを生じさせることで、任意のローレンツブーストに対してより堅牢性が得られることを示す。
• 参考スコア（独自算出の注目度）: 1.658130005539979
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The challenging environment of real-time data processing systems at the Large Hadron Collider (LHC) strictly limits the computational complexity of algorithms that can be deployed. For deep learning models, this implies that only models with low computational complexity that have weak inductive bias are feasible. To address this issue, we utilize knowledge distillation to leverage both the performance of large models and the reduced computational complexity of small ones. In this paper, we present an implementation of knowledge distillation, demonstrating an overall boost in the student models' performance for the task of classifying jets at the LHC. Furthermore, by using a teacher model with a strong inductive bias of Lorentz symmetry, we show that we can induce the same inductive bias in the student model which leads to better robustness against arbitrary Lorentz boost.
• Abstract（参考訳）: LHC(Large Hadron Collider)におけるリアルタイムデータ処理システムの困難な環境は、デプロイ可能なアルゴリズムの計算複雑性を厳しく制限する。 ディープラーニングモデルでは、帰納バイアスの弱い計算複雑性の低いモデルのみが実現可能であることを意味する。 この問題に対処するため,我々は,大規模モデルの性能と小型モデルの計算複雑性の低減を両立するために,知識蒸留を利用する。 本稿では,LHCにおけるジェットの分類作業において,学生モデルの性能の全体的な向上を示す知識蒸留の実装について述べる。 さらに,ローレンツ対称性の強いインダクティブバイアスを持つ教師モデルを用いることにより,任意のローレンツブーストに対するロバスト性が向上する学生モデルにおいて,同じインダクティブバイアスを誘導できることを示した。

関連論文リスト

• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• High-fidelity Multiphysics Modelling for Rapid Predictions Using Physics-informed Parallel Neural Operator [17.85837423448985]
  非線形および強く結合した偏微分方程式(PDE)によって支配される複雑な多物理系をモデル化することは、計算科学と工学の基盤となる。 本稿では、スケーラブルで教師なしの学習フレームワークであるPIPNO(Physical-informed parallel neural operator)を提案する。 PIPNOは、地球工学、物質科学、電磁気学、量子力学、流体力学など、様々な物理学における非線形作用素のマッピングを効率的に取得する。
  論文  参考訳（メタデータ） (2025-02-26T20:29:41Z)
• Over-parameterized Student Model via Tensor Decomposition Boosted Knowledge Distillation [10.48108719012248]
  我々は、より大規模な教師モデルを模倣するために、コンパクトな学生モデルを訓練する知識蒸留(KD)に焦点を当てる。 これまでの作業の多くとは対照的に、トレーニング中の学生モデルのパラメータをスケールアップする。
  論文  参考訳（メタデータ） (2024-11-10T12:40:59Z)
• Learning reduced-order Quadratic-Linear models in Process Engineering using Operator Inference [7.471096682644106]
  この研究は、プロセス工学における動的システムの効率的なモデリングという課題に対処する。 我々は、低次モデル学習、特に演算子推論を用いる。 本研究の応用は、パワー・トゥ・Xフレームワークにおける重要な反応である二酸化炭素のメタン化である。
  論文  参考訳（メタデータ） (2024-02-27T17:21:10Z)
• Explainable Equivariant Neural Networks for Particle Physics: PELICAN [51.02649432050852]
  PELICANは、新しい置換同変であり、ローレンツ不変アグリゲーターネットワークである。 本稿では,タグ付け(分類)とローレンツ発泡トップクォークの再構成(回帰)の両文脈におけるPELICANアルゴリズムアーキテクチャについて述べる。 PELICANの適用範囲を、クォーク開始時とグルーオン開始時とを識別するタスクに拡張し、5種類のジェットを対象とするマルチクラス同定を行う。
  論文  参考訳（メタデータ） (2023-07-31T09:08:40Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Knowledge Distillation Performs Partial Variance Reduction [93.6365393721122]
  知識蒸留は'学生'モデルの性能を高めるための一般的な手法である。 知識蒸留(KD)の背後にある力学は、まだ完全には理解されていない。 我々は,KDを新しいタイプの分散還元機構として解釈できることを示す。
  論文  参考訳（メタデータ） (2023-05-27T21:25:55Z)
• Distillation from Heterogeneous Models for Top-K Recommendation [43.83625440616829]
  HetCompは、教師の軌跡から一連の知識を伝達することで、学生モデルをガイドするフレームワークである。 HetCompは学生モデルの蒸留品質と一般化を著しく改善する。
  論文  参考訳（メタデータ） (2023-03-02T10:23:50Z)
• Deep Unfolded Tensor Robust PCA with Self-supervised Learning [21.710932587432396]
  深部展開を用いたテンソルRPCAの高速かつ簡易な自己教師モデルについて述べる。 我々のモデルは、競争力やパフォーマンスを保ちながら、根拠となる真理ラベルの必要性を排除します。 我々はこれらの主張を、合成データと実世界のタスクの混合上で実証する。
  論文  参考訳（メタデータ） (2022-12-21T20:34:42Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• Efficient Transformers in Reinforcement Learning using Actor-Learner Distillation [91.05073136215886]
  「Actor-Learner Distillation」は、大容量学習者モデルから小容量学習者モデルへ学習の進捗を移す。 Actor-Learner Distillation を用いて,トランスフォーマー学習モデルの明確なサンプル効率向上を再現する,いくつかの挑戦的なメモリ環境を実証する。
  論文  参考訳（メタデータ） (2021-04-04T17:56:34Z)
• Efficient Model-Based Reinforcement Learning through Optimistic Policy Search and Planning [93.1435980666675]
  最先端の強化学習アルゴリズムと楽観的な探索を容易に組み合わせることができることを示す。 我々の実験は、楽観的な探索が行動に罰則がある場合、学習を著しくスピードアップすることを示した。
  論文  参考訳（メタデータ） (2020-06-15T18:37:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。