論文の概要: How Far Can Foundation Models Be Distilled for Efficient Jet Tagging?

• arxiv url: http://arxiv.org/abs/2610.29439v1
• Date: Wed, 21 Oct 2026 09:00:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.298403
• Title: How Far Can Foundation Models Be Distilled for Efficient Jet Tagging?
• Title（参考訳）: ファウンデーションモデルでジェットタグの有効利用はどこまで可能か?
• Abstract要約: ジェットタグは、Large Hadron Colliderにおける機械学習の最も重要な応用の1つである。 近年のモデルは、より物理学的な知識や大規模な事前学習に依存しているが、実験は推論コストに厳しい制限を課している。 教師がどの特性で生徒を助けるか、学生がどれだけ小さいか、そしてそれが芸術の状態にどの程度近づくのかを尋ねる。
• 参考スコア（独自算出の注目度）: 1.3986052226424095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Jet tagging is one of the most important applications of machine learning at the Large Hadron Collider. Recent models build in more physics knowledge or rely on large-scale pretraining, but the experiments place strict limits on their inference cost. Knowledge distillation can transfer their performance to small students that are cheap to run. We ask which properties of a teacher help the student, how small a student can get and how close it can come to the state of the art. On a jet tagging benchmark, we distil six teachers that differ in architecture, symmetry and pretraining, including two foundation models, into five small students. Every teacher improves every student, and the gain depends mainly on the strength of the teacher. We then shrink our two strongest distilled students, Transformer and L-GATr-slim, in width and in depth. With 20 thousand parameters, a distilled L-GATr-slim outperforms every published jet tagger trained from scratch at a fraction of the inference cost of every teacher. Even with two thousand parameters, it matches ParT, a model with a thousand times as many parameters. We also study what the students learn from their teachers. Our benchmark of inference cost shows that students of the same size can differ by almost an order of magnitude in speed. We release the code and the weights of all trained models.
• Abstract（参考訳）: ジェットタグは、Large Hadron Colliderにおける機械学習の最も重要な応用の1つである。 近年のモデルは、より物理学的な知識や大規模な事前学習に依存しているが、実験は推論コストに厳しい制限を課している。 知識蒸留は、安価に運営できる小規模の学生にその性能を移すことができる。 教師がどの特性で生徒を助けるか、学生がどれだけ小さいか、そしてそれが最先端にどの程度近づくのかを尋ねる。 ジェットタグ付けベンチマークでは,2つの基礎モデルを含む,建築,対称性,事前訓練が異なる6人の教師を5人の小学生に駆除する。 すべての教師はすべての生徒を改善するが、利得は主に教師の強さに依存している。 次に、最強の蒸留学生であるTransformerとL-GATr-slimを幅と深さで縮小する。 20万のパラメータで、蒸留されたL-GATr-スリムは、教師の推論コストのごく一部で、スクラッチから訓練された全てのジェットタグよりも優れています。 2千のパラメータであっても、1000倍のパラメータを持つモデルであるParTと一致する。 私たちはまた、学生が教師から何を学ぶかを研究する。 推論コストのベンチマークでは、同じ大きさの学生が、ほぼ1桁の速度で異なることが示されている。 すべてのトレーニング済みモデルのコードと重みを公開しています。

関連論文リスト

• LoOPSD: On-Policy Self-Distillation with Looped Teachers [74.28216878502211]
  モデルの層実行順序を探索して,より強力な教師を構築し,その利点を学生に浸透させるLoOPSDを提案する。 具体的には, モデルの重みを重み付けしながら繰り返し探索し, 生徒が生成した接頭辞に対する教師の予測を用いて学習を指導する。
  論文  参考訳（メタデータ） (2026-10-13T11:07:04Z)
• Who Taught You That? Tracing Teachers in Model Distillation [23.566776089005963]
  学生の先生はアウトプットに基づいて特定できますか? 本稿では, 要約, 質問応答, 指示追従を含む実作業蒸留の目標について検討する。 語彙的特徴を用いた識別モデルの設計を行う。
  論文  参考訳（メタデータ） (2025-02-10T16:48:56Z)
• Less is More: Task-aware Layer-wise Distillation for Language Model Compression [68.30497162547766]
  層ワイド蒸留は、大きなモデル(すなわち教師モデル)を小さなモデルに圧縮する強力なツールである。 我々は,新しいタスク対応ライEr-wise Distillation (TED)を提案する。 TEDは、各レイヤで生徒と教師の隠された表現を調整するためにタスク認識フィルタを設計する。
  論文  参考訳（メタデータ） (2022-10-04T03:36:53Z)
• Knowledge Distillation with the Reused Teacher Classifier [31.22117343316628]
  簡単な知識蒸留技術では,教師と学生のパフォーマンスギャップを大幅に狭めるのに十分であることを示す。 提案手法は, プロジェクタの追加による圧縮率の最小コストで, 最先端の結果を得る。
  論文  参考訳（メタデータ） (2022-03-26T06:28:46Z)
• Sparse Distillation: Speeding Up Text Classification by Using Bigger Models [49.8019791766848]
  最先端の変圧器モデルを軽量の学生モデルに拡張することは、推論時の計算コストを削減する効果的な方法である。 本稿では,学生モデルの設計空間における新しい領域を探索することにより,推論速度の限界をさらに推し進めることを目的とする。 実験の結果,RoBERTa-Large教師の授業成績の97%を6つのテキスト分類タスクのコレクションに保持していることがわかった。
  論文  参考訳（メタデータ） (2021-10-16T10:04:14Z)
• Reinforced Multi-Teacher Selection for Knowledge Distillation [54.72886763796232]
  知識蒸留はモデル圧縮の一般的な方法です。 現在の方法は、蒸留全体の教師モデルに固定重量を割り当てます。 既存のメソッドのほとんどは、すべての教師モデルに等しい重みを割り当てます。 本論文では,学習例の複雑性や生徒モデル能力の違いから,教師モデルとの違いを学習することで,生徒モデルの蒸留性能の向上が期待できることを考察する。
  論文  参考訳（メタデータ） (2020-12-11T08:56:39Z)
• Reducing the Teacher-Student Gap via Spherical Knowledge Disitllation [67.75526580926149]
  知識蒸留は、はるかに大きなものから写像関数を学習することにより、コンパクトで効果的なモデルを得ることを目的としている。 本研究では,教師と学生の信頼のギャップを調査し,容量ギャップ問題について検討する。 知識蒸留には信頼度は必要とせず,学生が自信を習得せざるを得ない場合には,学生のパフォーマンスを損なう可能性がある。
  論文  参考訳（メタデータ） (2020-10-15T03:03:36Z)
• MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers [117.67424061746247]
  本稿では,大規模トランスフォーマーをベースとした事前学習モデルの簡易かつ効率的な圧縮手法を提案する。 本稿では,教師の最後のトランスフォーマー層の自己保持モジュールを蒸留することを提案する。 実験結果から, 単言語モデルでは, 学生モデルのパラメータサイズの違いにより, 最先端のベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-02-25T15:21:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。