論文の概要: Pretrained Event Classification Model for High Energy Physics Analysis

• arxiv url: http://arxiv.org/abs/2412.10665v1
• Date: Sat, 14 Dec 2024 03:45:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:54:45.929624
• Title: Pretrained Event Classification Model for High Energy Physics Analysis
• Title（参考訳）: 高エネルギー物理解析のための事前学習イベント分類モデル
• Authors: Joshua Ho, Benjamin Ryan Roberts, Shuo Han, Haichen Wang,
• Abstract要約: グラフニューラルネットワークアーキテクチャ上に構築された高エネルギー物理におけるイベント分類の基礎モデルを提案する。 12個の物理過程にまたがる1億2000万個の陽子-陽子衝突現象を訓練した。 このモデルは、挑戦的なマルチクラスおよびマルチラベル分類タスクを用いて、衝突データの汎用的で堅牢な表現を学ぶために事前訓練されている。
• 参考スコア（独自算出の注目度）: 0.6545293330186887
• License:
• Abstract: We introduce a foundation model for event classification in high-energy physics, built on a Graph Neural Network architecture and trained on 120 million simulated proton-proton collision events spanning 12 distinct physics processes. The model is pretrained to learn a general and robust representation of collision data using challenging multiclass and multilabel classification tasks. Its performance is evaluated across five event classification tasks, which include both physics processes used during pretraining and new processes not encountered during pretraining. Fine-tuning the pretrained model significantly improves classification performance, particularly in scenarios with limited training data, demonstrating gains in both accuracy and computational efficiency. To investigate the underlying mechanisms behind these performance improvements, we employ a representational similarity evaluation framework based on Centered Kernel Alignment. This analysis reveals notable differences in the learned representations of fine-tuned pretrained models compared to baseline models trained from scratch.
• Abstract（参考訳）: グラフニューラルネットワークアーキテクチャ上に構築された高エネルギー物理における事象分類の基礎モデルを導入し,12個の物理プロセスにまたがる1億2000万個の陽子-陽子衝突イベントを訓練した。 このモデルは、挑戦的なマルチクラスおよびマルチラベル分類タスクを用いて、衝突データの汎用的で堅牢な表現を学ぶために事前訓練されている。 その性能は5つの事象分類タスクで評価され、前訓練で使用される物理プロセスと前訓練で遭遇しない新しいプロセスの両方を含む。 事前訓練されたモデルの微調整により、特に訓練データに制限のあるシナリオでは、分類性能が大幅に向上し、精度と計算効率が向上する。 これらの性能改善の背景となるメカニズムを解明するために,Centered Kernel Alignmentに基づく表現類似性評価フレームワークを用いる。 この分析は、スクラッチから訓練されたベースラインモデルと比較して、微調整事前訓練されたモデルの学習表現に顕著な違いを示す。

関連論文リスト

• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Efficient Transferability Assessment for Selection of Pre-trained Detectors [63.21514888618542]
  本稿では,事前学習対象検出器の効率的な伝達性評価について検討する。 我々は、事前訓練された検出器の大規模で多様な動物園を含む検出器転送性ベンチマークを構築した。 実験により,本手法は伝達性の評価において,他の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-14T14:23:23Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Unleashing the power of Neural Collapse for Transferability Estimation [42.09673383041276]
  よく訓練されたモデルは神経崩壊の現象を示す。 本稿では、転送可能性推定のためのFair Collapse(FaCe)と呼ばれる新しい手法を提案する。 FaCeは、画像分類、セマンティックセグメンテーション、テキスト分類など、さまざまなタスクにおける最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2023-10-09T14:30:10Z)
• A study on the impact of pre-trained model on Just-In-Time defect prediction [10.205110163570502]
  RoBERTaJIT、CodeBERTJIT、BARTJIT、PLBARTJIT、GPT2JIT、CodeGPTJITの6つのモデルを構築します。 本稿では,コミットコードとコミットメッセージを入力として使用する際のモデルの性能と,トレーニング効率とモデル分布の関係について検討する。
  論文  参考訳（メタデータ） (2023-09-05T15:34:22Z)
• On the Trade-off of Intra-/Inter-class Diversity for Supervised Pre-training [72.8087629914444]
  教師付き事前学習データセットのクラス内多様性(クラス毎のサンプル数)とクラス間多様性(クラス数)とのトレードオフの影響について検討した。 トレーニング前のデータセットのサイズが固定された場合、最高のダウンストリームのパフォーマンスは、クラス内/クラス間の多様性のバランスがとれる。
  論文  参考訳（メタデータ） (2023-05-20T16:23:50Z)
• SynBench: Task-Agnostic Benchmarking of Pretrained Representations using Synthetic Data [78.21197488065177]
  近年、下流のタスクで大規模なデータで事前訓練された微調整大型モデルが成功し、ディープラーニングにおける重要なパラダイムシフトにつながった。 本稿では,合成データを用いて事前学習した表現の質を測定するためのタスク非依存フレームワークであるtextitSynBenchを提案する。
  論文  参考訳（メタデータ） (2022-10-06T15:25:00Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)
• Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
  我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。 プレトレーニング自体が多様性の優れた源であることが示される。 本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-14T07:59:00Z)
• Efficient Learning of Model Weights via Changing Features During Training [0.0]
  学習中の特徴を動的に変化させる機械学習モデルを提案する。 私たちの主な動機は、トレーニングプロセス中に小さなコンテンツでモデルを更新し、より説明力の少ない機能を大きなプールから新しいものに置き換えることです。
  論文  参考訳（メタデータ） (2020-02-21T12:38:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。