論文の概要: Pre-Training for Simulation-Based Science: A Study on Jet Foundation Model Training Objectives

• arxiv url: http://arxiv.org/abs/2606.14870v1
• Date: Fri, 12 Jun 2026 18:15:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:32.35162
• Title: Pre-Training for Simulation-Based Science: A Study on Jet Foundation Model Training Objectives
• Title（参考訳）: シミュレーションベース科学のための事前学習:ジェットファンデーションモデル学習目標に関する研究
• Authors: Ibrahim Elsharkawy, Joschka Birk, Vinicius Mikuni, Wahid Bhimji, Gregor Kasieczka, Benjamin Nachman,
• Abstract要約: 大規模なデータセットでトレーニングされ、下流タスクで微調整されたファンデーションモデル(FM)が、科学のためのAIの強力なパラダイムとして登場した。 我々は,OmniLearned High Energy Physics FMフレームワークを用いた事前学習手法の体系的比較を行った。
• 参考スコア（独自算出の注目度）: 0.3612207537961986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models (FMs) trained on large datasets and fine-tuned on downstream tasks have emerged as a powerful paradigm in AI for science. Industrial FMs are typically trained using self-supervision with masking due to the lack of labels. In many scientific domains, accurate simulations are plentiful and facilitate large, labeled datasets. This opens up new possibilities for pre-training. We present a systematic comparison of pre-training methods using the OmniLearned High Energy Physics FM framework. We test supervised classification, flow-matching generation, and self-supervised masked particle modeling. All models are pre-trained on the JetClass dataset and fine-tuned on two representative downstream tasks, top jet classification and JetNet conditional generation. Among other observations, for classification tasks, we find that pure classifier pre-training is optimal when downstream labels and model capacity are plentiful, but combining it with self-supervised masked particle modeling (MPM) is uniquely powerful in the low-finetuning label regime. Flow matching-based generative pre-training seems to provide little benefit for downstream classification, and interestingly, for downstream generation, we find that flow matching must be in the pre-training objective to see a significant finetuning advantage, hinting at the orthogonality of classification and generation tasks. That is, for a model to transfer to both generative and classification downstream tasks, it must be pre-trained on both. This study provides a template for controlled scaling analysis of pre-training objectives for foundation models in simulation-based sciences.
• Abstract（参考訳）: 大規模なデータセットでトレーニングされ、下流タスクで微調整されたファンデーションモデル(FM)が、科学のためのAIの強力なパラダイムとして登場した。 産業用FMは通常、ラベルの欠如によりマスキングを備えたセルフスーパービジョンを用いて訓練される。 多くの科学的領域において、正確なシミュレーションは豊富であり、ラベル付きの大きなデータセットを促進する。 これにより、事前トレーニングの新たな可能性が開ける。 我々は,OmniLearned High Energy Physics FMフレームワークを用いた事前学習手法の系統的比較を行った。 我々は、教師付き分類、フローマッチング生成、および自己教師付きマスク粒子モデリングをテストする。 全てのモデルはJetClassデータセットで事前トレーニングされ、トップジェット分類とJetNet条件生成という2つの典型的な下流タスクで微調整される。 分類タスクにおいては,下流ラベルとモデルキャパシティが豊富である場合に,純粋分類器の事前学習が最適であることがわかったが,それと自己教師付きマスク粒子モデリング(MPM)を組み合わせることは,低精細ラベル方式において一意に強力である。 フローマッチングに基づく生成前学習は、下流の分類にはほとんど利点がないように思われるが、興味深いことに、下流の生成には、フローマッチングが事前学習の対象であり、分類と生成タスクの直交性を示唆する重要な微調整の利点を見出す必要がある。 つまり、生成タスクと分類タスクの両方にモデルを転送するには、両方で事前トレーニングする必要がある。 本研究は,シミュレーションベース科学における基礎モデルのための事前学習対象のスケーリング制御のためのテンプレートを提供する。

関連論文リスト

• Efficient Regression-Based Training of Normalizing Flows for Boltzmann Generators [85.25962679349551]
  ボルツマン・ジェネレータ(BG)は効率的なサンプリングと可能性を提供するが、最大可能性によるトレーニングはしばしば不安定であり、計算的に困難である。 本稿では,従来の最大値トレーニングの数値不安定性と計算課題を回避し,新しい,スケーラブルなトレーニング目標である正規化フローの回帰トレーニングを提案する。
  論文  参考訳（メタデータ） (2025-06-01T20:32:27Z)
• Is Tokenization Needed for Masked Particle Modelling? [8.79008927474707]
  Masked Particle Modeling (MPM) は、無順序集合の表現表現を構築するための自己教師付き学習スキームである。 実装における非効率に対処し、より強力なデコーダを組み込むことにより、MPMを改善する。 これらの新しい手法は、ジェットの基礎モデルのための新しいテストベッドにおいて、オリジナルのMPMからのトークン化学習目標よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-19T09:12:29Z)
• Task-customized Masked AutoEncoder via Mixture of Cluster-conditional Experts [104.9871176044644]
  Masked Autoencoder (MAE) は,モデル事前学習において有望な結果が得られる自己教師型学習手法である。 我々は、新しいMAEベースの事前学習パラダイム、Mixture of Cluster-conditional Experts (MoCE)を提案する。 MoCEは、クラスタ条件ゲートを使用して、各専門家にセマンティックなイメージのみをトレーニングする。
  論文  参考訳（メタデータ） (2024-02-08T03:46:32Z)
• Masked Particle Modeling on Sets: Towards Self-Supervised High Energy Physics Foundation Models [4.299997052226609]
  Masked Particle Modeling (MPM) は、無秩序な入力集合上の汎用的、転送可能、再利用可能な表現を学習するための自己教師付き手法である。 本研究では,コライダー物理実験における高エネルギージェットの試料中の方法の有効性について検討した。
  論文  参考訳（メタデータ） (2024-01-24T15:46:32Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• The Lottery Tickets Hypothesis for Supervised and Self-supervised Pre-training in Computer Vision Models [115.49214555402567]
  事前訓練された重量は、しばしば分類、検出、セグメンテーションを含む幅広い下流タスクを増加させる。 最近の研究は、巨大モデル能力による事前学習の利点を示唆している。 本稿では,抽選券仮説(LTH)のレンズを用いて,教師付きおよび自己指導型事前学習モデルについて検討する。
  論文  参考訳（メタデータ） (2020-12-12T21:53:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。