論文の概要: FM4NPP: A Scaling Foundation Model for Nuclear and Particle Physics

• arxiv url: http://arxiv.org/abs/2508.14087v1
• Date: Wed, 13 Aug 2025 15:05:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-21 16:52:41.174245
• Title: FM4NPP: A Scaling Foundation Model for Nuclear and Particle Physics
• Title（参考訳）: FM4NPP:核・粒子物理学のスケーリング基礎モデル
• Authors: David Park, Shuhang Li, Yi Huang, Xihaier Luo, Haiwang Yu, Yeonju Go, Christopher Pinkenburg, Yuewei Lin, Shinjae Yoo, Joseph Osborn, Jin Huang, Yihui Ren,
• Abstract要約: 我々は,1100万人以上の粒子衝突イベントと下流タスクとラベル付きデータからなる新しいデータセットを導入し,評価を行った。 そこで本研究では,最大1億8800万個のパラメータを持つモデルを用いて,検出データの自己教師付きトレーニング手法を提案し,そのニューラルネットワーク拡張性を実証する。 フリーズウェイトとタスク固有のアダプタにより、FMはすべてのダウンストリームタスクのベースラインモデルより一貫して優れています。
• 参考スコア（独自算出の注目度）: 9.522345388801563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models have revolutionized artificial intelligence by enabling large, generalizable models trained through self-supervision. This paradigm has inspired the development of scientific foundation models (FMs). However, applying this capability to experimental particle physics is challenging due to the sparse, spatially distributed nature of detector data, which differs dramatically from natural language. This work addresses if an FM for particle physics can scale and generalize across diverse tasks. We introduce a new dataset with more than 11 million particle collision events and a suite of downstream tasks and labeled data for evaluation. We propose a novel self-supervised training method for detector data and demonstrate its neural scalability with models that feature up to 188 million parameters. With frozen weights and task-specific adapters, this FM consistently outperforms baseline models across all downstream tasks. The performance also exhibits robust data-efficient adaptation. Further analysis reveals that the representations extracted by the FM are task-agnostic but can be specialized via a single linear mapping for different downstream tasks.
• Abstract（参考訳）: 大規模言語モデルは、自己監督を通じて訓練された大規模で一般化可能なモデルを可能にすることによって、人工知能に革命をもたらした。 このパラダイムは科学基盤モデル(FM)の発展に影響を与えた。 しかし、この能力を実験粒子物理学に適用することは、自然言語と劇的に異なる検出器データの疎小で空間分布の性質のために困難である。 この研究は、粒子物理学のFMが様々なタスクにまたがってスケールして一般化できるかどうかに対処する。 我々は,1100万人以上の粒子衝突イベントと下流タスクとラベル付きデータからなる新しいデータセットを導入し,評価を行った。 そこで本研究では,最大1億8800万個のパラメータを持つモデルを用いて,検出データの自己教師付きトレーニング手法を提案し,そのニューラルネットワーク拡張性を実証する。 フリーズウェイトとタスク固有のアダプタにより、FMはすべてのダウンストリームタスクのベースラインモデルより一貫して優れています。 パフォーマンスはまた、堅牢なデータ効率適応を示す。 さらに解析した結果,FM が抽出した表現はタスクに依存しないが,下流の異なるタスクに対する単一の線形マッピングによって特殊化できることがわかった。

関連論文リスト

• PhysiX: A Foundation Model for Physics Simulations [27.359872113159405]
  物理シミュレーションのための最初の大規模基礎モデルであるPhysorXを紹介する。 PhysiXはデータボトルネックに効果的に対処し、タスク固有のベースラインを上回ります。 その結果,自然ビデオから学んだ知識が物理シミュレーションにうまく移行できることが示唆された。
  論文  参考訳（メタデータ） (2025-06-21T18:10:12Z)
• Can Test-Time Scaling Improve World Foundation Model? [67.82670175383761]
  我々は世界基盤モデル(WFM)に適したテストタイムスケーリングフレームワークであるSWIFTを紹介する。 SWIFTは、高速トークン化、確率ベースのTop-Kプルーニング、効率的なビームサーチを含むプロセスレベルの推論戦略とWFM評価ツールキットを統合した。 その結果,テストタイムスケーリング法則はWFMに対して有効であり,SWIFTはモデルサイズを調整・増大させることなく,WFM推論を改善するためのスケーラブルで効果的な経路を提供することがわかった。
  論文  参考訳（メタデータ） (2025-03-31T17:07:37Z)
• Pretraining Billion-scale Geospatial Foundational Models on Frontier [0.16492989697868893]
  ファンデーションモデル(FM)は、自己教師付き学習を通じて、インターネットスケールの未ラベルデータで訓練される。 本研究では,空間的応用のための10億規模のFMとHPCトレーニングプロファイルを,公開データの事前学習により検討する。 我々のより大きな3Bパラメータサイズモデルでは、トップ1シーンの分類精度が最大30%向上する。
  論文  参考訳（メタデータ） (2024-04-17T19:16:32Z)
• Masked Particle Modeling on Sets: Towards Self-Supervised High Energy Physics Foundation Models [4.299997052226609]
  Masked Particle Modeling (MPM) は、無秩序な入力集合上の汎用的、転送可能、再利用可能な表現を学習するための自己教師付き手法である。 本研究では,コライダー物理実験における高エネルギージェットの試料中の方法の有効性について検討した。
  論文  参考訳（メタデータ） (2024-01-24T15:46:32Z)
• Learning from models beyond fine-tuning [78.20895343699658]
  Learn From Model (LFM) は、モデルインターフェースに基づいた基礎モデル(FM)の研究、修正、設計に焦点を当てている。 LFM技術の研究は、モデルチューニング、モデル蒸留、モデル再利用、メタラーニング、モデル編集の5つの分野に大別できる。 本稿では, LFM の観点から, FM に基づく現在の手法を概観する。
  論文  参考訳（メタデータ） (2023-10-12T10:20:36Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• Physics-Integrated Variational Autoencoders for Robust and Interpretable Generative Modeling [86.9726984929758]
  我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。 本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。 合成および実世界のデータセットの集合に対して生成的性能改善を示す。
  論文  参考訳（メタデータ） (2021-02-25T20:28:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。