論文の概要: Neural Scaling Laws for Jet Generation

• arxiv url: http://arxiv.org/abs/2605.28940v1
• Date: Wed, 27 May 2026 18:00:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.134547
• Title: Neural Scaling Laws for Jet Generation
• Title（参考訳）: ジェット発生におけるニューラルスケーリング法則
• Authors: Oz Amram, Darius A. Faroughy, Tjarko Gerdes, Anna Hallin, Gregor Kasieczka, Michael Krämer, Humberto Reyes-Gonzalez, David Shih,
• Abstract要約: 本研究は, 粒子ジェット発生の課題に対して, スケーリング法則を観測できるかどうかを考察する。 トレーニング中のモデルではすぐに利用できない5つの物理量のスライスされたワッサーシュタイン距離について検討する。 データセットのサイズと計算によるスケーリングでは、損失とスライスされたワッサーシュタイン距離の両方のスケーリング挙動が著しく弱い。
• 参考スコア（独自算出の注目度）: 0.46843765915430247
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently observed empirical scaling laws describe the performance of foundation-type models as three independent key quantities -- dataset size, compute, and model parameters -- are modified. Extracting these scaling laws informs the training of large complex models for which the tuning of hyperparameters in traditional ways is not feasible. This work for the first time explores if scaling laws can also be observed for the task of particle jet generation -- both relevant as a pre-training objective for foundation models and as in-situ simulation by itself. We indeed replicate the key logarithmic scaling law behavior for model-size scaling. Beyond studying the next token prediction validation loss of the generative model, we also study the sliced Wasserstein distance of five physical quantities that are not immediately available to the model during training. Our study shows that this quantity is monotonically related to the next token prediction validation loss, meaning that this loss is indeed a good proxy for the physics performance. For the scaling with dataset size and compute, we observe substantially weaker scaling behavior of both the loss and the sliced Wasserstein distance. We analyze this behavior by introducing the concept of a learnable window, and argue that autoregressive next token prediction on jet constituents exhibits comparatively rapid saturation relative to language-model studies. We discuss possible origins of this behavior, including the stochastic nature of QCD radiation and differences between generative and supervised learning tasks in collider physics.
• Abstract（参考訳）: 最近観察された経験的スケーリング法則は、基礎モデルの性能を、データセットのサイズ、計算量、モデルパラメータの3つの独立したキー量として記述している。 これらのスケーリング法則の抽出は、従来の方法でのハイパーパラメータのチューニングが不可能なような、大規模な複雑なモデルのトレーニングを通知する。 この研究は、粒子ジェット生成のタスクにおいてスケーリング法則が観測できるかどうかを初めて探求する。 実際、我々はモデルサイズスケーリングのための重要な対数スケーリング法則の振る舞いを再現する。 生成モデルの次のトークン予測バリデーション損失の研究に加えて、トレーニング中にモデルにすぐには利用できない5つの物理量のスライスされたワッサーシュタイン距離についても検討する。 本研究は、この量と次のトークン予測検証損失が単調に関連していることを示し、この損失が物理性能のよいプロキシであることを示す。 データセットのサイズと計算によるスケーリングでは、損失とスライスされたワッサーシュタイン距離の両方のスケーリング挙動が著しく弱い。 学習可能なウィンドウの概念を導入してこの挙動を分析し,ジェット成分に対する自己回帰的次のトークン予測は,言語モデル研究と比較して比較的急激な飽和を示すと論じる。 本稿では、QCD放射の確率的性質や、コライダー物理における生成的および教師あり学習課題の違いなど、この行動の起源について論じる。

関連論文リスト

• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Predicting Emergent Abilities with Infinite Resolution Evaluation [85.89911520190711]
  本稿では,デコードフェーズにおける大規模なサンプリングを通じて,理論的に無限の分解能を持つ評価戦略であるPassUntilを紹介する。 トレーニング開始前に0.05%の偏差でコード生成における2.4Bモデルの性能を予測する。 スケーリング曲線が標準スケーリング法則関数に適合できないような,高速化された出現の種を同定する。
  論文  参考訳（メタデータ） (2023-10-05T02:35:00Z)
• A Solvable Model of Neural Scaling Laws [72.8349503901712]
  大量のパラメータを持つ大規模な言語モデルは、インターネットに近い数のトークンで訓練されると、ニューラルネットワークのスケーリング法則に従うことが実証的に示されている。 我々は,このニューラルスケーリング現象を捉える統計モデル(共同生成データモデルとランダム特徴モデル)を提案する。 主な発見は、自然データセットの統計に現れる電力法則が非線形ランダムな特徴写像によって拡張される方法である。
  論文  参考訳（メタデータ） (2022-10-30T15:13:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。