論文の概要: Neural Scaling Laws for Jet Generation

• arxiv url: http://arxiv.org/abs/2605.28940v1
• Date: Wed, 27 May 2026 18:00:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.134547
• Title: Neural Scaling Laws for Jet Generation
• Title（参考訳）: ジェット発生におけるニューラルスケーリング法則
• Abstract要約: 本研究は, 粒子ジェット発生の課題に対して, スケーリング法則を観測できるかどうかを考察する。 トレーニング中のモデルではすぐに利用できない5つの物理量のスライスされたワッサーシュタイン距離について検討する。 データセットのサイズと計算によるスケーリングでは、損失とスライスされたワッサーシュタイン距離の両方のスケーリング挙動が著しく弱い。
• 参考スコア（独自算出の注目度）: 0.46843765915430247
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently observed empirical scaling laws describe the performance of foundation-type models as three independent key quantities -- dataset size, compute, and model parameters -- are modified. Extracting these scaling laws informs the training of large complex models for which the tuning of hyperparameters in traditional ways is not feasible. This work for the first time explores if scaling laws can also be observed for the task of particle jet generation -- both relevant as a pre-training objective for foundation models and as in-situ simulation by itself. We indeed replicate the key logarithmic scaling law behavior for model-size scaling. Beyond studying the next token prediction validation loss of the generative model, we also study the sliced Wasserstein distance of five physical quantities that are not immediately available to the model during training. Our study shows that this quantity is monotonically related to the next token prediction validation loss, meaning that this loss is indeed a good proxy for the physics performance. For the scaling with dataset size and compute, we observe substantially weaker scaling behavior of both the loss and the sliced Wasserstein distance. We analyze this behavior by introducing the concept of a learnable window, and argue that autoregressive next token prediction on jet constituents exhibits comparatively rapid saturation relative to language-model studies. We discuss possible origins of this behavior, including the stochastic nature of QCD radiation and differences between generative and supervised learning tasks in collider physics.
• Abstract（参考訳）: 最近観察された経験的スケーリング法則は、基礎モデルの性能を、データセットのサイズ、計算量、モデルパラメータの3つの独立したキー量として記述している。 これらのスケーリング法則の抽出は、従来の方法でのハイパーパラメータのチューニングが不可能なような、大規模な複雑なモデルのトレーニングを通知する。 この研究は、粒子ジェット生成のタスクにおいてスケーリング法則が観測できるかどうかを初めて探求する。 実際、我々はモデルサイズスケーリングのための重要な対数スケーリング法則の振る舞いを再現する。 生成モデルの次のトークン予測バリデーション損失の研究に加えて、トレーニング中にモデルにすぐには利用できない5つの物理量のスライスされたワッサーシュタイン距離についても検討する。 本研究は、この量と次のトークン予測検証損失が単調に関連していることを示し、この損失が物理性能のよいプロキシであることを示す。 データセットのサイズと計算によるスケーリングでは、損失とスライスされたワッサーシュタイン距離の両方のスケーリング挙動が著しく弱い。 学習可能なウィンドウの概念を導入してこの挙動を分析し,ジェット成分に対する自己回帰的次のトークン予測は,言語モデル研究と比較して比較的急激な飽和を示すと論じる。 本稿では、QCD放射の確率的性質や、コライダー物理における生成的および教師あり学習課題の違いなど、この行動の起源について論じる。

関連論文リスト

• Scaling Law of Neural Koopman Operators [9.640698542980179]
  データ駆動型ニューラルクープマン作用素理論は非線形ロボットシステムの線形化と制御のための強力なツールとして登場した。 本稿では,スケーリング法則の導出と実証的検証により,この問題に対処するための厳密な枠組みを確立する。 これらの用語はデータセットのサイズと潜在次元に対して特定の速度で減衰し、スケーリング法則の厳密な基礎となることを示す。
  論文  参考訳（メタデータ） (2026-02-23T15:13:43Z)
• Neural Scaling Laws for Boosted Jet Tagging [0.22399170518036912]
  計算のスケーリングは、モデルキャパシティとデータセットサイズを共同で増加させることで、現代の機械学習におけるパフォーマンスの主要な要因となります。 計算の最適スケーリング法則を導出し,計算量の増加によって一貫したアプローチが可能な有効な性能限界を同定する。 次に、入力特徴と粒子乗法の選択により、スケーリング係数と性能限界がどう変化するかを検討する。
  論文  参考訳（メタデータ） (2026-02-17T18:13:01Z)
• Unified Scaling Laws for Compressed Representations [69.72517034565467]
  各種圧縮表現上でのトレーニングにおいて,統合スケーリングフレームワークがモデル性能を正確に予測できるかどうかを検討する。 我々の主な発見は、単純な「容量」計量が存在するという理論と経験の両方を実証することである。 我々は、圧縮されたフォーマットの精度を直接比較し、スパース量子化されたフォーマットのトレーニングのためのより良いアルゴリズムを導出するために、定式化を拡張した。
  論文  参考訳（メタデータ） (2025-06-02T16:52:51Z)
• Observational Scaling Laws and the Predictability of Language Model Performance [51.2336010244645]
  本稿では、モデルトレーニングを回避し、100のパブリックモデルからスケーリング法則を構築する観察的アプローチを提案する。 いくつかの創発現象が滑らかでシグモダルな挙動を辿り、小さなモデルから予測可能であることを示す。 言語モデル機能の改善が進むにつれて、Chain-of-ThoughtやSelf-Consistencyといったポストトレーニング介入の影響を予測する方法を示す。
  論文  参考訳（メタデータ） (2024-05-17T17:49:44Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Predicting Emergent Abilities with Infinite Resolution Evaluation [85.89911520190711]
  本稿では,デコードフェーズにおける大規模なサンプリングを通じて,理論的に無限の分解能を持つ評価戦略であるPassUntilを紹介する。 トレーニング開始前に0.05%の偏差でコード生成における2.4Bモデルの性能を予測する。 スケーリング曲線が標準スケーリング法則関数に適合できないような,高速化された出現の種を同定する。
  論文  参考訳（メタデータ） (2023-10-05T02:35:00Z)
• A Solvable Model of Neural Scaling Laws [72.8349503901712]
  大量のパラメータを持つ大規模な言語モデルは、インターネットに近い数のトークンで訓練されると、ニューラルネットワークのスケーリング法則に従うことが実証的に示されている。 我々は,このニューラルスケーリング現象を捉える統計モデル(共同生成データモデルとランダム特徴モデル)を提案する。 主な発見は、自然データセットの統計に現れる電力法則が非線形ランダムな特徴写像によって拡張される方法である。
  論文  参考訳（メタデータ） (2022-10-30T15:13:18Z)
• Scaling Laws for Acoustic Models [7.906034575114518]
  近年の研究では、クロスエントロピー目的関数を持つ自己回帰生成モデルがスムーズなパワー-ロー関係を示すことが示されている。 自動予測符号損失で訓練された音響モデルは、まるで同様のスケーリング法則に従うかのように振る舞うことを示す。
  論文  参考訳（メタデータ） (2021-06-11T18:59:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。