論文の概要: How to scale your HEP ML models: A recipe for robust architecture comparisons at scale

• arxiv url: http://arxiv.org/abs/2610.06784v1
• Date: Mon, 05 Oct 2026 17:44:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 22:50:25.036183
• Title: How to scale your HEP ML models: A recipe for robust architecture comparisons at scale
• Title（参考訳）: HEP MLモデルのスケールアップ方法: 大規模アーキテクチャ比較のためのレシピ
• Abstract要約: 我々は、ロバストなスケーリング法則を導出し、高エネルギー物理タスクのための予算軸の設計選択を比較する。 我々はまず,玩具問題に対する完全なスケーリング軌跡を検証し,その手順を100億ジェットのATLAS JetSet2データセット上のマルチタスクトランスフォーマーに適用する。 後者では、まず第一に、最適なモデルサイズ、トレーニングの地平線、学習率、早期停止時のバッチサイズなど、私たちの知識の最高の部分について予測する。
• 参考スコア（独自算出の注目度）: 32.678488127356594
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Much of the recent progress in machine learning domains such as language models has come from scaling laws that predict performance as a function of training effort. In high-energy physics (HEP) similar behavior has now been observed. To aid further study, we present a systematic procedure to derive robust scaling laws and compare design choices on the relevant budget axes for HEP tasks. We first validate the full scaling trajectory on toy problems and then apply the procedure to multi-task transformers on the ~11 billion-jet ATLAS JetSet2 dataset, in both the compute- and data-constrained regimes. For the latter, we predict, to the best of our knowledge for the first time, the jointly optimal model size, training horizon, learning rate and batch size under early stopping. At compute-optimal scaling, we recover a near-equal $\sqrt{C}$ dependence of model and dataset size, and find that auxiliary objectives lower the primary jet-classification loss at equal compute budget. Expanding the inputs toward lower-level data systematically lowers the loss while leaving the scaling exponent nearly unchanged. The onset of the power-law regime is itself set by scale: below a threshold in dataset size the loss carries little information about high-compute scaling, underscoring the value of large, high-quality full-simulation datasets as a foundation for scaling studies and the development of foundation models in HEP.
• Abstract（参考訳）: 言語モデルのような機械学習領域の最近の進歩の多くは、トレーニングの関数としてパフォーマンスを予測する法則のスケーリングから来ています。 高エネルギー物理学(HEP)では、同様の挙動が観察されている。 さらなる研究を支援するため、我々は、ロバストなスケーリング法則を導出し、HEPタスクに関連する予算軸における設計選択を比較するための体系的な手順を提案する。 まず, 玩具問題に対するスケーリングの完全な軌跡を検証し, 計算とデータ制約の両面において, 約11億ジェットのATLAS JetSet2データセット上のマルチタスクトランスフォーマにプロシージャを適用した。 後者の場合、私たちは初めて、最適なモデルサイズ、トレーニングの地平線、学習率、早期停止時のバッチサイズなど、私たちの知識の最高の部分について予測します。 計算最適スケーリングでは、モデルとデータセットサイズにほぼ等しい$\sqrt{C}$依存を回復し、補助的な目的が計算予算で一次ジェット分類損失を減少させる。 低レベルのデータへの入力を体系的に拡張することで、スケーリング指数をほとんど変更せずに損失を減らします。 データセットサイズのしきい値以下では、損失は高速なスケーリングに関する情報をほとんど持たず、HEPのスケーリングと基盤モデルの開発の基礎として、大規模で高品質なフルシミュレートデータセットの価値を強調します。

関連論文リスト

• Factor Augmented High-Dimensional SGD [4.542148087324063]
  勾配降下 (SGD) は、現代の機械学習で広く使われている基本最適化アルゴリズムである。 高次元学習タスクにおける潜在因子表現を利用する新しい最適化手法であるFacter-Augmented SGD(FSGD)を提案する。
  論文  参考訳（メタデータ） (2026-05-19T03:10:33Z)
• On Neural Scaling Laws for Weather Emulation through Continual Training [76.70310203875866]
  我々はScientific Machine Learningにおけるニューラルスケーリングについて研究し、天気予報モデルに焦点を当てた。 可能な限り簡単な設定でスケーリング動作を解析するために、最小限でスケーラブルで汎用的なSwin Transformerアーキテクチャを採用する。 この最小限の方法でトレーニングされたモデルは、予測可能なスケーリングトレンドに従っており、標準的なコサイン学習率のスケジュールよりも優れています。
  論文  参考訳（メタデータ） (2026-03-26T17:37:25Z)
• Neural Scaling Laws for Boosted Jet Tagging [0.22399170518036912]
  計算のスケーリングは、モデルキャパシティとデータセットサイズを共同で増加させることで、現代の機械学習におけるパフォーマンスの主要な要因となります。 計算の最適スケーリング法則を導出し,計算量の増加によって一貫したアプローチが可能な有効な性能限界を同定する。 次に、入力特徴と粒子乗法の選択により、スケーリング係数と性能限界がどう変化するかを検討する。
  論文  参考訳（メタデータ） (2026-02-17T18:13:01Z)
• Towards Scaling Laws for Symbolic Regression [45.609070591068836]
  記号回帰は、観測データを説明する基礎となる数学的表現を発見することを目的としている。 ディープラーニングベースのSRは、最近、遺伝的プログラミングアプローチと競合している。 本稿では、拡張性のあるエンドツーエンドトランスフォーマーパイプラインを用いて、SRにおけるスケーリングに関する最初の体系的な研究を示す。
  論文  参考訳（メタデータ） (2025-10-30T01:36:44Z)
• Compute-Optimal Scaling for Value-Based Deep RL [99.680827753493]
  オンライン価値ベースディープRLの計算スケーリングについて検討する。 解析の結果,モデルサイズ,バッチサイズ,UTD間の微妙な相互作用が明らかになった。 この現象を理解するためのメンタルモデルを提供し、バッチサイズとUTDを選択するためのガイドラインを構築します。
  論文  参考訳（メタデータ） (2025-08-20T17:54:21Z)
• LLMs on the Line: Data Determines Loss-to-Loss Scaling Laws [21.053622641336744]
  ロス・ツー・ロスのスケーリング法則は、事前トレーニングされたデータセットと下流タスク間の損失を関連付ける。 実験の結果,事前学習データとトークン化器がスケーリングの傾向を決定することがわかった。
  論文  参考訳（メタデータ） (2025-02-17T18:45:25Z)
• SMPLest-X: Ultimate Scaling for Expressive Human Pose and Shape Estimation [81.36747103102459]
  表現的人間のポーズと形状推定(EHPS)は、身体、手、顔の動きを多数の応用で統合する。 現在の最先端の手法は、限定されたデータセット上で革新的なアーキテクチャ設計を訓練することに焦点を当てている。 本稿では,EHPSのスケールアップが一般基盤モデルのファミリに与える影響について検討する。
  論文  参考訳（メタデータ） (2025-01-16T18:59:46Z)
• AutoScale: Scale-Aware Data Mixing for Pre-Training LLMs [59.12061830645018]
  より小さなスケールで良好に機能するデータ混合物は、大規模なスケールではその利点を保たない可能性があることを示す。 2段階のスケール対応データ合成フレームワークであるAutoScaleを提案する。
  論文  参考訳（メタデータ） (2024-07-29T17:06:30Z)
• Uncovering the Hidden Cost of Model Compression [43.62624133952414]
  視覚プロンプティングは、コンピュータビジョンにおける伝達学習の重要な方法として登場した。 モデル圧縮は視覚的プロンプトベース転送の性能に有害である。 しかし、量子化によってモデルが圧縮されるとき、キャリブレーションに対する負の効果は存在しない。
  論文  参考訳（メタデータ） (2023-08-29T01:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。