論文の概要: Scaling Laws in Jet Classification
- arxiv url: http://arxiv.org/abs/2312.02264v1
- Date: Mon, 4 Dec 2023 19:00:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 17:47:46.715225
- Title: Scaling Laws in Jet Classification
- Title(参考訳): ジェット分類におけるスケーリング法則
- Authors: Joshua Batson, Yonatan Kahn
- Abstract要約: 物理的に動機付けられた6つの分類器は、トレーニングセットサイズの関数としてバイナリクロスエントロピーテスト損失のパワー-ロースケーリングを示す。
我々は、自然言語や画像データセットで観測されたスケーリング法則の過去のモデルの観点から、この結果の解釈を推察する。
- 参考スコア(独自算出の注目度): 2.1756081703276
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We demonstrate the emergence of scaling laws in the benchmark top versus QCD
jet classification problem in collider physics. Six distinct
physically-motivated classifiers exhibit power-law scaling of the binary
cross-entropy test loss as a function of training set size, with distinct power
law indices. This result highlights the importance of comparing classifiers as
a function of dataset size rather than for a fixed training set, as the optimal
classifier may change considerably as the dataset is scaled up. We speculate on
the interpretation of our results in terms of previous models of scaling laws
observed in natural language and image datasets.
- Abstract(参考訳): 衝突型加速器物理学におけるqcdジェット分類問題に対するベンチマークトップにおけるスケーリング則の出現を実証する。
6つの異なる物理的動機を持つ分類器は、異なるパワー法指標を持つトレーニングセットサイズの関数として二項交叉エントロピー試験損失の非合法スケーリングを示す。
この結果は、データセットのスケールアップに伴って最適な分類器が大きく変化する可能性があるため、固定トレーニングセットよりもデータセットサイズの関数として分類器を比較することの重要性を強調している。
我々は,自然言語と画像データセットで観測されるスケーリング則の先行モデルを用いて,結果の解釈について考察する。
関連論文リスト
- The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳(メタデータ) (2023-09-20T10:31:17Z) - Scaling Laws Do Not Scale [87.76714490248779]
大規模なAIモデルのトレーニングに使用されるデータセットのサイズが大きくなるにつれて、異なるコミュニティの数が増加する可能性がある、と私たちは主張する。
その結果、データセットで表されるコミュニティが、モデルパフォーマンスを評価するために使用されるメトリクスによってキャプチャされない値や嗜好を持つリスクが増大する。
論文 参考訳(メタデータ) (2023-07-05T15:32:21Z) - The choice of scaling technique matters for classification performance [6.745479230590518]
モノリシックモデルとアンサンブルモデルにおける5つのスケーリング手法が20の分類アルゴリズムの性能に与える影響を比較した。
その結果,ほとんどの場合,最高のスケーリング手法と最悪のスケーリング手法のパフォーマンス差は関連性があり,統計的に有意であることがわかった。
また,異なるスケーリング手法を考慮に入れたアンサンブルモデルの性能変動が,ベースモデルの性能変化によって予測される傾向があることを示す。
論文 参考訳(メタデータ) (2022-12-23T13:51:45Z) - A Solvable Model of Neural Scaling Laws [72.8349503901712]
大量のパラメータを持つ大規模な言語モデルは、インターネットに近い数のトークンで訓練されると、ニューラルネットワークのスケーリング法則に従うことが実証的に示されている。
我々は,このニューラルスケーリング現象を捉える統計モデル(共同生成データモデルとランダム特徴モデル)を提案する。
主な発見は、自然データセットの統計に現れる電力法則が非線形ランダムな特徴写像によって拡張される方法である。
論文 参考訳(メタデータ) (2022-10-30T15:13:18Z) - Do We Really Need a Learnable Classifier at the End of Deep Neural
Network? [118.18554882199676]
本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。
実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
論文 参考訳(メタデータ) (2022-03-17T04:34:28Z) - Data Scaling Laws in NMT: The Effect of Noise and Architecture [59.767899982937756]
ニューラルネットワーク翻訳(NMT)のデータスケーリング特性に及ぼすアーキテクチャとトレーニングデータ品質の影響について検討する。
データスケーリング指数は最小限の影響を受けており、より多くのデータを追加することで、極端に悪いアーキテクチャやトレーニングデータの補償が可能になることを示唆しています。
論文 参考訳(メタデータ) (2022-02-04T06:53:49Z) - Scaling Laws for the Few-Shot Adaptation of Pre-trained Image
Classifiers [11.408339220607251]
ニューラルネットワークのスケーリング法則の実証科学は、機械学習の未来にとって重要な領域として急速に成長している。
我々の主な目的は、事前学習データの量が標準画像分類器の少数ショット一般化性能にどのように影響するかを検討することである。
論文 参考訳(メタデータ) (2021-10-13T19:07:01Z) - Scaling Laws for Neural Machine Translation [21.76567580425173]
モデルサイズ関数としてのクロスエントロピー損失は, あるスケーリング法則に従うことを示す。
また,クロスエントロピー損失と翻訳の質との関係についても検討した。
論文 参考訳(メタデータ) (2021-09-16T06:15:20Z) - Calibrating Class Activation Maps for Long-Tailed Visual Recognition [60.77124328049557]
本稿では,CNNの長期分布からネットワーク学習を改善するための2つの効果的な修正を提案する。
まず,ネットワーク分類器の学習と予測を改善するために,CAMC (Class Activation Map) モジュールを提案する。
第2に,長期化問題における表現学習における正規化分類器の利用について検討する。
論文 参考訳(メタデータ) (2021-08-29T05:45:03Z) - Explaining Neural Scaling Laws [12.382036568738242]
よく訓練されたニューラルネットワークのテスト損失は、しばしば正確なパワーロースケーリング関係に従う。
これらのスケーリング法則を説明・連結する理論を提案する。
データセットとモデルサイズの両方に対する分散制限と解像度制限のスケーリング挙動を特定します。
論文 参考訳(メタデータ) (2021-02-12T18:57:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。