論文の概要: Scaling Laws in Jet Classification

• arxiv url: http://arxiv.org/abs/2312.02264v1
• Date: Mon, 4 Dec 2023 19:00:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 17:47:46.715225
• Title: Scaling Laws in Jet Classification
• Title（参考訳）: ジェット分類におけるスケーリング法則
• Authors: Joshua Batson, Yonatan Kahn
• Abstract要約: 物理的に動機付けられた6つの分類器は、トレーニングセットサイズの関数としてバイナリクロスエントロピーテスト損失のパワー-ロースケーリングを示す。 我々は、自然言語や画像データセットで観測されたスケーリング法則の過去のモデルの観点から、この結果の解釈を推察する。
• 参考スコア（独自算出の注目度）: 2.1756081703276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We demonstrate the emergence of scaling laws in the benchmark top versus QCD jet classification problem in collider physics. Six distinct physically-motivated classifiers exhibit power-law scaling of the binary cross-entropy test loss as a function of training set size, with distinct power law indices. This result highlights the importance of comparing classifiers as a function of dataset size rather than for a fixed training set, as the optimal classifier may change considerably as the dataset is scaled up. We speculate on the interpretation of our results in terms of previous models of scaling laws observed in natural language and image datasets.
• Abstract（参考訳）: 衝突型加速器物理学におけるqcdジェット分類問題に対するベンチマークトップにおけるスケーリング則の出現を実証する。 6つの異なる物理的動機を持つ分類器は、異なるパワー法指標を持つトレーニングセットサイズの関数として二項交叉エントロピー試験損失の非合法スケーリングを示す。 この結果は、データセットのスケールアップに伴って最適な分類器が大きく変化する可能性があるため、固定トレーニングセットよりもデータセットサイズの関数として分類器を比較することの重要性を強調している。 我々は,自然言語と画像データセットで観測されるスケーリング則の先行モデルを用いて,結果の解釈について考察する。

関連論文リスト

• ScalingFilter: Assessing Data Quality through Inverse Utilization of Scaling Laws [67.59263833387536]
  ScalingFilterは、同じデータでトレーニングされた2つの言語モデル間の複雑さの違いに基づいて、テキスト品質を評価する新しいアプローチである。 品質フィルタリングによってもたらされるバイアスを評価するために,意味表現にテキスト埋め込みモデルを利用する指標である意味多様性を導入する。
  論文  参考訳（メタデータ） (2024-08-15T17:59:30Z)
• Scaling Laws for the Value of Individual Data Points in Machine Learning [55.596413470429475]
  個々のデータポイントの値のスケーリング行動を調べることによって、新しい視点を導入する。 スケーリング法則を支持するための学習理論を提供し、それが様々なモデルクラスにまたがっていることを実証的に観察する。 私たちの研究は、個々のデータポイントの値のスケーリング特性を理解し、活用するための第一歩です。
  論文  参考訳（メタデータ） (2024-05-30T20:10:24Z)
• Observational Scaling Laws and the Predictability of Language Model Performance [51.2336010244645]
  本稿では、モデルトレーニングを回避し、100のパブリックモデルからスケーリング法則を構築する観察的アプローチを提案する。 いくつかの創発現象が滑らかでシグモダルな挙動を辿り、小さなモデルから予測可能であることを示す。 言語モデル機能の改善が進むにつれて、Chain-of-ThoughtやSelf-Consistencyといったポストトレーニング介入の影響を予測する方法を示す。
  論文  参考訳（メタデータ） (2024-05-17T17:49:44Z)
• The choice of scaling technique matters for classification performance [6.745479230590518]
  モノリシックモデルとアンサンブルモデルにおける5つのスケーリング手法が20の分類アルゴリズムの性能に与える影響を比較した。 その結果,ほとんどの場合,最高のスケーリング手法と最悪のスケーリング手法のパフォーマンス差は関連性があり,統計的に有意であることがわかった。 また,異なるスケーリング手法を考慮に入れたアンサンブルモデルの性能変動が,ベースモデルの性能変化によって予測される傾向があることを示す。
  論文  参考訳（メタデータ） (2022-12-23T13:51:45Z)
• A Solvable Model of Neural Scaling Laws [72.8349503901712]
  大量のパラメータを持つ大規模な言語モデルは、インターネットに近い数のトークンで訓練されると、ニューラルネットワークのスケーリング法則に従うことが実証的に示されている。 我々は,このニューラルスケーリング現象を捉える統計モデル(共同生成データモデルとランダム特徴モデル)を提案する。 主な発見は、自然データセットの統計に現れる電力法則が非線形ランダムな特徴写像によって拡張される方法である。
  論文  参考訳（メタデータ） (2022-10-30T15:13:18Z)
• Data Scaling Laws in NMT: The Effect of Noise and Architecture [59.767899982937756]
  ニューラルネットワーク翻訳(NMT)のデータスケーリング特性に及ぼすアーキテクチャとトレーニングデータ品質の影響について検討する。 データスケーリング指数は最小限の影響を受けており、より多くのデータを追加することで、極端に悪いアーキテクチャやトレーニングデータの補償が可能になることを示唆しています。
  論文  参考訳（メタデータ） (2022-02-04T06:53:49Z)
• Scaling Laws for the Few-Shot Adaptation of Pre-trained Image Classifiers [11.408339220607251]
  ニューラルネットワークのスケーリング法則の実証科学は、機械学習の未来にとって重要な領域として急速に成長している。 我々の主な目的は、事前学習データの量が標準画像分類器の少数ショット一般化性能にどのように影響するかを検討することである。
  論文  参考訳（メタデータ） (2021-10-13T19:07:01Z)
• Scaling Laws for Neural Machine Translation [21.76567580425173]
  モデルサイズ関数としてのクロスエントロピー損失は, あるスケーリング法則に従うことを示す。 また,クロスエントロピー損失と翻訳の質との関係についても検討した。
  論文  参考訳（メタデータ） (2021-09-16T06:15:20Z)
• Calibrating Class Activation Maps for Long-Tailed Visual Recognition [60.77124328049557]
  本稿では,CNNの長期分布からネットワーク学習を改善するための2つの効果的な修正を提案する。 まず,ネットワーク分類器の学習と予測を改善するために,CAMC (Class Activation Map) モジュールを提案する。 第2に,長期化問題における表現学習における正規化分類器の利用について検討する。
  論文  参考訳（メタデータ） (2021-08-29T05:45:03Z)
• Explaining Neural Scaling Laws [17.115592382420626]
  訓練されたディープニューラルネットワークの人口減少は、しばしば正確なパワー-ロースケーリング関係に従う。 本稿では、これらのスケーリング法則の起源を説明し、接続する理論を提案する。 データセットとモデルサイズの両方に対する分散制限と分解能制限のスケーリング挙動を同定する。
  論文  参考訳（メタデータ） (2021-02-12T18:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。