論文の概要: Gemstones: A Model Suite for Multi-Faceted Scaling Laws

• arxiv url: http://arxiv.org/abs/2502.06857v1
• Date: Fri, 07 Feb 2025 18:09:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:09:36.191001
• Title: Gemstones: A Model Suite for Multi-Faceted Scaling Laws
• Title（参考訳）: Gemstones: マルチフェイススケーリング法則のためのモデルスイート
• Authors: Sean McLeish, John Kirchenbauer, David Yu Miller, Siddharth Singh, Abhinav Bhatele, Micah Goldblum, Ashwinee Panda, Tom Goldstein,
• Abstract要約: Gemstonesは、これまでで最も包括的なオープンソースのスケーリング法データセットです。 これらのモデルは、異なる学習率、スケジュール、アーキテクチャ形状で訓練されている。 私たちのチェックポイントは、モデルの幅と深さの関数として言語の性能を予測する法則のような、より複雑なスケーリング研究を可能にします。
• 参考スコア（独自算出の注目度）: 67.46133952358785
• License:
• Abstract: Scaling laws are typically fit using a family of models with a narrow range of frozen hyper-parameter choices. In this work we study scaling laws using a wide range of architecture and hyper-parameter choices, and highlight their impact on resulting prescriptions. As a primary artifact of our research, we release the Gemstones: the most comprehensive open-source scaling law dataset to date, consisting of over 4000 checkpoints from transformers with up to 2 billion parameters; these models have been trained with different learning rates, cooldown schedules, and architectural shapes. Our checkpoints enable more complex studies of scaling, such as a law that predicts language modeling performance as a function of model width and depth. By examining the various facets of our model suite, we find that the prescriptions of scaling laws can be highly sensitive to the experimental design process and the specific model checkpoints used during fitting. Code: https://github.com/mcleish7/gemstone-scaling-laws
• Abstract（参考訳）: スケーリング法則は典型的には、凍結したハイパーパラメータ選択の幅が狭いモデルの族に適合する。 本研究は,多種多様なアーキテクチャとハイパーパラメータ選択を用いたスケーリング法則について検討し,それらが結果として生じる処方薬に与える影響を明らかにする。 これまでで最も包括的なオープンソースのスケーリング法データセットであり、最大20億のパラメータを持つトランスフォーマーからの4000以上のチェックポイントで構成されています。 私たちのチェックポイントは、モデル幅と深さの関数として言語モデリング性能を予測する法則のような、スケーリングに関するより複雑な研究を可能にします。 モデルスイートの様々な側面を調べることで、スケーリング法則の処方は、実験的な設計プロセスや、フィッティング時に使用する特定のモデルチェックポイントに非常に敏感であることが分かる。 コード:https://github.com/mcleish7/gemstone-scaling-laws

関連論文リスト

• A Hitchhiker's Guide to Scaling Law Estimation [56.06982415792523]
  スケーリング法則は、より少ないパラメータやより少ないトレーニングセットで訓練が容易なモデルから外挿することで、ターゲットとなる機械学習モデルの損失を予測する。 我々は1000以上のスケーリング法則を推定し、新しいモデルファミリーにおけるスケーリング法則を推定するためのベストプラクティスを導出する。
  論文  参考訳（メタデータ） (2024-10-15T17:59:10Z)
• Scaling Laws Behind Code Understanding Model [4.846512516189021]
  コード理解タスクのスケーリング法則について,学習データ,モデルサイズ,計算資源を用いて検討する。 我々は、より多くのコンピューティングリソースを使用して、1.5Bパラメータを持つCoLSBERTという名前の大規模コード理解モデルを大規模データセットでトレーニングする。
  論文  参考訳（メタデータ） (2024-02-20T08:31:42Z)
• Mixtures of Experts Unlock Parameter Scaling for Deep RL [54.26191237981469]
  本稿では,Mixture-of-Expert(MoE)モジュールを値ベースネットワークに組み込むことで,パラメータスケーラブルなモデルが得られることを示す。 この研究は、強化学習のためのスケーリング法則の開発に関する強力な実証的証拠を提供する。
  論文  参考訳（メタデータ） (2024-02-13T17:18:56Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• nanoLM: an Affordable LLM Pre-training Benchmark via Accurate Loss Prediction across Scales [65.01417261415833]
  我々は,最大更新パラメトリゼーション(muP)がスケーリング法則の正確な適合を可能にするという観測に基づいて,事前学習損失を予測する手法を提案する。 トレーニング前コストの約14%で、52Bまでのモデルの損失を正確に予測できる。 NanoLMのゴールは、限られた資源を持つ研究者が大きなモデルで有意義な結論に達することを可能にすることです。
  論文  参考訳（メタデータ） (2023-04-14T00:45:01Z)
• Reproducible scaling laws for contrastive language-image learning [42.354402731615444]
  コントラッシブ言語イメージ事前学習(CLIP)のスケーリング法を,パブリックLAIONデータセットとオープンソースOpenCLIPリポジトリを用いて検討する。 私たちの大規模な実験には、最大20億のイメージテキストペアでトレーニングされたモデルと、複数の下流タスクに対する電力法スケーリングの特定が含まれています。 OpenAIモデルとOpenCLIPモデルは、同一のモデルアーキテクチャにもかかわらず、異なるスケーリング挙動を示すため、トレーニング分布がスケーリング法則において重要な役割を果たすことがわかった。
  論文  参考訳（メタデータ） (2022-12-14T10:24:50Z)
• A Solvable Model of Neural Scaling Laws [72.8349503901712]
  大量のパラメータを持つ大規模な言語モデルは、インターネットに近い数のトークンで訓練されると、ニューラルネットワークのスケーリング法則に従うことが実証的に示されている。 我々は,このニューラルスケーリング現象を捉える統計モデル(共同生成データモデルとランダム特徴モデル)を提案する。 主な発見は、自然データセットの統計に現れる電力法則が非線形ランダムな特徴写像によって拡張される方法である。
  論文  参考訳（メタデータ） (2022-10-30T15:13:18Z)
• Understanding Scaling Laws for Recommendation Models [1.6283945233720964]
  DLRMスタイルレコメンデーションモデル,特にClick-Through Rate(CTR)の実証スケーリング法則について検討する。 データ、パラメータ、計算の3つの異なるリソース次元に沿ってスケーリング効率を特徴付ける。 パラメータスケーリングは、現在研究中のモデルアーキテクチャにとって絶大であり、より高いパフォーマンスのモデルアーキテクチャが出現するまでは、データスケーリングが先進的な道であることを示す。
  論文  参考訳（メタデータ） (2022-08-17T19:13:17Z)
• Scaling Laws Under the Microscope: Predicting Transformer Performance from Small Scale Experiments [42.793379799720434]
  本稿では,スケーリング法則がモデル開発の促進に有効かどうかを考察する。 スケーリング法則は、いくつかのNLPタスクにおいて微調整時に現れる。 スケーリング法則が存在するタスクに対しては、より大きなモデルのパフォーマンスを予測するために使用することができる。
  論文  参考訳（メタデータ） (2022-02-13T19:13:00Z)
• Is the Number of Trainable Parameters All That Actually Matters? [2.624902795082451]
  スケーリング法を仮に騙し、より大規模なモデルを安価にトレーニングする方法を調査する。 テスト損失と計算の間のスケーリングの関係は、トレーニング可能なパラメータの実際の数にのみ依存することがわかった。
  論文  参考訳（メタデータ） (2021-09-24T12:43:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。