論文の概要: Time Matters: Scaling Laws for Any Budget

• arxiv url: http://arxiv.org/abs/2406.18922v1
• Date: Thu, 27 Jun 2024 06:26:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 15:06:48.862919
• Title: Time Matters: Scaling Laws for Any Budget
• Title（参考訳）: 時間の問題: あらゆる予算に対する法則のスケーリング
• Authors: Itay Inbar, Luke Sernau,
• Abstract要約: FLOPに基づく一般的な時間推定は低い推定値であり,メモリコピーに基づくより正確なプロキシの構築が可能であることを示す。 簡単な会計を行うことで、トランスモデルのトレーニング速度をハイパーパラメータから推定できることが示される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A primary cost driver for training large models is wall-clock training time. We show that popular time estimates based on FLOPs are poor estimates, and construct a more accurate proxy based on memory copies. We show that with some simple accounting, we can estimate the training speed of a transformer model from its hyperparameters. Combined with a scaling law curve like Chinchilla, this lets us estimate the final loss of the model. We fit our estimate to real data with a linear regression, and apply the result to rewrite Chinchilla in terms of a model's estimated training time as opposed to the amount of training data. This gives an expression for the loss in terms of the model's hyperparameters alone. We show that this expression is accurate across a wide range of model hyperparameter values, enabling us to analytically make architectural decisions and train models more efficiently.
• Abstract（参考訳）: 大型モデルの訓練に要する主な費用は、ウォールクロックの訓練時間である。 FLOPに基づく一般的な時間推定は低い推定値であり,メモリコピーに基づくより正確なプロキシの構築が可能であることを示す。 簡単な会計を行うことで、トランスモデルのトレーニング速度をハイパーパラメータから推定できることが示される。 Chinchillaのようなスケーリング法則曲線と組み合わせることで、モデルの最終的な損失を見積もることができます。 実データに対する推定値を線形回帰に当てはめ、トレーニングデータの量とは対照的に、モデルの推定トレーニング時間の観点から、チチラを書き換える結果を適用する。 これにより、モデルのハイパーパラメータだけでの損失の表現が得られます。 この表現は、幅広いモデルハイパーパラメーター値に対して正確であることを示し、アーキテクチャ上の決定を解析的に行い、モデルをより効率的に訓練することを可能にする。

関連論文リスト

• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Reusing Pretrained Models by Multi-linear Operators for Efficient Training [65.64075958382034]
  大規模なモデルをスクラッチからトレーニングすることは、通常、かなりの量のリソースを必要とする。 bert2BERT や LiGO といった最近の研究は、大規模なモデルを初期化するために、小さな事前訓練されたモデルを再利用している。 本稿では,対象モデルの各重みを事前学習モデルの全重みに線形に相関させる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-16T06:16:47Z)
• On minimizing the training set fill distance in machine learning regression [0.6526824510982802]
  本研究では,選択した集合の充填距離を最小化することを目的としたデータ選択手法を提案する。 FPSを用いてトレーニングセットを選択することで、ガウスカーネル回帰アプローチの特定の場合のモデルの安定性を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-07-20T16:18:33Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [92.55145016562867]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• DeepObliviate: A Powerful Charm for Erasing Data Residual Memory in Deep Neural Networks [7.687838702806964]
  DeepObliviateと呼ばれるアプローチを提案し、マシンアンラーニングを効率的に実装します。 本手法は,中間モデルをハードディスク上に格納することで,元のトレーニングプロセスを改善する。 ゼロから再トレーニングする方法と比較して、99.0%、95.0%、91.9%、96.7%、74.1%の精度と66.7$times$、75.0$times$、33.3$times$、29.4$times$、13.7$times$ speedupsが得られる。
  論文  参考訳（メタデータ） (2021-05-13T12:02:04Z)
• LogME: Practical Assessment of Pre-trained Models for Transfer Learning [80.24059713295165]
  最大エビデンス対数(logme)は、転送学習のための事前学習されたモデルを評価するために用いられる。 ブルートフォースの微調整と比較して、LogMEはウォールクロックタイムで3000times$のスピードアップをもたらします。
  論文  参考訳（メタデータ） (2021-02-22T13:58:11Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Predicting Training Time Without Training [120.92623395389255]
  我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。 我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。 トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
  論文  参考訳（メタデータ） (2020-08-28T04:29:54Z)
• A Time Series Analysis-Based Stock Price Prediction Using Machine Learning and Deep Learning Models [0.0]
  我々は、統計的、機械学習、ディープラーニングモデルの集合から成り立つ、非常に堅牢で正確な株価予測の枠組みを提示する。 当社は、インドの国立証券取引所(NSE)に上場している非常に有名な企業の、毎日の株価データを5分間隔で収集しています。 統計,機械学習,深層学習を組み合わせたモデル構築の凝集的アプローチは,株価データの揮発性およびランダムな動きパターンから極めて効果的に学習できる,と我々は主張する。
  論文  参考訳（メタデータ） (2020-04-17T19:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。