論文の概要: Scaling Laws for a Multi-Agent Reinforcement Learning Model
- arxiv url: http://arxiv.org/abs/2210.00849v1
- Date: Thu, 29 Sep 2022 19:08:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 16:37:50.319957
- Title: Scaling Laws for a Multi-Agent Reinforcement Learning Model
- Title(参考訳): マルチエージェント強化学習モデルのスケーリング法則
- Authors: Oren Neumann and Claudius Gros
- Abstract要約: グラウンストーン強化学習アルゴリズムAlphaZeroの性能スケーリングについて検討した。
我々は、利用可能な計算でボトルネックにならない場合、ニューラルネットワークパラメータカウントのパワー則としてプレイヤーの強度がスケールすることを発見した。
最適なニューラルネットワークサイズが予想されるスケーリングが、両方のゲームのデータに適合していることが分かりました。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recent observation of neural power-law scaling relations has made a
significant impact in the field of deep learning. A substantial amount of
attention has been dedicated as a consequence to the description of scaling
laws, although mostly for supervised learning and only to a reduced extent for
reinforcement learning frameworks. In this paper we present an extensive study
of performance scaling for a cornerstone reinforcement learning algorithm,
AlphaZero. On the basis of a relationship between Elo rating, playing strength
and power-law scaling, we train AlphaZero agents on the games Connect Four and
Pentago and analyze their performance. We find that player strength scales as a
power law in neural network parameter count when not bottlenecked by available
compute, and as a power of compute when training optimally sized agents. We
observe nearly identical scaling exponents for both games. Combining the two
observed scaling laws we obtain a power law relating optimal size to compute
similar to the ones observed for language models. We find that the predicted
scaling of optimal neural network size fits our data for both games. This
scaling law implies that previously published state-of-the-art game-playing
models are significantly smaller than their optimal size, given the respective
compute budgets. We also show that large AlphaZero models are more sample
efficient, performing better than smaller models with the same amount of
training data.
- Abstract(参考訳): ニューラルパワーとローのスケーリング関係の最近の観察は、ディープラーニングの分野に大きな影響を与えた。
スケーリング法則の記述の結果として、かなりの量の注意が払われてきたが、ほとんどは教師付き学習のためであり、強化学習フレームワークの数が減っただけである。
本稿では,基礎強化学習アルゴリズムであるalphazeroの性能スケーリングに関する詳細な研究を行う。
Eloの格付けと演奏強度とパワー・ロー・スケーリングの関係に基づいて、Connect FourとPentagoのゲームでAlphaZeroエージェントを訓練し、そのパフォーマンスを分析します。
プレイヤーの強度は、利用可能な計算がボトルネックにならない場合のニューラルネットワークパラメータカウントのパワー則としてスケールし、最適サイズのエージェントを訓練する場合の計算のパワーとしてスケールする。
両ゲームでほぼ同一のスケーリング指数を観測する。
2つの観測されたスケーリング法則を組み合わせることで、言語モデルで観測されるものと同様の計算に最適な大きさに関するパワー法則を得る。
最適なニューラルネットワークサイズの予測スケーリングが、両方のゲームでデータに適合していることが分かりました。
このスケーリング法則は、これまで公表された最先端のゲームプレイングモデルは、それぞれの計算予算を考えると、最適なサイズよりも大幅に小さいことを意味する。
また,大規模アルファゼロモデルの方がサンプル効率が良く,同じ量のトレーニングデータを持つ小型モデルよりも優れた性能を示す。
関連論文リスト
- Mixtures of Experts Unlock Parameter Scaling for Deep RL [56.067378934033265]
本稿では,Mixture-of-Expert(MoE)モジュールを値ベースネットワークに組み込むことで,パラメータスケーラブルなモデルが得られることを示す。
この研究は、強化学習のためのスケーリング法則の開発に関する強力な実証的証拠を提供する。
論文 参考訳(メタデータ) (2024-02-13T17:18:56Z) - A Dynamical Model of Neural Scaling Laws [86.9540615081759]
ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。
我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
論文 参考訳(メタデータ) (2024-02-02T01:41:38Z) - The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳(メタデータ) (2023-09-20T10:31:17Z) - Scaling Laws for Sparsely-Connected Foundation Models [70.41266138010657]
大規模データセット上でトレーニングしたトランスフォーマーのスケーリング挙動に及ぼすパラメータ空間の影響について検討する。
重み空間,非ゼロパラメータ数,およびトレーニングデータの量との関係を記述した最初のスケーリング法則を同定する。
論文 参考訳(メタデータ) (2023-09-15T16:29:27Z) - Cramming: Training a Language Model on a Single GPU in One Day [64.18297923419627]
言語モデリングの最近のトレンドは、スケーリングによるパフォーマンス向上に焦点を当てている。
我々は,1つのコンシューマGPU上で1日間,マスク付き言語モデルを用いてゼロから完全に訓練されたトランスフォーマーベース言語モデルで達成可能なダウンストリーム性能について検討した。
この制約された設定であっても、大規模設定で観測されるスケーリングの法則に密接に従う性能を示す。
論文 参考訳(メタデータ) (2022-12-28T18:59:28Z) - Reproducible scaling laws for contrastive language-image learning [20.171182986513468]
コントラッシブ言語イメージ事前学習(CLIP)のスケーリング法を,パブリックLAIONデータセットとオープンソースOpenCLIPリポジトリを用いて検討する。
私たちの大規模な実験には、最大20億のイメージテキストペアでトレーニングされたモデルと、複数の下流タスクに対する電力法スケーリングの特定が含まれています。
OpenAIモデルとOpenCLIPモデルは、同一のモデルアーキテクチャにもかかわらず、異なるスケーリング挙動を示すため、トレーニング分布がスケーリング法則において重要な役割を果たすことがわかった。
論文 参考訳(メタデータ) (2022-12-14T10:24:50Z) - A Solvable Model of Neural Scaling Laws [72.8349503901712]
大量のパラメータを持つ大規模な言語モデルは、インターネットに近い数のトークンで訓練されると、ニューラルネットワークのスケーリング法則に従うことが実証的に示されている。
我々は,このニューラルスケーリング現象を捉える統計モデル(共同生成データモデルとランダム特徴モデル)を提案する。
主な発見は、自然データセットの統計に現れる電力法則が非線形ランダムな特徴写像によって拡張される方法である。
論文 参考訳(メタデータ) (2022-10-30T15:13:18Z) - Understanding Scaling Laws for Recommendation Models [1.6283945233720964]
DLRMスタイルレコメンデーションモデル,特にClick-Through Rate(CTR)の実証スケーリング法則について検討する。
データ、パラメータ、計算の3つの異なるリソース次元に沿ってスケーリング効率を特徴付ける。
パラメータスケーリングは、現在研究中のモデルアーキテクチャにとって絶大であり、より高いパフォーマンスのモデルアーキテクチャが出現するまでは、データスケーリングが先進的な道であることを示す。
論文 参考訳(メタデータ) (2022-08-17T19:13:17Z) - Beyond neural scaling laws: beating power law scaling via data pruning [37.804100045519846]
理論的には、電力法のスケーリングを超越して、指数的なスケーリングまで削減できる可能性も示しています。
よりシンプルで安価でスケーラブルな自己教師付きプルーニングメトリクスを開発し、最高の教師付き指標に匹敵するパフォーマンスを示す。
全体として、我々の研究は、優れたデータ処理メトリクスの発見が、ニューラルネットワークのスケーリング法則を大幅に改善する上で、実行可能な道筋となることを示唆している。
論文 参考訳(メタデータ) (2022-06-29T09:20:47Z) - Scaling Laws for Neural Language Models [14.472857826717613]
クロスエントロピー損失に対する言語モデル性能のスケーリング法則について検討する。
損失は、モデルサイズ、データセットサイズ、トレーニングに使用される計算量など、パワーローとしてスケールする。
論文 参考訳(メタデータ) (2020-01-23T03:59:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。