論文の概要: Observational Scaling Laws and the Predictability of Language Model Performance

• arxiv url: http://arxiv.org/abs/2405.10938v2
• Date: Tue, 2 Jul 2024 14:16:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 06:59:27.478908
• Title: Observational Scaling Laws and the Predictability of Language Model Performance
• Title（参考訳）: 観察的スケーリング法則と言語モデルの性能予測可能性
• Authors: Yangjun Ruan, Chris J. Maddison, Tatsunori Hashimoto,
• Abstract要約: モデルトレーニングを回避し、80の公開モデルからスケーリング法則を構築する観察的アプローチを提案する。 いくつかの創発現象が滑らかでシグモダルな挙動を辿り、小さなモデルから予測可能であることを示す。 言語モデル機能の改善が進むにつれて、Chain-of-ThoughtやSelf-Consistencyといったポストトレーニング介入の影響を予測する方法を示す。
• 参考スコア（独自算出の注目度）: 51.2336010244645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how language model performance varies with scale is critical to benchmark and algorithm development. Scaling laws are one approach to building this understanding, but the requirement of training models across many different scales has limited their use. We propose an alternative, observational approach that bypasses model training and instead builds scaling laws from ~80 publically available models. Building a single scaling law from multiple model families is challenging due to large variations in their training compute efficiencies and capabilities. However, we show that these variations are consistent with a simple, generalized scaling law where language model performance is a function of a low-dimensional capability space, and model families only vary in their efficiency in converting training compute to capabilities. Using this approach, we show the surprising predictability of complex scaling phenomena: we show that several emergent phenomena follow a smooth, sigmoidal behavior and are predictable from small models; we show that the agent performance of models such as GPT-4 can be precisely predicted from simpler non-agentic benchmarks; and we show how to predict the impact of post-training interventions like Chain-of-Thought and Self-Consistency as language model capabilities continue to improve.
• Abstract（参考訳）: 言語モデルのパフォーマンスがスケールによってどのように変化するかを理解することは、ベンチマークとアルゴリズム開発にとって非常に重要です。 スケーリング法則は、この理解を構築するためのアプローチのひとつですが、さまざまなスケールでモデルをトレーニングする必要性は、その使用を制限しています。 モデルトレーニングを回避し,約80の公開モデルからスケーリング法則を構築する,代替的,観察的なアプローチを提案する。 複数のモデルファミリから単一のスケーリング法則を構築することは、トレーニングの計算効率と能力に大きなバリエーションがあるため、難しい。 しかし,これらの変動は,言語モデルの性能が低次元能力空間の関数であるような,単純で一般化されたスケーリング法則と一致している。 提案手法は,複数の創発現象がスムーズでシグモダルな挙動を辿り,小さなモデルから予測可能であること,GPT-4のようなモデルにおけるエージェント性能がより単純な非エージェントベンチマークから正確に予測可能であること,そして,言語モデル能力の向上に伴い,Chain-of-ThoughtやSelf-Consistencyといった後学習介入の影響を予測する方法を示す。

関連論文リスト

• A Hitchhiker's Guide to Scaling Law Estimation [56.06982415792523]
  スケーリング法則は、より少ないパラメータやより少ないトレーニングセットで訓練が容易なモデルから外挿することで、ターゲットとなる機械学習モデルの損失を予測する。 我々は1000以上のスケーリング法則を推定し、新しいモデルファミリーにおけるスケーリング法則を推定するためのベストプラクティスを導出する。
  論文  参考訳（メタデータ） (2024-10-15T17:59:10Z)
• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Likelihood-Based Diffusion Language Models [13.916640262862215]
  自己回帰型言語モデルと拡散型言語モデルとのギャップを埋める第一歩を踏み出す。 我々は、アルゴリズムの改善、法則のスケーリング、計算量の増加を通じて、この目標を追求する。 我々はGPT-2 124Mをベンチマークデータセットで上回る大きな拡散言語モデルであるPlaid 1Bをリリースする。
  論文  参考訳（メタデータ） (2023-05-30T16:43:31Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• On the Compositional Generalization Gap of In-Context Learning [73.09193595292233]
  In-distriion (ID) と Out-of-distriion (OOD) の相違について考察する。 我々は,3つの意味解析データセットを用いて,OPT,BLOOM,CodeGen,Codexの4つのモデルファミリを評価する。
  論文  参考訳（メタデータ） (2022-11-15T19:56:37Z)
• Scaling Laws Under the Microscope: Predicting Transformer Performance from Small Scale Experiments [42.793379799720434]
  本稿では,スケーリング法則がモデル開発の促進に有効かどうかを考察する。 スケーリング法則は、いくつかのNLPタスクにおいて微調整時に現れる。 スケーリング法則が存在するタスクに対しては、より大きなモデルのパフォーマンスを予測するために使用することができる。
  論文  参考訳（メタデータ） (2022-02-13T19:13:00Z)
• Scaling Laws for Acoustic Models [7.906034575114518]
  近年の研究では、クロスエントロピー目的関数を持つ自己回帰生成モデルがスムーズなパワー-ロー関係を示すことが示されている。 自動予測符号損失で訓練された音響モデルは、まるで同様のスケーリング法則に従うかのように振る舞うことを示す。
  論文  参考訳（メタデータ） (2021-06-11T18:59:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。