論文の概要: Small-Scale Experiments: Are We There Yet?

• arxiv url: http://arxiv.org/abs/2608.11859v1
• Date: Wed, 12 Aug 2026 09:47:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.535441
• Title: Small-Scale Experiments: Are We There Yet?
• Title（参考訳）: 小規模な実験: まだ存在するか?
• Abstract要約: 研究者らは、小規模ではスケーリングの法則が信頼できないことを発見した。 共起因子はパラメータの過敏性である。 我々はモデル中心の研究のための新しい方法論を開発した。
• 参考スコア（独自算出の注目度）: 45.30146986557193
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling laws promised cost-effective experiments; six years later, they have yet to fully deliver. Instead, researchers have found them unreliable at small scales (starting at 4M parameters) and concluded that sizable models cannot be avoided. We show this is not the case: the confounding factor is hyperparameters. Small models are highly sensitive, but hyperparameter sensitivity fades with scale. This small-scale sensitivity makes scaling laws easy to miss because they only emerge on the fully tuned frontier, and reaching that frontier requires an extensive search far beyond what most ever run. By ablating the basic scaling law recipe, we show well-tuned hyperparameters matter more than any other ingredient. Further, we reveal why those hyperparameters become easier to find: as scale increases, the hyperparameter loss surface becomes lower dimensional. Nevertheless while scaling laws exist in small models, extrapolation hits statistical limitations. A holistic approach is required. Synthesizing our insights with the recent literature, we develop a new methodology for model-centric research and demonstrate it on a question that once took the field years to settle: where to place normalization layers in the transformer architecture. From small-scale experiments, we recover the large scale result: pre-normalization works better as models grow in size. With the right tools and a better understanding, small-scale experiments can deliver on scaling laws' long-awaited promise.
• Abstract（参考訳）: スケーリング法は費用対効果の実験を約束し、6年後にはまだ完全には提供されていない。 代わりに、研究者は小さなスケール(4Mパラメーターから始まる)では信頼性が低いことを発見し、大きさのモデルは避けられないと結論づけた。 共起因子はハイパーパラメータである。 小型モデルは非常に感度が高いが、ハイパーパラメータ感度はスケールとともに低下する。 この小さな感度は、完全に調整されたフロンティアにしか現れないため、スケーリング法則を見逃しがちだ。 基本的スケーリング法則を非難することにより、他のどの成分よりもよく調整されたハイパーパラメーターが重要であることを示す。 さらに、これらのハイパーパラメータの発見が容易になる理由を明らかにし、スケールが大きくなるにつれて、ハイパーパラメータ損失面は低次元になる。 それでも、スケーリング法則は小さなモデルに存在するが、外挿は統計的に制限される。 全体論的なアプローチが必要です。 最近の文献から洞察を合成し、モデル中心の研究のための新しい方法論を開発し、フィールド化に数年を要した問題、すなわちトランスフォーマーアーキテクチャに正規化層を配置する方法を実証した。 モデルのサイズが大きくなるにつれて、事前正規化はよりうまく機能する。 適切なツールとより良い理解によって、小さな実験は、長い間待ち望まれていた法のスケーリングの約束を達成できます。

関連論文リスト

• On the Entropy Calibration of Language Models [52.47557449370603]
  本研究では,言語モデルのエントロピーが人間のテキスト上でのログ損失と一致しているかを問うエントロピーキャリブレーションの問題について検討する。 観測されたスケーリングの挙動は、単純化された設定によって予測されるものと類似していることがわかった。 将来的なテキストのエントロピーを予測するために,モデルに適合するブラックボックスへのアクセスを前提にすれば,それが可能であることが証明できる。
  論文  参考訳（メタデータ） (2025-11-15T00:33:03Z)
• Hyperparameter Loss Surfaces Are Simple Near their Optima [50.74035795378814]
  複素損失曲面を明らかにするために,ランダム探索に基づく手法を開発した。 この体制の中では、ランダム検索から得られる最良のスコアは、我々が発見する新しい分布である。 これらの特徴から、その収束を説明・外挿できるランダム探索の新しい法則を導出する。 これらの新しいツールは、最高のパフォーマンスのための信頼区間などの新しい分析を可能にする。
  論文  参考訳（メタデータ） (2025-10-03T04:52:27Z)
• Scaling Laws Are Unreliable for Downstream Tasks: A Reality Check [44.088564825871345]
  下流のスケーリング法則は、より大規模なタスクパフォーマンスを、より小さなスケールでモデルのパフォーマンスから予測することを目的としている。 予測可能なスケーリングは少数のケースでのみ発生します。 明らかに実験的な設定の変更は、スケーリングの振る舞いを完全に変えます。
  論文  参考訳（メタデータ） (2025-07-01T15:52:55Z)
• Gemstones: A Model Suite for Multi-Faceted Scaling Laws [72.09352034700738]
  オープンソースのスケーリング法則データセットであるGemstonesをリリースしています。 このデータセットは、最大20億のパラメータを持つトランスフォーマーからの4000以上のチェックポイントで構成されている。 スケーリング法則の処方は、実験的な設計プロセスに非常に敏感であることが判明した。
  論文  参考訳（メタデータ） (2025-02-07T18:09:38Z)
• A Tale of Tails: Model Collapse as a Change of Scaling Laws [11.6055501181235]
  私たちは、合成データがトレーニングコーパスに導入される必然的な体制において、スケーリング法はどのように変化するのか? スケーリング法則のレンズによるモデル崩壊の理論的枠組みを開発する。 我々は、広範囲の崩壊現象を発見し、スケーリングの損失を分析し、世代ごとにスケールをシフトさせ、スキルの「アンラーニング」を行い、人間と合成データを混在させながらグルーキングを行う。
  論文  参考訳（メタデータ） (2024-02-10T21:06:34Z)
• Predicting Emergent Abilities with Infinite Resolution Evaluation [85.89911520190711]
  本稿では,デコードフェーズにおける大規模なサンプリングを通じて,理論的に無限の分解能を持つ評価戦略であるPassUntilを紹介する。 トレーニング開始前に0.05%の偏差でコード生成における2.4Bモデルの性能を予測する。 スケーリング曲線が標準スケーリング法則関数に適合できないような,高速化された出現の種を同定する。
  論文  参考訳（メタデータ） (2023-10-05T02:35:00Z)
• nanoLM: an Affordable LLM Pre-training Benchmark via Accurate Loss Prediction across Scales [65.01417261415833]
  我々は,最大更新パラメトリゼーション(muP)がスケーリング法則の正確な適合を可能にするという観測に基づいて,事前学習損失を予測する手法を提案する。 トレーニング前コストの約14%で、52Bまでのモデルの損失を正確に予測できる。 NanoLMのゴールは、限られた資源を持つ研究者が大きなモデルで有意義な結論に達することを可能にすることです。
  論文  参考訳（メタデータ） (2023-04-14T00:45:01Z)
• Is the Number of Trainable Parameters All That Actually Matters? [2.624902795082451]
  スケーリング法を仮に騙し、より大規模なモデルを安価にトレーニングする方法を調査する。 テスト損失と計算の間のスケーリングの関係は、トレーニング可能なパラメータの実際の数にのみ依存することがわかった。
  論文  参考訳（メタデータ） (2021-09-24T12:43:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。