論文の概要: Relative Scaling Laws for LLMs

• arxiv url: http://arxiv.org/abs/2510.24626v1
• Date: Tue, 28 Oct 2025 16:55:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 15:35:37.288444
• Title: Relative Scaling Laws for LLMs
• Title（参考訳）: LLMの相対スケーリング法則
• Authors: William Held, David Hall, Percy Liang, Diyi Yang,
• Abstract要約: スケーリング法則は、追加のデータ、パラメータ、計算によって言語モデルがどのように改善されるかを記述する。 相対的なスケーリング法則を導入し、テスト分布間のパフォーマンスギャップをスケールで追跡する。 これらの結果は、スケーリングは全体的なパフォーマンスを改善するが、普遍的等化器ではないことを示している。
• 参考スコア（独自算出の注目度）: 91.73497548097775
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Scaling laws describe how language models improve with additional data, parameters, and compute. While widely used, they are typically measured on aggregate test sets. Aggregate evaluations yield clean trends but average over heterogeneous subpopulations, obscuring performance disparities. We introduce relative scaling laws, which track how performance gaps between test distributions evolve with scale rather than focusing solely on absolute error. Using 255 decoder-only Transformers trained under matched-compute (IsoFLOP) budgets from $10^{18}$--$10^{20}$ FLOPs on standard pretraining datasets, we find diverse trajectories: academic domains on MMLU converge toward parity; regional English dialects shift depending on population size; and clusters of AI risk behaviours split, with capability- and influence-related risks increasing during pretraining while adversarial risks do not. These results show that although scaling improves overall performance, it is not a universal equalizer. To support further study, we release all model checkpoints from this work to enable practitioners to measure relative alongside traditional scaling laws, in order to better prioritize robustness challenges in light of the bitter lesson.
• Abstract（参考訳）: スケーリング法則は、追加のデータ、パラメータ、計算によって言語モデルがどのように改善されるかを記述する。 広く使われているが、一般的には集合テストセットで測定される。 アグリゲート評価はクリーンな傾向をもたらすが、不均一なサブポピュレーションよりも平均的であり、性能格差を無視する。 絶対誤差のみに焦点をあてるのではなく、テストディストリビューション間のパフォーマンスギャップがスケールでどのように進化するかをトラックする相対スケーリング法則を導入する。 標準事前学習データセットの10^{18}$-$10^{20}$ FLOPからトレーニングされた255デコーダのみのトランスフォーマーを用いて、MMLUの学術ドメインはパリティに収束し、地域英語の方言は人口規模によって変化し、AIリスク行動のクラスタは、プレトレーニング中に能力と影響に関連するリスクが増加し、敵のリスクは増加しない。 これらの結果は、スケーリングは全体的なパフォーマンスを改善するが、普遍的等化器ではないことを示している。 さらなる研究を支援するため、我々は、この研究から得られたすべてのモデルチェックポイントを公開し、実践者が従来のスケーリング法に沿って相対性を測定することができるようにし、苦しい教訓に照らして頑健さの課題をより適切に優先順位付けできるようにします。

関連論文リスト

• Semantic Tube Prediction: Beating LLM Data Efficiency with JEPA [50.494504099850325]
  我々は、トークン列が滑らかな意味多様体上の測地線を辿り、従って局所線型であることを示す測地論仮説を導入する。 本稿では,この制約により信号対雑音比が向上し,軌道中の衝突を防止することにより多様性が保たれることを示す。 幾何学的先行性は、ブルートフォーススケーリングを超越できることを実証する。
  論文  参考訳（メタデータ） (2026-02-26T04:45:07Z)
• Towards Robust Scaling Laws for Optimizers [89.21160945066737]
  経験的スケーリング法則は、モデルのサイズやトレーニングデータの増加に伴って損失を予測するために広く使用されている。 本研究では, 損失分解を既約, 近似, 最適化誤差に分解した結果, チンチラ方式のスケーリング法則が自然に現れることを示す。
  論文  参考訳（メタデータ） (2026-02-07T21:40:33Z)
• Scaling Laws for Robust Comparison of Open Foundation Language-Vision Models and Datasets [5.8465717270452195]
  モデルとデータセットの比較において,スケール法則の導出がいかに有効かを示す。 初めて、CLIPとMaMMUTという2つの重要な言語ビジョン学習手順のために、完全なスケーリング法則が導出された。 一定の学習率のスケジュールでスケーリング法則を導出する場合も比較が可能であることを示す。
  論文  参考訳（メタデータ） (2025-06-05T03:35:59Z)
• Bayesian scaling laws for in-context learning [85.34114399339741]
  In-context Learning(ICL)は、言語モデルをトレーニング更新なしで複雑なタスクを実行するための強力なテクニックである。 我々は、ICCがベイズ学習者に近似していることを示し、ICCの新しいベイズスケーリング法を生み出した。 我々のスケーリング法則は既存のスケーリング法則と精度で一致し、タスクの優先順位、学習効率、サンプルごとの確率の解釈可能な用語も提供します。
  論文  参考訳（メタデータ） (2024-10-21T21:45:22Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Temporal Scaling Law for Large Language Models [70.74571133406958]
  本稿では,LLMの試験損失が,トレーニングステップのスケールアップとともにどのように進展するかを考察する,時間スケーリング法の概念を提案する。 テスト損失全体を粗い粒度でモデル化するのとは対照的に、私たちはそれを分解して、各トークン位置のきめ細かいテスト損失に飛び込みます。 動的双曲法則におけるパラメータの時間的パターンを研究することにより、より正確な時間的スケーリング法則を導出する。
  論文  参考訳（メタデータ） (2024-04-27T05:49:11Z)
• Scaling Laws for Downstream Task Performance in Machine Translation [27.278023091494507]
  BLEU や COMET などの指標を用いて,事前学習データの選択が下流のパフォーマンス(翻訳品質)に与える影響について検討した。 十分なアライメントで、下流のクロスエントロピーと翻訳品質スコアは、より事前訓練されたデータで単調に改善される。
  論文  参考訳（メタデータ） (2024-02-06T17:31:20Z)
• Prompt Tuning Pushes Farther, Contrastive Learning Pulls Closer: A Two-Stage Approach to Mitigate Social Biases [13.837927115198308]
  本稿では,コントラスト学習と連続的プロンプト拡張を用いた逆トレーニングによる2段階脱バイアスモデルを提案する。 我々のアプローチは、トレーニングプロセスに困難を加えることで、より強固なデバイアス性能を達成するためのモデルを導出します。
  論文  参考訳（メタデータ） (2023-07-04T09:35:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。