論文の概要: Revisiting Training Scale: An Empirical Study of Token Count, Power Consumption, and Parameter Efficiency

• arxiv url: http://arxiv.org/abs/2601.06649v1
• Date: Sat, 10 Jan 2026 18:24:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:00.920655
• Title: Revisiting Training Scale: An Empirical Study of Token Count, Power Consumption, and Parameter Efficiency
• Title（参考訳）: 再考訓練尺度: トークン数, 消費電力, パラメータ効率に関する実証的研究
• Authors: Joe Dwyer,
• Abstract要約: 本研究では,固定ハードウェアおよびトレーニング条件下でのトレーニングトークン数の増加効果を実験的に検討した。 その結果, トークン数の増加に伴い, 単調なトレーニング効率の低下がみられた。 これらの結果から,訓練トークン数の増加は,限界性能の改善が観察された場合でも,エネルギー的に非効率である可能性が示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Research in machine learning has questioned whether increases in training token counts reliably produce proportional performance gains in large language models. Building on prior work introducing an energy-aware parameter efficiency metric, this study empirically examines the effects of increasing training token counts under fixed hardware and training conditions. The significance of this work lies in the explicit integration of power consumption and execution duration, as reflected by the power sampling frequency, into token-scale analysis. This addresses a gap in prior studies emphasizing performance outcomes while underrepresenting computational and energy costs. Using a repeated-measures experimental design on a constant GPU instance with an identical model architecture, optimizer settings, and epoch counts, a 1.1-billion-parameter TinyLlama model was trained at three token counts (500K, 1M, and 2M). While conventional performance metrics exhibited inconsistent or diminishing returns across token scales, the inclusion of power consumption and execution duration revealed a strictly monotonic decline in training efficiency as token count increased. Repeated-measures ANOVA demonstrated a strong effect of token count on parameter efficiency, with all pairwise comparisons remaining significant following Bonferroni correction. These findings indicate that increases in training token counts may be energetically inefficient even when marginal performance improvements are observed, underscoring the importance of efficiency-aware evaluation in large language model training.
• Abstract（参考訳）: 機械学習の研究は、訓練トークン数の増加が大きな言語モデルにおいて確実に比例的なパフォーマンス向上をもたらすかどうかを疑問視している。 本研究は,エネルギーを意識したパラメータ効率指標を導入する先行研究に基づいて,固定ハードウェアおよびトレーニング条件下でのトレーニングトークン数の増加効果を実験的に検討した。 この研究の意義は、電力サンプリング周波数によって反映される電力消費と実行期間をトークンスケール分析に明示的に統合することにある。 このことは、計算とエネルギーのコストを過小評価しながら、パフォーマンスの成果を強調する先行研究のギャップに対処する。 同一のモデルアーキテクチャ、オプティマイザ設定、エポックカウントを備えた定数GPUインスタンスの繰り返しの実験設計を使用して、1.1ビリオンパラメータのTinyLlamaモデルを3つのトークンカウント(500K、1M、2M)でトレーニングした。 従来の性能指標ではトークンスケール間で不整合あるいは低下するリターンを示したが、電力消費と実行期間はトークン数の増加とともにトレーニング効率の厳密な単調な低下を示した。 繰り返し測定されたANOVAは、トークンカウントがパラメータ効率に与える影響を強く示し、全てのペア比較はボンフェロニ補正後に有意な結果を残した。 これらの結果から,大規模言語モデルの学習において,学習トークン数の増加は限界性能の改善が観察されたとしてもエネルギカルに非効率である可能性が示唆された。

関連論文リスト

• Information Capacity: Evaluating the Efficiency of Large Language Models via Text Compression [53.39128997308138]
  テキスト圧縮性能に基づくモデル効率の指標である情報容量を導入する。 主流のオープンソースモデルに対する実証的な評価は、シリーズ内のさまざまなサイズのモデルが一貫した情報容量を示すことを示している。 情報容量の特徴的な特徴は、入力と出力の両方のトークン数に影響を与えるトークン化効率が組み込まれていることである。
  論文  参考訳（メタデータ） (2025-11-11T10:07:32Z)
• Boosting Accuracy and Efficiency of Budget Forcing in LLMs via Reinforcement Learning for Mathematical Reasoning [1.4348015996689416]
  本稿では,Regressed Learning(RL)を統合したフレームワークを提案し,トークン効率の向上と数学的推論のための1.5Bモデルの性能向上を図る。 その結果,SFTモデルと比較してトークン使用率を40%以上削減し,全体的な精度が向上した。
  論文  参考訳（メタデータ） (2025-10-24T12:39:15Z)
• The Art of Scaling Reinforcement Learning Compute for LLMs [52.71086085139566]
  強化学習(RL)は、大規模言語モデルの訓練の中心となっている。 計算予算の急激な増加にもかかわらず、RL計算のスケーリングにおけるアルゴリズム改善の評価方法に関する原則的な理解は存在しない。 我々は,約40万時間以上のGPU時間を有する,最初の大規模体系的な研究を提示する。
  論文  参考訳（メタデータ） (2025-10-15T17:43:03Z)
• Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
  インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。 本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。 本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
  論文  参考訳（メタデータ） (2025-07-31T05:34:27Z)
• HULK: An Energy Efficiency Benchmark Platform for Responsible Natural Language Processing [76.38975568873765]
  本稿では,自然言語処理のためのマルチタスクエネルギー効率ベンチマークプラットフォームであるHULKを紹介する。 我々は、事前訓練されたモデルのエネルギー効率を時間とコストの観点から比較する。
  論文  参考訳（メタデータ） (2020-02-14T01:04:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。