論文の概要: A Quantitative Experimental Repeated Measures Study of Training Dynamics in a Small Llama Style Language Model Under a Compute-Aware Token Budget

• arxiv url: http://arxiv.org/abs/2606.13370v1
• Date: Thu, 11 Jun 2026 13:55:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.833291
• Title: A Quantitative Experimental Repeated Measures Study of Training Dynamics in a Small Llama Style Language Model Under a Compute-Aware Token Budget
• Title（参考訳）: 小ラマ型言語モデルにおけるコンピュータ・アウェア・トーケン予算下のトレーニングダイナミクスの定量的実験的検討
• Authors: Joe Dwyer,
• Abstract要約: 本研究では,計算制約付きトークン予算の下で学習したLlama型小言語モデルの学習力学について検討した。 TinyStories corpus、CPUベースのフル精度トレーニング、目標予算約2000万の累積トレーニングトークンを使用して、6つの独立したトレーニング実行が実施された。 ANOVAは, 検証損失, 検証難易度, 転がりボラティリティに対して, 統計的に有意な間隔効果を示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study examines training dynamics in a small Llama-style language model trained under a fixed, compute-constrained token budget. Rather than evaluating efficiency solely through endpoint performance, the study uses a quantitative experimental repeated measures design to analyze how validation loss, validation perplexity, rolling volatility, backslide behavior, spike behavior, and between-seed variability change across token-based training intervals. Six independent training runs were conducted on a 4.26-million-parameter model using the TinyStories corpus, CPU-based full-precision training, and a target budget of approximately 20 million cumulative training tokens. Metrics were collected across 21 intervals, producing 126 seed-by-interval observations. Repeated measures ANOVA showed statistically significant interval effects for validation loss, validation perplexity, and rolling volatility. Descriptive trajectories revealed rapid early improvement followed by non-monotonic degradation during later training intervals. Mean validation loss decreased from 8.3552 at initialization to 2.7996 near 4 million tokens, but increased to 3.9010 by the final checkpoint. Validation perplexity followed the same pattern, falling sharply early in training before rising later. Derived telemetry further showed recurrent validation-loss backslides and no interval-summary evidence of a stable phase under the predefined criteria. These findings suggest that compute-aware language model evaluation should examine training trajectories rather than endpoint metrics alone. In constrained compute settings, additional token exposure may increase computational cost without producing proportional generalization gains, and interval-level telemetry can reveal instability, regression, and diminishing returns that final metrics may obscure.
• Abstract（参考訳）: 本研究では,Llama型言語モデルにおいて,固定された計算制約付きトークン予算の下で訓練された訓練力学について検討する。 この研究は、エンドポイントのパフォーマンスだけで効率を評価するのではなく、定量的に反復した測定設計を用いて、検証損失、検証の難しさ、転がりのボラティリティ、バックスライダーの挙動、スパイクの振る舞い、トークンベースのトレーニング間隔における種間変動の変化を分析した。 6つの独立した訓練は、TinyStories corpus、CPUベースのフル精度トレーニング、約2000万の累積トレーニングトークンを使用して4.26万パラメタモデルで実施された。 21の間隔でメトリクスが収集され、116の種をインターバルで観測した。 ANOVAは, 検証損失, 検証難易度, 転がりボラティリティに対して, 統計的に有意な間隔効果を示した。 記述的軌跡は早期に改善し, その後の訓練間隔で非単調な劣化がみられた。 平均検証損失は初期化時に8.3552から2.7996まで減少したが、最終チェックポイントで3.9010に増加した。 検証の難易度は同じパターンを踏襲し、訓練の早い段階で急降下し、その後に上昇した。 導出したテレメトリでは, 再帰的なバリデーションロスバックスライダーが示され, 既定条件下での安定相の持続的証拠は得られなかった。 これらの結果から,コンピュータ対応言語モデルの評価は,エンドポイントのメトリクスのみではなく,学習軌跡を検査すべきであることが示唆された。 制約された計算設定では、追加のトークン露光は比例的な一般化ゲインを発生させることなく計算コストを増大させ、インターバルレベルのテレメトリーは最終的な測定値が曖昧な不安定性、回帰、還元率の低下を明らかにすることができる。

関連論文リスト

• Gradient-Flow Optimization as Dynamic Random-Effects Inference: Testing and Early Stopping with Applications to Deep Learning [16.158545640309438]
  我々は勾配流学習のための統計的推論フレームワークを開発した。 トレーニング時間は、分散が再配置される方法を決定する分散成分パラメータになる。 固定勾配系における深層学習モデルは、理論の現代AIインスタンス化を提供する。
  論文  参考訳（メタデータ） (2026-05-27T05:32:24Z)
• Predictive Batch Scheduling: Accelerating Language Model Training Through Loss-Aware Sample Prioritization [0.33842793760651557]
  予測バッチスケジューリング(PBS)は,新しいトレーニング最適化手法である。 PBSはバッチ構築時に高損失サンプルを優先する。 予測器は4つの単純な特徴のみを用いて実際の損失と0.44の相関を達成している。
  論文  参考訳（メタデータ） (2026-02-19T04:15:39Z)
• Revisiting the Scaling Properties of Downstream Metrics in Large Language Model Training [11.179110411255708]
  トレーニング予算からベンチマークパフォーマンスのスケーリングをモデル化するための直接的なフレームワークを提案する。 その結果, 直接的アプローチは従来提案していた2段階の手順よりも優れていることがわかった。 事前学習損失と下流評価結果の完全なセットを公表する。
  論文  参考訳（メタデータ） (2025-12-09T18:33:48Z)
• EDIT: Early Diffusion Inference Termination for dLLMs Based on Dynamics of Training Gradients [6.736735746633275]
  拡散に基づく大規模言語モデル (dLLMs) は反復的妄想を通じてトークン生成を洗練させるが、全てのステップが完了する前に答えは安定することが多い。 本稿では,トレーニング時推論に対する十分な推論安定性が検出された場合に,適応的にデノイングを停止する推論時基準であるEDITを提案する。
  論文  参考訳（メタデータ） (2025-11-29T23:47:47Z)
• Instance-dependent Early Stopping [57.912273923450726]
  本稿では,早期停止機構をトレーニングセット全体からインスタンスレベルに適応させる,インスタンス依存早期停止(IES)手法を提案する。 IES は、損失値の2階差が 0 付近の小さな範囲に留まっている場合、インスタンスをマスタードとみなす。 IESは、モデルのテスト精度と転送学習性能を維持したり、わずかに改善したりしながら、バックプロパゲーションインスタンスを10%から50%削減することができる。
  論文  参考訳（メタデータ） (2025-02-11T13:34:09Z)
• The Journey Matters: Average Parameter Count over Pre-training Unifies Sparse and Dense Scaling Laws [51.608402959163925]
  本稿では,大規模言語モデルに対する最適スパース事前学習構成の体系的検討を行う。 総トレーニング計算の25%でプルーニングを開始し、75%で終了すると、ほぼ最適の最終評価損失が得られることがわかった。 本稿では,事前学習よりも平均パラメータ数を使用するように,チンチラスケーリング法を修正した新しいスケーリング法を提案する。
  論文  参考訳（メタデータ） (2025-01-21T20:23:22Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Adapting to Continuous Covariate Shift via Online Density Ratio Estimation [64.8027122329609]
  分散シフトへの対処は、現代の機械学習における中心的な課題の1つだ。 歴史的情報を適切に再利用するオンライン手法を提案する。 我々の密度比推定法は, ダイナミックなリセットバウンドを楽しむことにより, 良好に動作できることが証明された。
  論文  参考訳（メタデータ） (2023-02-06T04:03:33Z)
• Predicting Training Time Without Training [120.92623395389255]
  我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。 我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。 トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
  論文  参考訳（メタデータ） (2020-08-28T04:29:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。