論文の概要: A Scaling Law for Token Efficiency in LLM Fine-Tuning Under Fixed Compute Budgets

• arxiv url: http://arxiv.org/abs/2505.06150v2
• Date: Mon, 02 Jun 2025 18:33:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 01:42:09.107977
• Title: A Scaling Law for Token Efficiency in LLM Fine-Tuning Under Fixed Compute Budgets
• Title（参考訳）: 固定計算予算下におけるLLM微調整におけるトーケン効率のスケーリング法則
• Authors: Ryan Lagasse, Aidan Kierans, Avijit Ghosh, Shiri Dori-Hacohen,
• Abstract要約: 計算予算の固定化により,大規模言語モデル(LLM)のスケーリング法則を導入する。 我々の定式化は確立された手続きに従って調整される。
• 参考スコア（独自算出の注目度）: 2.619545850602691
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a scaling law for fine-tuning large language models (LLMs) under fixed compute budgets that explicitly accounts for data composition. Conventional approaches measure training data solely by total tokens, yet the number of examples and their average token length -- what we term \emph{dataset volume} -- play a decisive role in model performance. Our formulation is tuned following established procedures. Experiments on the BRICC dataset \cite{salavati2024reducing} and subsets of the MMLU dataset \cite{hendrycks2021measuringmassivemultitasklanguage}, evaluated under multiple subsampling strategies, reveal that data composition significantly affects token efficiency. These results motivate refined scaling laws for practical LLM fine-tuning in resource-constrained settings.
• Abstract（参考訳）: 我々は,データ構成を明示的に考慮した固定化された計算予算の下で,大規模言語モデル(LLM)のスケーリング法を導入する。 従来のアプローチでは、トレーニングデータのみを全トークンで計測していますが、サンプルの数とその平均トークン長 -- いわゆる‘emph{dataset volume}’ -- は、モデルのパフォーマンスにおいて決定的な役割を担います。 我々の定式化は確立された手続きに従って調整される。 BRICCデータセット \cite{salavati2024reducing} と、MMLUデータセット \cite{hendrycks2021measuringmassivemultitask languages} の部分集合に関する実験は、複数のサブサンプリング戦略で評価され、データ構成がトークン効率に大きく影響することを明らかにする。 これらの結果は,資源制約条件下でのLCMファインチューニングのための洗練されたスケーリング法則を動機付けている。

関連論文リスト

• Rethinking Data: Towards Better Performing Domain-Specific Small Language Models [0.0]
  本稿では,小言語モデル(LM)の微調整について述べる。 LMトレーニングパイプラインの各段階でのデータ品質を改善することで、これを実現する。 我々は、異なるデータサブセット上の異なるパラメータで微調整されたモデルをマージすることで、モデル一般化能力を向上させる。
  論文  参考訳（メタデータ） (2025-03-03T12:19:12Z)
• LLMs on the Line: Data Determines Loss-to-Loss Scaling Laws [21.053622641336744]
  ロス・ツー・ロスのスケーリング法則は、事前トレーニングされたデータセットと下流タスク間の損失を関連付ける。 実験の結果,事前学習データとトークン化器がスケーリングの傾向を決定することがわかった。
  論文  参考訳（メタデータ） (2025-02-17T18:45:25Z)
• Scalable In-Context Learning on Tabular Data via Retrieval-Augmented Large Language Models [15.603556124006479]
  拡張性のあるTabICLのための検索拡張言語モデルを提案する。 提案手法では,LLMのための検索誘導型命令チューニングと合わせて,検索モジュールをカスタマイズする。 これにより、LLMはより大きなデータセットを効果的に活用することができ、69の広く認識されているデータセット間での大幅なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-02-05T13:16:41Z)
• Optimizing Pretraining Data Mixtures with LLM-Estimated Utility [52.08428597962423]
  大規模な言語モデルは、高品質なトレーニングデータの増加によって改善される。 トークンカウントは手動と学習の混合よりも優れており、データセットのサイズと多様性に対する単純なアプローチが驚くほど効果的であることを示している。 UtiliMaxは,手動ベースラインよりも最大10.6倍のスピードアップを達成することで,トークンベースの200ドルを拡大する。また,LLMを活用して小さなサンプルからデータユーティリティを推定するモデル推定データユーティリティ(MEDU)は,計算要求を$simxで削減し,アブレーションベースのパフォーマンスに適合する。
  論文  参考訳（メタデータ） (2025-01-20T21:10:22Z)
• Aligning Instruction Tuning with Pre-training [81.4748965653345]
  そこで我々は,AITP(Aligning Instruction Tuning with Pre-training)を提案する。 8つのベンチマークで3つの完全にオープンな大規模言語モデル(LLM)上で,AITPによる一貫したパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2025-01-16T08:27:40Z)
• Entropy Law: The Story Behind Data Compression and LLM Performance [115.70395740286422]
  モデル性能はトレーニングデータの圧縮比と負の相関関係にあり,トレーニング損失が小さくなるのが普通である。 エントロピー法則の知見に基づいて, 極めて効率的で普遍的なデータ選択法を提案する。 また,モデルトレーニング開始時の潜在的な性能リスクを検出するエントロピー法則の興味深い応用を提案する。
  論文  参考訳（メタデータ） (2024-07-09T08:14:29Z)
• Through the Thicket: A Study of Number-Oriented LLMs derived from Random Forest Models [0.0]
  大規模言語モデル (LLM) はテキスト処理において例外的な性能を示した。 本稿では,ランダムフォレスト(RF)アンサンブルからの知識伝達を用いたLLMの学習手法を提案する。 我々は、細調整のためのアウトプットを生成し、その決定を分類し、説明するモデルの能力を高めます。
  論文  参考訳（メタデータ） (2024-06-07T13:31:51Z)
• A Context-Aware Approach for Enhancing Data Imputation with Pre-trained Language Models [0.18416014644193068]
  CRILMは、事前訓練された言語モデルを使用して、不足する値に対してコンテキストに関連のある記述子を作成する。 本評価は,MCAR,MAR,MNARシナリオにおけるCRILMの優れた性能とロバスト性を示す。
  論文  参考訳（メタデータ） (2024-05-28T00:08:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。