論文の概要: Data Mixing Optimization for Supervised Fine-Tuning of Large Language Models
- arxiv url: http://arxiv.org/abs/2508.11953v1
- Date: Sat, 16 Aug 2025 07:28:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-19 14:49:10.479492
- Title: Data Mixing Optimization for Supervised Fine-Tuning of Large Language Models
- Title（参考訳）: 大規模言語モデルの教師付き微調整のためのデータ混合最適化
- Authors: Yuan Li, Zhengzhong Liu, Eric Xing,
- Abstract要約: 最適化問題としてデータミキシングを枠組み化し,検証損失を最小限に抑える新しい手法を提案する。
提案手法は, 効率的なデータ転送をモデル化し, スケール法則を微調整に活用することにより, 損失をパラメタライズする。
提案アルゴリズムは,全領域にわたる総合的,個人的パフォーマンスに優れることを示す。
- 参考スコア（独自算出の注目度）: 5.626695215498112
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Optimizing data mixtures for supervised fine-tuning (SFT) of large language models (LLMs) is critical for developing general-purpose models, yet this area remains underexplored. In this paper, we frame data mixing as an optimization problem and introduce a novel method designed to minimize validation loss. Our approach parametrizes the loss by modeling effective data transferred and leveraging scaling laws for fine-tuning. By experimenting with various small-scale data mixtures, we fit these parameters and derive the optimal weights. We provide both mathematical proofs and empirical results demonstrating that our algorithm achieves excellent overall and individual performance across all domains. Through controlled experiments, we show that models trained with our optimized weights perform on par with those using optimal weights determined via grid search, with per-domain loss only 0.66% higher than the best domain loss from grid search on average. Additionally, we show that reweighting popular SFT datasets using our method improves both validation loss and downstream performance. Finally, we discuss how our method can generalize to guide data selection for domain-specific models and provide insights into SFT.
- Abstract（参考訳）: 大規模言語モデル(LLM)の教師付き微調整(SFT)のためのデータ混合の最適化は、汎用モデルの開発には不可欠であるが、まだ未調査である。
本稿では,データ混合を最適化問題とし,検証損失を最小限に抑える新しい手法を提案する。
提案手法は, 効率的なデータ転送をモデル化し, スケール法則を微調整に活用することにより, 損失をパラメタライズする。
様々な小さなデータ混合物を実験することにより、これらのパラメータを適合させ、最適な重みを導出する。
数学的証明と経験的結果の両方を提供し、本アルゴリズムが全領域にわたって優れた総合的および個人的性能を達成できることを実証する。
制御された実験により、最適化された重みで訓練されたモデルが、グリッドサーチによって決定された最適重みを用いたモデルと同等に動作し、ドメインごとの損失はグリッドサーチによるドメインあたりの損失が平均で最高のドメイン損失よりわずか0.66%高い。
さらに,本手法を用いたSFTデータセットの再重み付けにより,検証損失とダウンストリーム性能が向上することを示す。
最後に,ドメイン固有モデルに対するデータ選択を一般化し,SFTに対する洞察を与える方法について考察する。
関連論文リスト
- ADMIRE-BayesOpt: Accelerated Data MIxture RE-weighting for Language Models with Bayesian Optimization [11.433087692377779]
本稿では,100万から70億のパラメータを対象とするモデルを対象とした事前学習と指導の微調整について述べる。
我々は,幅広いベースラインに対して一貫して強い結果を示し,500%以上のスピードアップを実現した。
さらに、ADMIRE IFT Runsという460のフルトレーニングと評価のデータセットを13,000時間以上のGPU時間で共有することで、研究へのアクセスを拡大しています。
論文 参考訳（メタデータ） (2025-08-15T15:53:09Z) - You Only Train Once [11.97836331714694]
You Only Train Once (YOTO)は、損失選択と重み付けの後者の側面において、トレーニングを1ショットに制限することに貢献する。
複数の経験的損失を同時に最適化するために広く用いられている複合損失定式化の微分可能性を活用する。
YOTOは、未確認テストデータにおいて、最高のグリッド検索モデルよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2025-06-04T18:04:58Z) - Efficient Data Selection at Scale via Influence Distillation [53.03573620682107]
本稿では,データ選択のための数学的に修飾されたフレームワークであるインフルエンス蒸留を紹介する。
対象分布に対する各試料の影響を蒸留することにより,トレーニングデータの選択に使用されるモデル固有の重みを割り当てる。
実験の結果、蒸留の影響は最先端のパフォーマンスに匹敵し、最大3.5タイムの高速選択を実現していることがわかった。
論文 参考訳（メタデータ） (2025-05-25T09:08:00Z) - DONOD: Efficient and Generalizable Instruction Fine-Tuning for LLMs via Model-Intrinsic Dataset Pruning [22.704995231753397]
大規模言語モデル(LLM)のアドホック命令の微調整は、ドメイン固有の適応に広く採用されている。
本研究では,軽量なモデル固有データ解析手法であるDONODを提案する。
データセット全体の70%をフィルタリングすることで、ターゲットドメインの精度を14.90%、クロスドメインの精度を5.67%向上させる。
論文 参考訳（メタデータ） (2025-04-21T02:25:03Z) - Optimizing Pre-Training Data Mixtures with Mixtures of Data Expert Models [24.396525123797073]
本稿では,各候補混合物に対応するクロスエントロピー損失の効率的な近似により,データ混合の事前学習を最適化する手法を提案する。
我々はこの近似を回帰モデルにおける付加的な特徴の源として用い、少数の混合物に対するモデル損失の観測から訓練した。
論文 参考訳（メタデータ） (2025-02-21T21:27:48Z) - AutoScale: Scale-Aware Data Mixing for Pre-Training LLMs [61.13296177652599]
より小さなスケールで良好に機能するデータ混合物は、大規模なスケールではその利点を保たない可能性があることを示す。
2段階のスケール対応データ合成フレームワークであるAutoScaleを提案する。
論文 参考訳（メタデータ） (2024-07-29T17:06:30Z) - AutoFT: Learning an Objective for Robust Fine-Tuning [60.641186718253735]
ファンデーションモデルは、微調整によって下流タスクに適応できるリッチな表現をエンコードする。
手作り正則化技術を用いた頑健な微調整への最近のアプローチ
我々は、堅牢な微調整のためのデータ駆動型アプローチであるAutoFTを提案する。
論文 参考訳（メタデータ） (2024-01-18T18:58:49Z) - Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。
また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-01-08T22:33:14Z) - Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳（メタデータ） (2023-07-19T04:07:33Z) - Learning Distributionally Robust Models at Scale via Composite
Optimization [45.47760229170775]
DROの異なる変種が、スケーラブルな方法を提供する有限サム合成最適化の単なる例であることを示す。
また、非常に大規模なデータセットからロバストなモデルを学ぶために、先行技術に関して提案アルゴリズムの有効性を示す実験結果も提供する。
論文 参考訳（メタデータ） (2022-03-17T20:47:42Z) - Robust Optimal Transport with Applications in Generative Modeling and
Domain Adaptation [120.69747175899421]
ワッサーシュタインのような最適輸送(OT)距離は、GANやドメイン適応のようないくつかの領域で使用されている。
本稿では,現代のディープラーニングアプリケーションに適用可能な,ロバストなOT最適化の計算効率のよい2つの形式を提案する。
提案手法では, ノイズの多いデータセット上で, 外部分布で劣化したGANモデルをトレーニングすることができる。
論文 参考訳（メタデータ） (2020-10-12T17:13:40Z) - Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。
本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。
その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
論文 参考訳（メタデータ） (2020-02-04T20:00:28Z) - Model Inversion Networks for Model-Based Optimization [110.24531801773392]
スコアから入力への逆写像を学習するモデル反転ネットワーク(MIN)を提案する。
MINは高次元の入力空間にスケールでき、コンテキスト最適化と非コンテキスト最適化の両方にオフラインログデータを利用する。
我々は,ベイズ最適化の文献から,画像やタンパク質の設計に対する高次元モデルベース最適化問題,ログデータからのコンテキスト的帯域最適化といったタスクのMINを評価した。
論文 参考訳（メタデータ） (2019-12-31T18:06:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。