論文の概要: mSFT: Addressing Dataset Mixtures Overfitting Heterogeneously in Multi-task SFT

• arxiv url: http://arxiv.org/abs/2603.21606v5
• Date: Fri, 27 Mar 2026 07:30:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.119826
• Title: mSFT: Addressing Dataset Mixtures Overfitting Heterogeneously in Multi-task SFT
• Title（参考訳）: mSFT:マルチタスクSFTにおけるヘテロジニアスなデータセット混合への対処
• Authors: Woosung Koh, Jeyoung Jeon, Youngjin Song, Yujin Cheon, Soowon Oh, Jaehyeong Choi, Se-Young Yun,
• Abstract要約: mSFT(mSFT)は、マルチタスクデータ混合のための反復的、過度に適合する検索アルゴリズムである。 10のベンチマークと6のベースモデルで、4つのベースラインを一貫して上回る。 低い計算予算では、mSFTは訓練用FLOPを低下させながら性能を向上させることができる。
• 参考スコア（独自算出の注目度）: 27.111441041682586
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current language model training commonly applies multi-task Supervised Fine-Tuning (SFT) using a homogeneous compute budget across all sub-datasets. This approach is fundamentally sub-optimal: heterogeneous learning dynamics cause faster-learning tasks to overfit early while slower ones remain under-fitted. To address this, we introduce mSFT, an iterative, overfitting-aware search algorithm for multi-task data mixtures. mSFT trains the model on an active mixture, identifies and excludes the earliest overfitting sub-dataset, and reverts to that specific optimal checkpoint before continuing. Extensive evaluations demonstrate that mSFT consistently outperforms 4 baselines across 10 benchmarks and 6 base models. Further analysis confirms mSFT maintains robust gains across diverse dataset sizes, task granularities, and is insensitive to its single new hyperparameter (compute budget). Notably, at low compute budget, mSFT can improve performance while lowering training FLOPs. Ultimately, mSFT establishes a practical overfitting-aware algorithm for multi-task SFT that maximizes the potential of models across diverse data mixtures.
• Abstract（参考訳）: 現在の言語モデルトレーニングでは、すべてのサブデータセットに均質な計算予算を用いて、マルチタスク・スーパービジョン・ファイン・チューニング(SFT)を適用するのが一般的である。 ヘテロジニアス学習のダイナミクスは、より高速な学習タスクを早期にオーバーフィットさせ、遅いタスクは未適合のままにする。 そこで本研究では,マルチタスクデータ混在に対して,反復的かつ過度に適合する探索アルゴリズムであるmSFTを紹介する。 mSFTは、モデルをアクティブな混合物でトレーニングし、最初期のオーバーフィッティングサブデータセットを特定して除外し、継続する前にその特定の最適なチェックポイントに戻す。 大規模な評価では、mSFTは10のベンチマークと6のベースモデルで4つのベースラインを一貫して上回っている。 さらなる分析により、mSFTはさまざまなデータセットサイズ、タスクの粒度にわたって堅牢なゲインを維持し、単一の新しいハイパーパラメータ(計算予算)に敏感であることが確認されている。 特に低計算予算では、mSFTはFLOPを低下させながら性能を向上させることができる。 最終的に、mSFTは様々なデータ混合物のモデルの可能性を最大化するマルチタスクSFTの実用的なオーバーフィット対応アルゴリズムを確立する。

関連論文リスト

• Utility-Diversity Aware Online Batch Selection for LLM Supervised Fine-tuning [49.04912820721943]
  Supervised Fine-tuning (SFT) は計算コストが高く、時にはオーバーフィットやバイアス増幅に悩まされる。 本研究は、トレーニングプロセス中にサンプルを動的にスコア付け、フィルタリングするオンラインバッチ選択ファミリについて研究する。 SFTにおける効率的なオンラインバッチ選択のためのフレームワークである textbfUDS (Utility-Diversity Sampling) を開発した。
  論文  参考訳（メタデータ） (2025-10-19T15:32:01Z)
• SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
  大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。 トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:50:48Z)
• Why Reinforcement Fine-Tuning Enables MLLMs Preserve Prior Knowledge Better: A Data Perspective [98.45690529036848]
  Supervised Fine-Tuning (SFT) や Reinforcement Fine-Tuning (RFT) といったポストトレーニングアルゴリズムは、マルチモーダルな大規模言語モデルを下流タスクに適応するために広く使われている。 タスク適応には有効であるが、以前の知識に対する影響はいまだ不明である。
  論文  参考訳（メタデータ） (2025-06-30T04:15:01Z)
• Massive Supervised Fine-tuning Experiments Reveal How Data, Layer, and Training Factors Shape LLM Alignment Quality [22.105116314320696]
  Supervised Fine-tuning (SFT) は、大きな言語モデルを人間の指示や値に合わせるための重要なステップである。 コード生成、数学的推論、汎用ドメインタスクなど、さまざまなデータセットに基づいて、幅広いベースモデルをトレーニングしました。 次に、最も重要となるデータセット特性を特定し、SFTが導入した階層的な修正について検討した。
  論文  参考訳（メタデータ） (2025-06-17T16:13:15Z)
• SFTMix: Elevating Language Model Instruction Tuning with Mixup Recipe [36.74756622715754]
  大型言語モデル (LLM) は命令追従能力を得るために命令チューニングを行う。 命令チューニングを改善する努力は、しばしば高品質な教師付き微調整データセットに焦点を当てる。 SFTMixは、よく計算されたデータセットに頼らずにLLM命令のチューニングを向上する新しいMixベースのレシピである。
  論文  参考訳（メタデータ） (2024-10-07T17:52:21Z)
• 60 Data Points are Sufficient to Fine-Tune LLMs for Question-Answering [50.12622877002846]
  大規模言語モデル(LLM)は、大量のデータセットの事前トレーニングを通じて、広範囲な世界の知識を符号化する。 我々は,事前学習したLLMが記憶する知識の量に基づいて,教師付き微調整(SFT)データを分類した。 実験の結果,SFTの段階では60個のデータポイントが事前学習中に符号化された知識を活性化することができ,LLMがQAタスクを実行できることがわかった。
  論文  参考訳（メタデータ） (2024-09-24T07:38:38Z)
• Inducing Generalization across Languages and Tasks using Featurized Low-Rank Mixtures [44.04239492332651]
  Featurized Low-rank Mixtures (FLix) はマルチタスク多言語適応のための新しいPEFT法である。 FLixは、データセットの言語やタスクなど、それぞれのユニークなデータセット機能と、独自の低ランクの重み更新パラメータを関連付ける。 実験の結果,FLixは教師付き学習とゼロショット設定の両方において,様々なタスクに対して大幅な改善をもたらすことがわかった。
  論文  参考訳（メタデータ） (2024-02-27T23:12:45Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。