論文の概要: How Abilities in Large Language Models are Affected by Supervised
Fine-tuning Data Composition
- arxiv url: http://arxiv.org/abs/2310.05492v2
- Date: Wed, 1 Nov 2023 07:11:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 16:51:30.658213
- Title: How Abilities in Large Language Models are Affected by Supervised
Fine-tuning Data Composition
- Title(参考訳): 教師付き微調整データ構成による大規模言語モデルの能力への影響
- Authors: Guanting Dong, Hongyi Yuan, Keming Lu, Chengpeng Li, Mingfeng Xue,
Dayiheng Liu, Wei Wang, Zheng Yuan, Chang Zhou, Jingren Zhou
- Abstract要約: 膨大な事前学習トークンとパラメータを持つ大規模言語モデル(LLM)は、算術的推論、コード生成、命令追従を含む能力が出現する。
教師付き微調整(SFT)により複数の能力を持つ鍵を解除する方法を検討することが重要である。
- 参考スコア(独自算出の注目度): 67.02182566213268
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) with enormous pre-training tokens and parameter
amounts emerge abilities, including math reasoning, code generation, and
instruction following. These abilities are further enhanced by supervised
fine-tuning (SFT). The open-source community has studied on ad-hoc SFT for each
ability, while proprietary LLMs are versatile for all abilities. It is
important to investigate how to unlock them with multiple abilities via SFT. In
this study, we specifically focus on the data composition between mathematical
reasoning, code generation, and general human-aligning abilities during SFT.
From a scaling perspective, we investigate the relationship between model
abilities and various factors including data amounts, data composition ratio,
model parameters, and SFT strategies. Our experiments reveal that different
abilities exhibit different scaling patterns, and larger models generally show
superior performance with the same amount of data. Mathematical reasoning and
code generation improve as data amounts increase consistently, while the
general ability is enhanced with about a thousand samples and improves slowly.
We find data composition results in various abilities improvements with low
data amounts, while conflicts of abilities with high data amounts. Our
experiments further show that composition data amount impacts performance,
while the influence of composition ratio is insignificant. Regarding the SFT
strategies, we evaluate sequential learning multiple abilities are prone to
catastrophic forgetting. Our proposed Dual-stage Mixed Fine-tuning (DMT)
strategy learns specialized abilities first and then learns general abilities
with a small amount of specialized data to prevent forgetting, offering a
promising solution to learn multiple abilities with different scaling patterns.
- Abstract(参考訳): 膨大な事前学習トークンとパラメータを持つ大規模言語モデル(LLM)は、算術的推論、コード生成、命令追従などの能力を持つ。
これらの能力はsft(supervised fine-tuning)によってさらに強化される。
オープンソースコミュニティは、各能力に対してアドホックなSFTについて研究しているが、プロプライエタリなLLMはすべての能力に汎用性がある。
SFTを介して複数の能力でアンロックする方法を検討することが重要である。
本研究では,SFTにおける数学的推論,コード生成,一般人適応能力間のデータ構成に着目した。
スケーリングの観点から,モデル能力とデータ量,データ合成比,モデルパラメータ,sft戦略などさまざまな要因との関係について検討した。
我々の実験によると、異なる能力は異なるスケーリングパターンを示し、大きなモデルは一般的に同じ量のデータで優れたパフォーマンスを示す。
データ量が一貫して増加するにつれて、数学的推論とコード生成が改善され、1000のサンプルで一般的な能力が向上し、ゆっくりと改善される。
データ構成の結果,低データ量では様々な能力向上が得られ,高データ量では能力の矛盾が生じている。
さらに, 合成データ量が性能に影響を及ぼすのに対し, 組成比の影響は重要でないことを示した。
SFTの戦略に関して、逐次学習の多重能力は破滅的な忘れがちである。
提案したDual-stage Mixed Fine-tuning(DMT)戦略は,まず特殊能力を学習し,次に少量の専門データを用いて汎用能力を学習し,異なるスケーリングパターンで複数の能力を学ぶための有望なソリューションを提供する。
関連論文リスト
- LESS: Selecting Influential Data for Targeted Instruction Tuning [69.50855460630105]
本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。
LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。
我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
論文 参考訳(メタデータ) (2024-02-06T19:18:04Z) - Dynamics of Instruction Tuning: Each Ability of Large Language Models
Has Its Own Growth Pace [21.015261553612643]
10の能力にまたがる40k以上のデータセットを提示し、7bから33bのパラメータを持つ命令調整モデルについて検討する。
i) モデル全体の性能がデータとパラメータスケールに結びついているにもかかわらず、個々の能力はこれらの要因に対して異なる感性を持っている。
人為的なデータはGPT-4の合成データより効率が良く、容積の増加とともにモデル性能を常に向上させることができる。
論文 参考訳(メタデータ) (2023-10-30T15:37:10Z) - StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized
Image-Dialogue Data [129.92449761766025]
本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。
このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。
本研究は,各種データセットを対象とした総合的な実験を含む。
論文 参考訳(メタデータ) (2023-08-20T12:43:52Z) - MinT: Boosting Generalization in Mathematical Reasoning via Multi-View
Fine-Tuning [53.90744622542961]
数学領域における推論は、小言語モデル(LM)にとって重要な課題である。
多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。
実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
論文 参考訳(メタデータ) (2023-07-16T05:41:53Z) - Multi-Task Learning with Summary Statistics [4.871473117968554]
様々な情報源からの要約統計を利用した柔軟なマルチタスク学習フレームワークを提案する。
また,Lepskiの手法の変種に基づく適応パラメータ選択手法を提案する。
この研究は、さまざまな領域にわたる関連するモデルをトレーニングするための、より柔軟なツールを提供する。
論文 参考訳(メタデータ) (2023-07-05T15:55:23Z) - Beyond Scale: the Diversity Coefficient as a Data Quality Metric
Demonstrates LLMs are Pre-trained on Formally Diverse Data [12.76278784443243]
我々は最近提案されたTask2Vecの多様性係数を使って、データ品質の形式的側面を理解します。
具体的には、公開事前学習データセットの多様性係数を測定し、それらの形式的多様性が高いことを示す。
多様性係数は信頼性が高く、公開可能なLLMデータセットには高い値を示し、LLMのための有用な多種多様なデータセットを構築するために使用できると推測する。
論文 参考訳(メタデータ) (2023-06-24T02:25:56Z) - Diffusion Model is an Effective Planner and Data Synthesizer for
Multi-Task Reinforcement Learning [101.66860222415512]
Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。
生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
論文 参考訳(メタデータ) (2023-05-29T05:20:38Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳(メタデータ) (2022-05-21T19:49:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。