論文の概要: LoBaSS: Gauging Learnability in Supervised Fine-tuning Data
- arxiv url: http://arxiv.org/abs/2310.13008v1
- Date: Mon, 16 Oct 2023 07:26:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-29 16:10:39.284668
- Title: LoBaSS: Gauging Learnability in Supervised Fine-tuning Data
- Title(参考訳): LoBaSS: 教師付き微調整データにおける学習性向上
- Authors: Haotian Zhou, Tingkai Liu, Qianli Ma, Jianbo Yuan, Pengfei Liu, Yang
You and Hongxia Yang
- Abstract要約: Supervised Fine-Tuning (SFT) は、Large Language Models (LLM) を特定のタスクの前提条件に合わせる上で重要なフェーズである。
SFTデータ選択における新しい次元:学習可能性について紹介する。
そこで我々はLoss Based SFT Data Selection (LoBaSS) 法を提案する。
- 参考スコア(独自算出の注目度): 64.27898739929734
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Supervised Fine-Tuning (SFT) serves as a crucial phase in aligning Large
Language Models (LLMs) to specific task prerequisites. The selection of
fine-tuning data profoundly influences the model's performance, whose principle
is traditionally grounded in data quality and distribution. In this paper, we
introduce a new dimension in SFT data selection: learnability. This new
dimension is motivated by the intuition that SFT unlocks capabilities acquired
by a LLM during the pretraining phase. Given that different pretrained models
have disparate capabilities, the SFT data appropriate for one may not suit
another. Thus, we introduce the term learnability to define the suitability of
data for effective learning by the model. We present the Loss Based SFT Data
Selection (LoBaSS) method, utilizing data learnability as the principal
criterion for the selection SFT data. This method provides a nuanced approach,
allowing the alignment of data selection with inherent model capabilities,
ensuring optimal compatibility and learning efficiency. In experimental
comparisons involving 7B and 13B models, our LoBaSS method is able to surpass
full-data fine-tuning at merely 6% of the total training data. When employing
16.7% of the data, LoBaSS harmonizes the model's capabilities across
conversational and mathematical domains, proving its efficacy and adaptability.
- Abstract(参考訳): Supervised Fine-Tuning (SFT) は、Large Language Models (LLM) を特定のタスクの前提条件に合わせる上で重要なフェーズである。
微調整データの選定は、伝統的にデータ品質と分散に基礎を置いているモデルの性能に大きな影響を及ぼす。
本稿では,SFTデータ選択における新しい次元:学習可能性について紹介する。
この新たな次元は、SFTが事前訓練フェーズ中にLLMが取得した能力をアンロックするという直感によって動機付けられる。
異なる事前訓練されたモデルが異なる能力を持つことを考えると、SFTのデータは他のモデルに適さないかもしれない。
そこで本研究では,モデルによる効果的な学習のためのデータの適合性を定義するための学習可能性という用語を提案する。
本稿では,sptデータ選択の主基準としてデータ学習性を活用したロスベースsptデータ選択(lobass)手法を提案する。
この方法は、データ選択と固有のモデル機能とのアライメントを可能にし、最適な互換性と学習効率を確保する。
7bモデルと13bモデルとの比較では,全トレーニングデータのわずか6%で全データの微調整を超越することができた。
16.7%のデータを採用した場合、LoBaSSは会話や数学的領域でモデルの能力を調和させ、その有効性と適応性を証明する。
関連論文リスト
- SmallToLarge (S2L): Scalable Data Selection for Fine-tuning Large
Language Models by Summarizing Training Trajectories of Small Models [25.354520724493845]
教師付き微調整のための効率的でスケーラブルなデータ選択手法を提案する。
S2Lは数学的な問題解決のために,SFTのデータ効率を著しく向上させることを示した。
また,S2Lは対象モデルよりも40倍小さい参照モデルを用いてデータ選択を行うことができることを示す。
論文 参考訳(メタデータ) (2024-03-12T07:45:33Z) - How to Train Data-Efficient LLMs [56.41105687693619]
事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。
Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。
何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
論文 参考訳(メタデータ) (2024-02-15T02:27:57Z) - LESS: Selecting Influential Data for Targeted Instruction Tuning [69.50855460630105]
本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。
LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。
我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
論文 参考訳(メタデータ) (2024-02-06T19:18:04Z) - What Makes Good Data for Alignment? A Comprehensive Study of Automatic
Data Selection in Instruction Tuning [46.89278992343941]
本稿では、LLaMAモデルとMistralモデルから微調整された一連のモデルであるdeitaについて述べる。
Deitaは6K SFTトレーニングデータサンプルだけで、最先端のオープンソースアライメントモデルと同等、あるいは同等に動作します。
論文 参考訳(メタデータ) (2023-12-25T10:29:28Z) - Efficient Online Data Mixing For Language Model Pre-Training [101.45242332613944]
既存のデータ選択方法は、遅くて計算コストのかかるプロセスに悩まされる。
一方、データミキシングは、データポイントをまとめることで、データ選択の複雑さを低減する。
我々は,データ選択とデータ混合の両要素を組み合わせたオンラインデータ混合(ODM)の効率的なアルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-12-05T00:42:35Z) - How Abilities in Large Language Models are Affected by Supervised
Fine-tuning Data Composition [67.02182566213268]
本研究は, 教師付き微調整における数学的推論, コード生成, 一般人適応能力間のデータ合成の相互作用に着目した。
我々の実験では、異なる能力のスケールが異なり、より大きなモデルでは、通常、同じ量のデータで優れたパフォーマンスを示す。
その結果, 合成データの量は, 合成比よりも性能に影響を及ぼすことが示唆された。
論文 参考訳(メタデータ) (2023-10-09T07:56:16Z) - SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。
異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。
実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
論文 参考訳(メタデータ) (2023-08-12T10:33:57Z) - Diverse Data Augmentation with Diffusions for Effective Test-time Prompt
Tuning [73.75282761503581]
DiffTPTを提案する。DiffTPTは,事前学習した拡散モデルを用いて,多種多様な情報データを生成する。
DiffTPTがゼロショット精度を平均5.13%向上することを示す。
論文 参考訳(メタデータ) (2023-08-11T09:36:31Z) - SHiFT: An Efficient, Flexible Search Engine for Transfer Learning [16.289623977712086]
トランスファーラーニングは、スクラッチからトレーニングモデルのデータと計算効率の代替品と見なすことができる。
本稿では,トランスファー学習のための第1のダウンストリームタスク認識,フレキシブル,効率的なモデル検索エンジンであるSHiFTを提案する。
論文 参考訳(メタデータ) (2022-04-04T13:16:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。