論文の概要: Data Diversity Matters for Robust Instruction Tuning
- arxiv url: http://arxiv.org/abs/2311.14736v2
- Date: Mon, 5 Feb 2024 16:41:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 03:53:40.910094
- Title: Data Diversity Matters for Robust Instruction Tuning
- Title(参考訳): ロバストなインストラクションチューニングのためのデータ多様性
- Authors: Alexander Bukharin and Tuo Zhao
- Abstract要約: 近年の研究では、高品質で多様な命令チューニングデータセットをキュレートすることにより、命令追従能力を大幅に改善できることが示されている。
データセットの多様性と品質を制御できる新しいアルゴリズムQDIT(Quality-Diversity Instruction Tuning)を提案する。
いくつかの大規模命令チューニングデータセット上でのQDITの性能を検証した結果、最悪のケースと平均ケースのパフォーマンスを大幅に改善できることがわかった。
- 参考スコア(独自算出の注目度): 93.87078483250782
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent works have shown that by curating high quality and diverse instruction
tuning datasets, we can significantly improve instruction-following
capabilities. However, creating such datasets is difficult and most works rely
on manual curation or proprietary language models. Automatic data curation is
difficult as it is still not clear how we can define diversity for instruction
tuning, how diversity and quality depend on one other, and how we can optimize
dataset quality and diversity. To resolve these issue, we propose a new
algorithm, Quality-Diversity Instruction Tuning (QDIT). QDIT provides a simple
method to simultaneously control dataset diversity and quality, allowing us to
conduct an in-depth study on the effect of diversity and quality on instruction
tuning performance. From this study we draw two key insights (1) there is a
natural tradeoff between data diversity and quality and (2) increasing data
diversity significantly improves the worst case instruction following
performance, therefore improving robustness. We validate the performance of
QDIT on several large scale instruction tuning datasets, where we find it can
substantially improve worst and average case performance compared to
quality-driven data selection.
- Abstract(参考訳): 近年の研究では、高品質で多様な命令チューニングデータセットをキュレートすることで、命令追従能力を大幅に改善できることが示されている。
しかし、このようなデータセットの作成は困難であり、ほとんどの作業は手動のキュレーションやプロプライエタリな言語モデルに依存している。
インストラクションチューニングの多様性をどのように定義できるか、多様性と品質が相互に依存するのか、データセットの品質と多様性をどのように最適化できるか、まだ明確ではないため、自動データキュレーションは難しい。
これらの問題を解決するため、我々はQDIT(Quality-Diversity Instruction Tuning)という新しいアルゴリズムを提案する。
QDITは、データセットの多様性と品質を同時に制御する簡単な方法を提供する。
本研究は,データ多様性と品質の間に自然なトレードオフが存在すること,およびデータ多様性の増加が,パフォーマンスの続く最悪のケース命令を大幅に改善し,ロバスト性を向上させること,の2つの重要な洞察を導く。
大規模命令チューニングデータセットにおけるQDITの性能を検証することにより,品質駆動型データ選択と比較して,最悪のケースや平均ケースのパフォーマンスを大幅に向上させることができる。
関連論文リスト
- Enhancing Data Quality in Federated Fine-Tuning of Foundation Models [54.757324343062734]
本稿では,基礎モデルのファインチューニングのためのデータ品質制御パイプラインを提案する。
このパイプラインは、トレーニングデータの質を反映したスコアを計算し、統一された標準のグローバルしきい値を決定する。
実験の結果,提案した品質制御パイプラインはモデルトレーニングの有効性と信頼性を向上し,性能が向上することが示された。
論文 参考訳(メタデータ) (2024-03-07T14:28:04Z) - LESS: Selecting Influential Data for Targeted Instruction Tuning [69.50855460630105]
本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。
LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。
我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
論文 参考訳(メタデータ) (2024-02-06T19:18:04Z) - One Shot Learning as Instruction Data Prospector for Large Language
Models [111.0897473747819]
Nuggetsは、ワンショット学習を用いて、拡張データセットから高品質な命令データを選択する手法である。
提案手法は,Nuggets が生成した例の上位1%による命令チューニングが,全データセットを使用する従来の手法よりも大幅に優れていたことを実証する。
論文 参考訳(メタデータ) (2023-12-16T03:33:12Z) - Rethinking the Instruction Quality: LIFT is What You Need [20.829372251475476]
既存の品質改善手法は、データセットの拡張やキュレーションを通じて命令データを変更する。
本稿では,命令品質を新たな高さに高めるために設計された新しい多目的パラダイムであるLIFT(LLM Instruction Fusion Transfer)を提案する。
実験結果から, LLMは, パラダイムによって選択された高品質な命令データが少ない場合でも, 各種タスクにおける頑健な性能を一貫して維持することを示した。
論文 参考訳(メタデータ) (2023-12-12T03:30:21Z) - Self-Evolved Diverse Data Sampling for Efficient Instruction Tuning [47.02160072880698]
モデル自体が等しくあるいはそれ以上に効果的であるサブセットを積極的にサンプリングできる自己進化メカニズムを導入します。
データサンプリング技術の鍵は、選択したサブセットの多様性の向上にあります。
3つのデータセットとベンチマークにわたる大規模な実験は、DiverseEvolの有効性を示している。
論文 参考訳(メタデータ) (2023-11-14T14:10:40Z) - D2 Pruning: Message Passing for Balancing Diversity and Difficulty in
Data Pruning [70.98091101459421]
コアセット選択は、トレーニングデータのサブセットを選択して、このサブセット(コアセットとも呼ばれる)でトレーニングされたモデルのパフォーマンスを最大化する。
コアセット選択のために,このデータセットグラフ上で前後のメッセージパッシングを利用する新しいプルーニングアルゴリズムD2プルーニングを提案する。
その結果、D2プルーニングは従来の最先端手法よりもコアセット選択を向上し、最大70%のプルーニングレートが得られた。
論文 参考訳(メタデータ) (2023-10-11T23:01:29Z) - Data Quality in Imitation Learning [15.939363481618738]
ロボット工学のオフライン学習では、インターネットのスケールデータがないだけで、高品質なデータセットが必要なのです。
これは特に、専門家によるデモンストレーションを用いたロボット学習のためのサンプル効率のよいパラダイムである模倣学習(IL)において当てはまる。
本研究では,分散シフトのレンズによる模倣学習のためのデータ品質の形式化に向けた第一歩を踏み出す。
論文 参考訳(メタデータ) (2023-06-04T18:48:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。