論文の概要: Data Diversity Matters for Robust Instruction Tuning
- arxiv url: http://arxiv.org/abs/2311.14736v1
- Date: Tue, 21 Nov 2023 19:12:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-03 13:44:07.019676
- Title: Data Diversity Matters for Robust Instruction Tuning
- Title(参考訳): ロバストなインストラクションチューニングのためのデータ多様性
- Authors: Alexander Bukharin and Tuo Zhao
- Abstract要約: QDIT(Quality-Diversity Instruction Tuning)は、データセットの多様性と品質を制御するアルゴリズムである。
我々は,多様性と品質が指導調律性能に及ぼす影響について深く研究する。
品質駆動のベースラインに比べて平均的なパフォーマンスを維持したり改善したりしながら、最悪のケースパフォーマンスを18%向上させることができる。
- 参考スコア(独自算出の注目度): 93.87078483250782
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Instruction tuning has emerged as a key step in aligning large language
models. One of the central challenges of instruction tuning is dataset
selection, as the composition of the instruction tuning dataset can
significantly impact downstream performance. In particular, researchers have
hypothesized that dataset diversity and dataset quality are important
indicators of downstream performance. However, it is not clear how to
automatically select high quality and diverse data or how exactly quality and
diversity affect instruction following ability. To resolve these issues, we
propose a new algorithm, Quality-Diversity Instruction Tuning (QDIT). QDIT
provides a principled algorithm to control dataset diversity and quality,
allowing us to conduct an in depth study on the effect of diversity and quality
on instruction tuning performance. From this study we draw two key insights (1)
there is a natural tradeoff between dataset diversity and quality and (2)
increasing dataset diversity significantly improves the worst case instruction
following performance, therefore improving robustness. We validate the
performance of QDIT on several large scale instruction tuning datasets, where
we find it can improve worst case performance by 18% while maintaining or
improving average performance compared to quality driven baselines.
- Abstract(参考訳): インストラクションチューニングは、大きな言語モデルを調整するための重要なステップとして現れている。
命令チューニングの中心的な課題の1つはデータセットの選択であり、命令チューニングデータセットの構成は下流のパフォーマンスに大きな影響を与える可能性がある。
特に研究者は、データセットの多様性とデータセットの品質が下流のパフォーマンスの重要な指標であると仮定している。
しかし、高品質で多様なデータを自動的に選択する方法や、正確な品質と多様性がインストラクション追従能力にどのように影響するかは明らかではない。
これらの問題を解決するため、我々はQDIT(Quality-Diversity Instruction Tuning)という新しいアルゴリズムを提案する。
qditは、データセットの多様性と品質を制御するための原則化されたアルゴリズムを提供し、多様性と品質が命令のチューニング性能に与える影響を深く研究できます。
本研究では,(1)データセットの多様性と品質の間に自然なトレードオフが存在すること,(2)データセットの多様性を増大させることで,パフォーマンスが悪化し,堅牢性が向上することを示す。
そこで,品質駆動ベースラインに比べて平均性能を維持したり向上させたりしながら,最悪ケース性能を18%向上させることができることを示す。
関連論文リスト
- Empowering Large Language Models for Textual Data Augmentation [23.483960932358396]
大きな言語モデル(LLM)は、テキストデータ拡張のための強力なツールとして機能する可能性がある。
本研究は,大規模拡張命令を自動生成し,最適なタスクインフォームド命令を選択する,新たなソリューションを提案する。
実験的に提案手法は,LLM や LLM をベースとしたデータ拡張手法と比較して,品質が向上した拡張データを一貫して生成する。
論文 参考訳(メタデータ) (2024-04-26T18:04:25Z) - Enhancing Data Quality in Federated Fine-Tuning of Foundation Models [54.757324343062734]
本稿では,基礎モデルのファインチューニングのためのデータ品質制御パイプラインを提案する。
このパイプラインは、トレーニングデータの質を反映したスコアを計算し、統一された標準のグローバルしきい値を決定する。
実験の結果,提案した品質制御パイプラインはモデルトレーニングの有効性と信頼性を向上し,性能が向上することが示された。
論文 参考訳(メタデータ) (2024-03-07T14:28:04Z) - LESS: Selecting Influential Data for Targeted Instruction Tuning [69.50855460630105]
本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。
LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。
我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
論文 参考訳(メタデータ) (2024-02-06T19:18:04Z) - One Shot Learning as Instruction Data Prospector for Large Language
Models [111.0897473747819]
Nuggetsは、ワンショット学習を用いて、拡張データセットから高品質な命令データを選択する手法である。
提案手法は,Nuggets が生成した例の上位1%による命令チューニングが,全データセットを使用する従来の手法よりも大幅に優れていたことを実証する。
論文 参考訳(メタデータ) (2023-12-16T03:33:12Z) - Rethinking the Instruction Quality: LIFT is What You Need [20.829372251475476]
既存の品質改善手法は、データセットの拡張やキュレーションを通じて命令データを変更する。
本稿では,命令品質を新たな高さに高めるために設計された新しい多目的パラダイムであるLIFT(LLM Instruction Fusion Transfer)を提案する。
実験結果から, LLMは, パラダイムによって選択された高品質な命令データが少ない場合でも, 各種タスクにおける頑健な性能を一貫して維持することを示した。
論文 参考訳(メタデータ) (2023-12-12T03:30:21Z) - Genixer: Empowering Multimodal Large Language Models as a Powerful Data Generator [63.762209407570715]
我々は、高品質なチューニングチューニングデータを生成する革新的なデータ生成パイプラインGenixerを開発した。
生成したデータの有効性を検証するために,人間の評価とユーザの嗜好調査を行った。
代表的なMLLMであるLLaVA1.5とShikraのトレーニングのために,2つの命令チューニングデータセットを生成した。
論文 参考訳(メタデータ) (2023-12-11T09:44:41Z) - Self-Evolved Diverse Data Sampling for Efficient Instruction Tuning [47.02160072880698]
モデル自体が等しくあるいはそれ以上に効果的であるサブセットを積極的にサンプリングできる自己進化メカニズムを導入します。
データサンプリング技術の鍵は、選択したサブセットの多様性の向上にあります。
3つのデータセットとベンチマークにわたる大規模な実験は、DiverseEvolの有効性を示している。
論文 参考訳(メタデータ) (2023-11-14T14:10:40Z) - D2 Pruning: Message Passing for Balancing Diversity and Difficulty in
Data Pruning [70.98091101459421]
コアセット選択は、トレーニングデータのサブセットを選択して、このサブセット(コアセットとも呼ばれる)でトレーニングされたモデルのパフォーマンスを最大化する。
コアセット選択のために,このデータセットグラフ上で前後のメッセージパッシングを利用する新しいプルーニングアルゴリズムD2プルーニングを提案する。
その結果、D2プルーニングは従来の最先端手法よりもコアセット選択を向上し、最大70%のプルーニングレートが得られた。
論文 参考訳(メタデータ) (2023-10-11T23:01:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。