論文の概要: Data Diversity Matters for Robust Instruction Tuning

• arxiv url: http://arxiv.org/abs/2311.14736v1
• Date: Tue, 21 Nov 2023 19:12:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-03 13:44:07.019676
• Title: Data Diversity Matters for Robust Instruction Tuning
• Title（参考訳）: ロバストなインストラクションチューニングのためのデータ多様性
• Authors: Alexander Bukharin and Tuo Zhao
• Abstract要約: QDIT(Quality-Diversity Instruction Tuning)は、データセットの多様性と品質を制御するアルゴリズムである。 我々は,多様性と品質が指導調律性能に及ぼす影響について深く研究する。 品質駆動のベースラインに比べて平均的なパフォーマンスを維持したり改善したりしながら、最悪のケースパフォーマンスを18%向上させることができる。
• 参考スコア（独自算出の注目度）: 93.87078483250782
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Instruction tuning has emerged as a key step in aligning large language models. One of the central challenges of instruction tuning is dataset selection, as the composition of the instruction tuning dataset can significantly impact downstream performance. In particular, researchers have hypothesized that dataset diversity and dataset quality are important indicators of downstream performance. However, it is not clear how to automatically select high quality and diverse data or how exactly quality and diversity affect instruction following ability. To resolve these issues, we propose a new algorithm, Quality-Diversity Instruction Tuning (QDIT). QDIT provides a principled algorithm to control dataset diversity and quality, allowing us to conduct an in depth study on the effect of diversity and quality on instruction tuning performance. From this study we draw two key insights (1) there is a natural tradeoff between dataset diversity and quality and (2) increasing dataset diversity significantly improves the worst case instruction following performance, therefore improving robustness. We validate the performance of QDIT on several large scale instruction tuning datasets, where we find it can improve worst case performance by 18% while maintaining or improving average performance compared to quality driven baselines.
• Abstract（参考訳）: インストラクションチューニングは、大きな言語モデルを調整するための重要なステップとして現れている。 命令チューニングの中心的な課題の1つはデータセットの選択であり、命令チューニングデータセットの構成は下流のパフォーマンスに大きな影響を与える可能性がある。 特に研究者は、データセットの多様性とデータセットの品質が下流のパフォーマンスの重要な指標であると仮定している。 しかし、高品質で多様なデータを自動的に選択する方法や、正確な品質と多様性がインストラクション追従能力にどのように影響するかは明らかではない。 これらの問題を解決するため、我々はQDIT(Quality-Diversity Instruction Tuning)という新しいアルゴリズムを提案する。 qditは、データセットの多様性と品質を制御するための原則化されたアルゴリズムを提供し、多様性と品質が命令のチューニング性能に与える影響を深く研究できます。 本研究では,(1)データセットの多様性と品質の間に自然なトレードオフが存在すること,(2)データセットの多様性を増大させることで,パフォーマンスが悪化し,堅牢性が向上することを示す。 そこで,品質駆動ベースラインに比べて平均性能を維持したり向上させたりしながら,最悪ケース性能を18%向上させることができることを示す。

関連論文リスト

• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• $\textbf{Only-IF}$:Revealing the Decisive Effect of Instruction Diversity on Generalization [1.6958018695660049]
  トレーニングデータがセマンティックドメインで十分に分散されている場合、textbfonlyが$であることを示す。 例えば$textit$textbfspecialist$$と$textit$textbf generalist$$$モデルの微調整などです。
  論文  参考訳（メタデータ） (2024-10-07T03:15:11Z)
• What are the Essential Factors in Crafting Effective Long Context Multi-Hop Instruction Datasets? Insights and Best Practices [91.71951459594074]
  拡張コンテキストウィンドウを持つLong Language Model (LLM) は、情報抽出、質問応答、複雑な計画シナリオなどのタスクを大幅に改善した。 既存のメソッドは通常、Self-Instructフレームワークを使用して、長いコンテキスト能力を改善するために命令チューニングデータを生成する。 本稿では,品質検証エージェント,シングルホップ質問生成エージェント,複数質問サンプリング戦略,マルチホップ質問マーガーエージェントを組み込んだマルチエージェント対話型マルチホップ生成フレームワークを提案する。 以上の結果から,我々の合成高品位長文指導データにより,多量の人体で訓練したモデルよりも,モデル性能が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2024-09-03T13:30:00Z)
• G-DIG: Towards Gradient-based Diverse and High-quality Instruction Data Selection for Machine Translation [21.506844286376275]
  本稿では,機械翻訳のための高品質かつ多様な命令微調整データを自動的に選択する,勾配に基づく新しい手法を提案する。 私たちの重要なイノベーションは、個々のトレーニング例がトレーニング中にモデルにどのように影響するかを分析することです。
  論文  参考訳（メタデータ） (2024-05-21T16:38:13Z)
• Empowering Large Language Models for Textual Data Augmentation [23.483960932358396]
  大きな言語モデル(LLM)は、テキストデータ拡張のための強力なツールとして機能する可能性がある。 本研究は,大規模拡張命令を自動生成し,最適なタスクインフォームド命令を選択する,新たなソリューションを提案する。 実験的に提案手法は,LLM や LLM をベースとしたデータ拡張手法と比較して,品質が向上した拡張データを一貫して生成する。
  論文  参考訳（メタデータ） (2024-04-26T18:04:25Z)
• Less is More: High-value Data Selection for Visual Instruction Tuning [127.38740043393527]
  本稿では,視覚的命令データの冗長性を排除し,トレーニングコストを削減するために,高価値なデータ選択手法TIVEを提案する。 約15%のデータしか使用していない我々のアプローチは、8つのベンチマークで全データ微調整モデルに匹敵する平均性能を実現することができる。
  論文  参考訳（メタデータ） (2024-03-14T16:47:25Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• One-Shot Learning as Instruction Data Prospector for Large Language Models [108.81681547472138]
  textscNuggetsはワンショット学習を使用して、広範なデータセットから高品質な命令データを選択する。 我々は,textscNuggets がキュレートした例の上位1%による命令チューニングが,データセット全体を用いた従来の手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-16T03:33:12Z)
• Rethinking the Instruction Quality: LIFT is What You Need [20.829372251475476]
  既存の品質改善手法は、データセットの拡張やキュレーションを通じて命令データを変更する。 本稿では,命令品質を新たな高さに高めるために設計された新しい多目的パラダイムであるLIFT(LLM Instruction Fusion Transfer)を提案する。 実験結果から, LLMは, パラダイムによって選択された高品質な命令データが少ない場合でも, 各種タスクにおける頑健な性能を一貫して維持することを示した。
  論文  参考訳（メタデータ） (2023-12-12T03:30:21Z)
• Self-Evolved Diverse Data Sampling for Efficient Instruction Tuning [47.02160072880698]
  モデル自体が等しくあるいはそれ以上に効果的であるサブセットを積極的にサンプリングできる自己進化メカニズムを導入します。 データサンプリング技術の鍵は、選択したサブセットの多様性の向上にあります。 3つのデータセットとベンチマークにわたる大規模な実験は、DiverseEvolの有効性を示している。
  論文  参考訳（メタデータ） (2023-11-14T14:10:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。