論文の概要: LESS: Selecting Influential Data for Targeted Instruction Tuning

• arxiv url: http://arxiv.org/abs/2402.04333v2
• Date: Tue, 20 Feb 2024 02:24:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 19:24:32.124296
• Title: LESS: Selecting Influential Data for Targeted Instruction Tuning
• Title（参考訳）: LESS: ターゲットのインストラクションチューニングのためのインフルエンシャルデータの選択
• Authors: Mengzhou Xia, Sadhika Malladi, Suchin Gururangan, Sanjeev Arora, Danqi Chen
• Abstract要約: 本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
• 参考スコア（独自算出の注目度）: 69.50855460630105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction tuning has unlocked powerful capabilities in large language models (LLMs), effectively using combined datasets to develop generalpurpose chatbots. However, real-world applications often require a specialized suite of skills (e.g., reasoning). The challenge lies in identifying the most relevant data from these extensive datasets to effectively develop specific capabilities, a setting we frame as targeted instruction tuning. We propose LESS, an optimizer-aware and practically efficient algorithm to effectively estimate data influences and perform Low-rank gradiEnt Similarity Search for instruction data selection. Crucially, LESS adapts existing influence formulations to work with the Adam optimizer and variable-length instruction data. LESS first constructs a highly reusable and transferable gradient datastore with low-dimensional gradient features and then selects examples based on their similarity to few-shot examples embodying a specific capability. Experiments show that training on a LESS-selected 5% of the data can often outperform training on the full dataset across diverse downstream tasks. Furthermore, the selected data is highly transferable: smaller models can be leveraged to select useful data for larger models and models from different families. Our qualitative analysis shows that our method goes beyond surface form cues to identify data that exemplifies the necessary reasoning skills for the intended downstream application.
• Abstract（参考訳）: 命令チューニングは大規模言語モデル(llm)の強力な機能を解き放ち、汎用チャットボットを開発するために組み合わせデータセットを効果的に利用する。 しかし、現実世界のアプリケーションは、しばしば特別なスキル(推論など)を必要とする。 課題は、これらの広範囲なデータセットから最も関連性の高いデータを特定して、特定の能力を効果的に開発することである。 LESSは,データの影響を効果的に推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムである。 重要なことに、LESSはAdamオプティマイザと可変長命令データを扱うために既存の影響定式化を適用する。 LESSはまず、低次元の勾配特徴を持つ再利用性が高く、転送可能な勾配データストアを構築し、その後、特定の機能を具現化した少数ショットの例と類似性に基づいてサンプルを選択する。 実験の結果、LESSが選択したデータの5%のトレーニングは、さまざまな下流タスクにわたる完全なデータセットでのトレーニングよりも優れていることが示されている。 さらに、選択されたデータは非常に転送性が高く、小さなモデルは、異なるファミリーのより大きなモデルやモデルのために有用なデータを選択するために利用することができる。 定性的分析により,本手法は,下流アプリケーションに必要な推論スキルを示すデータを特定するために,表面形状の手がかりを超えていることがわかった。

関連論文リスト

• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Optimizing LLMs with Direct Preferences: A Data Efficiency Perspective [4.548047308860141]
  本研究では,異なる種類の嗜好データがモデル性能に与える影響について検討する。 収集に費用がかかる大量の好みデータへの依存を減らすことを目的としている。
  論文  参考訳（メタデータ） (2024-10-22T00:11:41Z)
• A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
  実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。 データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。 より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T03:00:58Z)
• TAGCOS: Task-agnostic Gradient Clustered Coreset Selection for Instruction Tuning Data [29.45013725650798]
  完全なデータセットに匹敵するパフォーマンスを達成する命令データセットのサブセットを抽出することが不可欠である。 タスク非依存のグラディエントクラスタ化コレセット選択(TAGCOS)を提案する。 具体的には、サンプル勾配をデータ表現として利用し、類似したデータをグループ化するためにクラスタリングを行い、コアセット選択に効率的なグリーディアルゴリズムを適用する。
  論文  参考訳（メタデータ） (2024-07-21T17:59:20Z)
• LLM-Select: Feature Selection with Large Language Models [64.5099482021597]
  大規模言語モデル(LLM)は、データサイエンスの標準ツールに匹敵するパフォーマンスで、最も予測可能な機能を選択することができる。 以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-02T22:23:40Z)
• Exploring the Mystery of Influential Data for Mathematical Reasoning [127.61978092016228]
  数学的推論のためのQaDS(Quality-Aware Diverse Selection)戦略を提案する。 他の選択戦略との比較は、QaDSの優位性を検証する。 OpenMathMixでは、7Bベースモデルを用いたMATHで最先端の48.8%の精度を実現している。
  論文  参考訳（メタデータ） (2024-04-01T12:01:06Z)
• DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
  標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。 質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。 我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
  論文  参考訳（メタデータ） (2024-01-23T17:22:00Z)
• Self-Evolved Diverse Data Sampling for Efficient Instruction Tuning [47.02160072880698]
  モデル自体が等しくあるいはそれ以上に効果的であるサブセットを積極的にサンプリングできる自己進化メカニズムを導入します。 データサンプリング技術の鍵は、選択したサブセットの多様性の向上にあります。 3つのデータセットとベンチマークにわたる大規模な実験は、DiverseEvolの有効性を示している。
  論文  参考訳（メタデータ） (2023-11-14T14:10:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。