論文の概要: The Best Instruction-Tuning Data are Those That Fit

• arxiv url: http://arxiv.org/abs/2502.04194v1
• Date: Thu, 06 Feb 2025 16:31:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:34:34.080863
• Title: The Best Instruction-Tuning Data are Those That Fit
• Title（参考訳）: 最高のインストラクション・チューニング・データはフィットするもの
• Authors: Dylan Zhang, Qirun Dai, Hao Peng,
• Abstract要約: 事前訓練された大言語モデル(LLM)から強機能を引き出すためには,SFT(Supervised Fine-tuning)データが必要である。 GRAPE*は,対象モデルの特異な特徴を考慮に入れた,新しいSFTフレームワークである。 各命令に対して、様々なLSMからの応答を収集し、ターゲットモデルによって測定された最も高い確率の命令を選択する。
• 参考スコア（独自算出の注目度）: 17.401088816596054
• License:
• Abstract: High-quality supervised fine-tuning (SFT) data are crucial for eliciting strong capabilities from pretrained large language models (LLMs). Typically, instructions are paired with multiple responses sampled from other LLMs, which are often out of the distribution of the target model to be fine-tuned. This, at scale, can lead to diminishing returns and even hurt the models' performance and robustness. We propose **GRAPE**, a novel SFT framework that accounts for the unique characteristics of the target model. For each instruction, it gathers responses from various LLMs and selects the one with the highest probability measured by the target model, indicating that it aligns most closely with the target model's pretrained distribution; it then proceeds with standard SFT training. We first evaluate GRAPE with a controlled experiment, where we sample various solutions for each question in UltraInteract from multiple models and fine-tune commonly used LMs like LLaMA3.1-8B, Mistral-7B, and Qwen2.5-7B on GRAPE-selected data. GRAPE significantly outperforms strong baselines, including distilling from the strongest model with an absolute gain of up to 13.8%, averaged across benchmarks, and training on 3x more data with a maximum performance improvement of 17.3%. GRAPE's strong performance generalizes to realistic settings. We experiment with the post-training data used for Tulu3 and Olmo-2. GRAPE outperforms strong baselines trained on 4.5 times more data by 6.1% and a state-of-the-art data selection approach by 3% on average performance. Remarkably, using 1/3 of the data and half the number of epochs, GRAPE enables LLaMA3.1-8B to surpass the performance of Tulu3-SFT by 3.5%.
• Abstract（参考訳）: 高品質な教師付き微調整(SFT)データは、事前訓練された大規模言語モデル(LLM)から強力な能力を引き出すために不可欠である。 通常、命令は他のLCMからサンプリングされた複数の応答とペアリングされ、ターゲットモデルの分布から外れて微調整されることが多い。 これは、大規模な場合、リターンが減少し、モデルのパフォーマンスと堅牢性が損なわれる可能性がある。 GRAPE*は,対象モデルの特異な特徴を考慮に入れた,新しいSFTフレームワークである。 各命令に対して、様々なLSMからの応答を収集し、ターゲットモデルによって測定された最も高い確率で選択し、ターゲットモデルの事前訓練された分布と最も密に一致していることを示す。 制御実験によりまずGRAPEを評価し,複数のモデルとLLaMA3.1-8B,Mistral-7B,Qwen2.5-7Bなどの精細形状のLMからUltraInteractの各質問に対する様々な解をGRAPE選択データ上でサンプリングした。 GRAPEは、最大13.8%の絶対的なゲインを持つ最強モデルからの蒸留、ベンチマークの平均的なベンチマーク、最大17.3%のパフォーマンス向上を伴う3倍のデータでのトレーニングなど、強力なベースラインを著しく上回っている。 GRAPEの強い性能は現実的な設定に一般化する。 本研究では,Tulu3とOlmo-2のトレーニング後データを用いて実験を行った。 GRAPEは、4.5倍のデータでトレーニングされた強いベースラインを6.1%上回り、平均的なパフォーマンスで最先端のデータ選択アプローチを3%上回る。 注目すべきは、データの1/3とエポック数の半分を使って、GRAPEはLLaMA3.1-8BがTulu3-SFTの性能を3.5%上回ることを可能にすることである。

関連論文リスト

• Selective Self-to-Supervised Fine-Tuning for Generalization in Large Language Models [24.659722730219134]
  本稿では,S3FT(Selective Self-to-Supervised Fine-Tuning)を紹介する。 S3FTは、一般化を改善しつつ、標準教師付き微調整(SFT)よりも優れた性能を実現する。 S3FTの有効性は、数学的推論、Pythonプログラミング、読解タスクの実験を通じて実証される。
  論文  参考訳（メタデータ） (2025-02-12T05:24:21Z)
• Preference Curriculum: LLMs Should Always Be Pretrained on Their Preferred Data [19.221998577357713]
  大規模言語モデル(LLM)は一般に事前学習プロセスを通して一貫したデータ分布を利用する。 モデルの性能が向上するにつれて、データ嗜好が動的に変化するのは直感的であり、様々なトレーニング段階で異なるデータで事前トレーニングする必要があることを示している。 我々は、常にLLMが好むデータを認識し、活用し、それらをトレーニングし、強化するパープレキシティ・ディファレンス(PD)ベースのPreference Curriculum Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-21T13:12:13Z)
• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• Training on the Benchmark Is Not All You Need [52.01920740114261]
  本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。 本手法は,モデルトレーニングデータや重みを使用せずに,ブラックボックス条件下で動作することができる。 我々は,4つのベンチマークデータセットを用いて,31個の主要なオープンソースLCMのデータ漏洩の程度を評価する。
  論文  参考訳（メタデータ） (2024-09-03T11:09:44Z)
• Evaluating the Performance of Large Language Models for SDG Mapping (Technical Report) [6.789534723913505]
  大規模言語モデル(LLM)は、サードパーティにデータを提供する必要をなくすことで、データのプライバシ保護を可能にする。 持続可能な開発目標マッピングタスクにおいて,様々な言語モデルの性能を比較した。 この研究の結果によると、LLaMA 2とGemmaは依然として改善の余地がある。
  論文  参考訳（メタデータ） (2024-08-05T03:05:02Z)
• DEM: Distribution Edited Model for Training with Mixed Data Distributions [15.064693005258324]
  本稿では,各データソース上で個別に訓練されたモデルと基本モデルとを,基本要素のベクトル演算を用いて組み合わせることで,データソースの最適化を容易かつ効率的に行う方法を提案する。 結果として得られたモデル、すなわちDistributed Edited Model (DEM)は、標準データミキシングよりも11倍安く、様々なベンチマークで強いベースラインを上回ります。 単一のデータソースを変更する場合、DEMは完全な再トレーニングを必要としないため、さまざまなデータソースでトレーニングするために非常に柔軟でスケーラブルである。
  論文  参考訳（メタデータ） (2024-06-21T18:07:46Z)
• How to Train Data-Efficient LLMs [56.41105687693619]
  事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。 Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。 何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-02-15T02:27:57Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• Scaling Relationship on Learning Mathematical Reasoning with Large Language Models [75.29595679428105]
  本研究では,事前学習損失,教師付きデータ量,拡張データ量が教師付きLDMの推論性能に与える影響について検討する。 複数のモデルからの拒絶サンプルは、LLaMA-7BをGSM8Kの49.3%の精度に押し上げ、監督された微調整(SFT)の精度を35.9%上回る結果となった。
  論文  参考訳（メタデータ） (2023-08-03T15:34:01Z)
• Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes [91.58845026796149]
  大規模言語モデルを上回る小さなモデルを訓練する新しいメカニズムであるDistilling Step-by-stepを導入する。 4つのNLPベンチマークで3つの結果を得た。
  論文  参考訳（メタデータ） (2023-05-03T17:50:56Z)
• Complementary Ensemble Learning [1.90365714903665]
  我々は最先端のディープラーニングモデルの性能向上手法を考案した。 具体的には、最先端モデルの不確実性を補完できる補助モデルを訓練する。
  論文  参考訳（メタデータ） (2021-11-09T03:23:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。