論文の概要: MoDS: Model-oriented Data Selection for Instruction Tuning
- arxiv url: http://arxiv.org/abs/2311.15653v1
- Date: Mon, 27 Nov 2023 09:33:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 16:27:22.370000
- Title: MoDS: Model-oriented Data Selection for Instruction Tuning
- Title（参考訳）: MoDS: インストラクションチューニングのためのモデル指向データ選択
- Authors: Qianlong Du, Chengqing Zong and Jiajun Zhang
- Abstract要約: 本稿では,モデル指向データ選択 (MoDS) 手法を提案する。
実験結果から,提案手法で選択した4000組の命令ペアを微調整したモデルの方が,完全なオリジナルデータセットで微調整したモデルよりも優れた性能を示した。
- 参考スコア（独自算出の注目度）: 35.60124047070829
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Instruction tuning has become the de facto method to equip large language
models (LLMs) with the ability of following user instructions. Usually,
hundreds of thousands or millions of instruction-following pairs are employed
to fine-tune the foundation LLMs. Recently, some studies show that a small
number of high-quality instruction data is enough. However, how to select
appropriate instruction data for a given LLM is still an open problem. To
address this problem, in this paper we present a model-oriented data selection
(MoDS) approach, which selects instruction data based on a new criteria
considering three aspects: quality, coverage and necessity. First, our approach
utilizes a quality evaluation model to filter out the high-quality subset from
the original instruction dataset, and then designs an algorithm to further
select from the high-quality subset a seed instruction dataset with good
coverage. The seed dataset is applied to fine-tune the foundation LLM to obtain
an initial instruction-following LLM. Finally, we develop a necessity
evaluation model to find out the instruction data which are performed badly in
the initial instruction-following LLM and consider them necessary instructions
to further improve the LLMs. In this way, we can get a small high-quality,
broad-coverage and high-necessity subset from the original instruction
datasets. Experimental results show that, the model fine-tuned with 4,000
instruction pairs selected by our approach could perform better than the model
fine-tuned with the full original dataset which includes 214k instruction data.
- Abstract（参考訳）: インストラクションチューニングは,大規模言語モデル(LLM)にユーザ命令に従う能力を持たせるためのデファクト手法となっている。
通常、基礎LPMを微調整するために、数十万から数百万の命令追従ペアが使用される。
近年、少数の高品質な命令データが十分であることを示す研究もある。
しかし、与えられた LLM に対して適切な命令データを選択する方法はまだ未解決の問題である。
そこで本研究では,モデル指向データ選択(MoDS)アプローチについて,品質,カバレッジ,必要性の3つの側面を考慮し,新たな基準に基づいて命令データを選択する手法を提案する。
提案手法では,まず,品質評価モデルを用いて,元の命令データセットから高品質なサブセットを抽出し,高いカバレッジを持つシード命令データセットから高品質なサブセットを更に選択するアルゴリズムを設計する。
シードデータセットを適用して基礎LLMを微調整し、初期命令追従LLMを得る。
最後に,初期命令追従LLMにおいて不適切な実行を行う命令データを見つけるために必要な評価モデルを開発し,LLMをさらに改善するための必要な命令を検討する。
このようにして、元の命令データセットから、小さな高品質で広いカバレッジと高必要のサブセットを得ることができます。
実験結果から,本手法で選択した4,000個の命令ペアを微調整したモデルは,214k命令データを含む完全なオリジナルデータセットで微調整されたモデルよりも優れた性能を示すことができた。
関連論文リスト
- Align$^2$LLaVA: Cascaded Human and Large Language Model Preference Alignment for Multi-modal Instruction Curation [56.75665429851673]
本稿では,人間とLLMの選好アライメントという2つのユニークな視点から導いた,新しい命令キュレーションアルゴリズムを提案する。
実験により,合成マルチモーダル命令を最大90%圧縮することにより,モデル性能の維持や改善が可能であることが示された。
論文 参考訳（メタデータ） (2024-09-27T08:20:59Z) - SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳（メタデータ） (2024-07-16T04:41:58Z) - CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。
まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。
また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
論文 参考訳（メタデータ） (2024-04-08T21:15:36Z) - A Survey on Data Selection for LLM Instruction Tuning [18.94987580516951]
本稿では,データ選択手法の新たな分類法を提案し,最近の進歩を詳細に紹介する。
我々はオープンな課題を強調し、このタスクの新たなフロンティアを提示する。
論文 参考訳（メタデータ） (2024-02-04T13:32:01Z) - CoachLM: Automatic Instruction Revisions Improve the Data Quality in LLM Instruction Tuning [32.54921739100195]
提案するCoachLMは,データセット内のサンプルを自動的に修正することで,命令データセットの品質を高める新しい手法である。
CoachLMは、人間の専門家によって改訂されたサンプルから訓練され、データセットの高品質なサンプルの割合が17.7%から78.9%に大幅に増加した。
結果から,CoachLMは命令調整LDMの指示追従能力を平均29.9%改善することがわかった。
論文 参考訳（メタデータ） (2023-11-22T09:04:57Z) - Tuna: Instruction Tuning using Feedback from Large Language Models [74.04950416204551]
本稿では,新しいテキスト確率的ランキングとテキストコンテクスチュアルランキングを用いた命令調整型大規模言語モデルの微調整を提案する。
確率的ランク付けにより、教師のLCMから高品質で低品質なレスポンスの相対的なランク付けを継承することができる。
一方、文脈的ランキングを学習することで、より強いLLMの文脈的理解能力を用いて、モデルが独自の応答分布を洗練できる。
論文 参考訳（メタデータ） (2023-10-20T09:55:06Z) - MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。
各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。
ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。
品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
論文 参考訳（メタデータ） (2023-08-25T01:41:04Z) - ReLLa: Retrieval-enhanced Large Language Models for Lifelong Sequential Behavior Comprehension in Recommendation [43.270424225285105]
ゼロショットと少数ショットのレコメンデーションタスクのために、純粋に大きな言語モデルを適応し、強化することに重点を置いています。
ゼロショット設定と少数ショット設定の両方でレコメンデーションタスクを行うRetrieval-enhanced Large Language Model (ReLLa)を提案する。
論文 参考訳（メタデータ） (2023-08-22T02:25:04Z) - Instruction Mining: Instruction Data Selection for Tuning Large Language Models [18.378654454336136]
InstructMiningは、大規模な言語モデルを微調整するためのプレミアムインストラクションフォローデータを自動的に選択するように設計されている。
InstructMining は LLM-as-a-judge と Huggingface OpenLLM の2つのベンチマークで最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2023-07-12T16:37:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。