論文の概要: Importance-Aware Data Selection for Efficient LLM Instruction Tuning

• arxiv url: http://arxiv.org/abs/2511.07074v1
• Date: Mon, 10 Nov 2025 13:06:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:45.260296
• Title: Importance-Aware Data Selection for Efficient LLM Instruction Tuning
• Title（参考訳）: LLM指導の効率化のための重要度を考慮したデータ選択
• Authors: Tingyu Jiang, Shen Li, Yiyao Song, Lan Zhang, Hualei Zhu, Yuan Zhao, Xiaohang Xu, Kenjiro Taura, Hao Henry Wang,
• Abstract要約: 本稿では,モデルの能力向上における命令データの重要性を定量化するための新しい指標として,MIWV(Model Instruction Weakness Value)を提案する。 実験の結果,MIWVに基づくデータのトップ1%のみを選択すると,全データセットでのトレーニングよりも優れることがわかった。
• 参考スコア（独自算出の注目度）: 12.894727887191621
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction tuning plays a critical role in enhancing the performance and efficiency of Large Language Models (LLMs). Its success depends not only on the quality of the instruction data but also on the inherent capabilities of the LLM itself. Some studies suggest that even a small amount of high-quality data can achieve instruction fine-tuning results that are on par with, or even exceed, those from using a full-scale dataset. However, rather than focusing solely on calculating data quality scores to evaluate instruction data, there is a growing need to select high-quality data that maximally enhances the performance of instruction tuning for a given LLM. In this paper, we propose the Model Instruction Weakness Value (MIWV) as a novel metric to quantify the importance of instruction data in enhancing model's capabilities. The MIWV metric is derived from the discrepancies in the model's responses when using In-Context Learning (ICL), helping identify the most beneficial data for enhancing instruction tuning performance. Our experimental results demonstrate that selecting only the top 1\% of data based on MIWV can outperform training on the full dataset. Furthermore, this approach extends beyond existing research that focuses on data quality scoring for data selection, offering strong empirical evidence supporting the effectiveness of our proposed method.
• Abstract（参考訳）: インストラクションチューニングは、大規模言語モデル(LLM)の性能と効率を高める上で重要な役割を果たす。 その成功は、命令データの品質だけでなく、LLM自体の固有の能力にも依存する。 一部の研究では、少量の高品質なデータでさえ、フルスケールのデータセットを使用することで、命令の微調整結果に匹敵する、あるいは超える結果が得られることを示唆している。 しかし、命令データを評価するためにデータ品質スコアの計算にのみ焦点をあてるのではなく、与えられたLLMの命令チューニング性能を最大限に向上させる高品質なデータを選択する必要がある。 本稿では,モデルの能力向上における命令データの重要性を定量化するための新しい指標として,MIWV(Model Instruction Weakness Value)を提案する。 MIWVメトリックは、インコンテキスト学習(ICL)を使用する際のモデルの応答の相違から派生し、命令チューニング性能を向上させる上で最も有益なデータを特定するのに役立つ。 実験の結果,MIWVに基づくデータのトップ1\%のみを選択すると,全データセットでのトレーニングよりも優れることがわかった。 さらに、本手法は、データ選択のためのデータ品質スコアリングに焦点を当てた既存の研究を超えて、提案手法の有効性を裏付ける強力な実証的証拠を提供する。

関連論文リスト

• Augmented Relevance Datasets with Fine-Tuned Small LLMs [0.7022492404644501]
  本稿では,小型かつ微調整された大規模言語モデル (LLM) を用いた妥当性評価の自動化について検討する。 そこで我々は,小規模LLMを微調整し,関連性評価を強化し,下流ランキングモデルトレーニングのためのデータセット作成品質を向上させる。
  論文  参考訳（メタデータ） (2025-04-14T02:35:00Z)
• One-Shot Learning as Instruction Data Prospector for Large Language Models [108.81681547472138]
  textscNuggetsはワンショット学習を使用して、広範なデータセットから高品質な命令データを選択する。 我々は,textscNuggets がキュレートした例の上位1%による命令チューニングが,データセット全体を用いた従来の手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-16T03:33:12Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。