論文の概要: IterSelectTune: An Iterative Training Framework for Efficient Instruction-Tuning Data Selection

• arxiv url: http://arxiv.org/abs/2410.13464v1
• Date: Thu, 17 Oct 2024 11:48:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:20:06.681551
• Title: IterSelectTune: An Iterative Training Framework for Efficient Instruction-Tuning Data Selection
• Title（参考訳）: IterSelectTune: 効果的なインストラクションチューニングデータ選択のための反復的トレーニングフレームワーク
• Authors: Jielin Song, Siyu Liu, Bin Zhu, Yanghui Rao,
• Abstract要約: 高品質な命令データを選択するための効率的で費用対効果の高い反復的トレーニングポリシーである$textbfIterSelectTune$を紹介した。 ソースデータの約20%を微調整することで、本手法は、全データセット上で調整されたモデルよりも一貫して優れる。
• 参考スコア（独自算出の注目度）: 28.581257601441045
• License:
• Abstract: As large language models (LLMs) continue to advance, instruction tuning has become critical for improving their ability to generate accurate and contextually appropriate responses. Although numerous instruction-tuning datasets have been developed to enhance LLM performance, selecting high-quality instruction data from large source datasets typically demands significant human effort. In this work, we introduce $\textbf{IterSelectTune}$, an efficient, cost-effective iterative training policy for selecting high-quality instruction data with no human involvement and limited reliance on GPT-4. By fine-tuning on approximately 20\% of the source data, our method consistently outperforms models fine-tuned on the full dataset across multiple benchmarks and public test datasets. These results highlight the effectiveness of our approach in enhancing LLM performance while reducing the computational resources required for instruction tuning.
• Abstract（参考訳）: 大規模言語モデル(LLM)が進歩を続けるにつれ、命令チューニングは、正確で文脈的に適切な応答を生成する能力を向上させるために重要になっている。 LLMの性能を向上させるために、多くの命令チューニングデータセットが開発されているが、大規模なデータセットから高品質な命令データを選択するには、通常、かなりの努力が必要である。 In this work, we introduced $\textbf{IterSelectTune}$, a efficient, cost- effective repeaterative training policy for selecting high-quality instruction data without without no person involved and limited rely on GPT-4。 ソースデータの約20%を微調整することで、複数のベンチマークや公開テストデータセットにまたがる全データセットのモデルに微調整されたモデルよりも、一貫して優れています。 これらの結果は、命令チューニングに必要な計算資源を削減しつつ、LLM性能を向上させるためのアプローチの有効性を強調した。

関連論文リスト

• A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
  実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。 データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。 より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T03:00:58Z)
• Optimizing Instruction Synthesis: Effective Exploration of Evolutionary Space with Tree Search [25.108044778194536]
  命令を効率的に合成するスケーラブルなフレームワークであるIDEA-MCTS (Instruction Data Enhancement using Monte Carlo Tree Search)を紹介した。 木探索と評価モデルにより、各命令を効率よくガイドして高品質な形式に進化させ、命令の微調整を支援することができる。 実験の結果、IDEA-MCTSはシードインストラクションデータを大幅に向上させ、品質、多様性、複雑さの平均評価スコアを2.19から3.81に引き上げた。
  論文  参考訳（メタデータ） (2024-10-14T11:28:30Z)
• SCAR: Efficient Instruction-Tuning for Large Language Models via Style Consistency-Aware Response Ranking [56.93151679231602]
  本研究は、応答における2つの重要なスタイル的要素、すなわち言語形式と意味的前提を同定する。 これに触発されて、スタイル一貫性対応対応ランキング(SCAR)を導入する。 SCARは、そのレスポンススタイリスティックな一貫性に基づいて、トレーニングセット内の命令-レスポンスペアを優先順位付けする。
  論文  参考訳（メタデータ） (2024-06-16T10:10:37Z)
• Less is More: High-value Data Selection for Visual Instruction Tuning [127.38740043393527]
  本稿では,視覚的命令データの冗長性を排除し,トレーニングコストを削減するために,高価値なデータ選択手法TIVEを提案する。 約15%のデータしか使用していない我々のアプローチは、8つのベンチマークで全データ微調整モデルに匹敵する平均性能を実現することができる。
  論文  参考訳（メタデータ） (2024-03-14T16:47:25Z)
• Selective Reflection-Tuning: Student-Selected Data Recycling for LLM Instruction-Tuning [39.73918872205541]
  最近の多くの手法はデータ品質の改善に重点を置いているが、学生モデルとの互換性を見落としていることが多い。 本稿では,教師のLLMのリフレクションとイントロスペクションを相乗化して既存のデータ品質を改善する新パラダイムであるSelective Reflection-Tuningを紹介する。 この教師と学生の協調作業により、高品質で生徒互換の授業応答ペアが作成され、結果としてサンプル効率のよい指導チューニングがもたらされる。
  論文  参考訳（メタデータ） (2024-02-15T17:06:21Z)
• How to Train Data-Efficient LLMs [56.41105687693619]
  事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。 Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。 何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-02-15T02:27:57Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• Instruction Mining: Instruction Data Selection for Tuning Large Language Models [18.378654454336136]
  InstructMiningは、大規模な言語モデルを微調整するためのプレミアムインストラクションフォローデータを自動的に選択するように設計されている。 InstructMining は LLM-as-a-judge と Huggingface OpenLLM の2つのベンチマークで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-07-12T16:37:31Z)
• Maybe Only 0.5% Data is Needed: A Preliminary Exploration of Low Training Data Instruction Tuning [13.558918552284906]
  本稿では,大規模言語モデル(LLM)の指導訓練に使用するデータを削減することに着目し,トレーニングコストの低減とデータ効率の向上を図る。 その結果、タスク固有のモデルは、オリジナルのデータセットの0.5%未満でトレーニングでき、完全なタスク関連のデータでトレーニングされたモデルよりも2%パフォーマンスが向上したことが示唆された。
  論文  参考訳（メタデータ） (2023-05-16T07:52:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。