論文の概要: Improving Task Diversity in Label Efficient Supervised Finetuning of LLMs

• arxiv url: http://arxiv.org/abs/2507.21482v1
• Date: Tue, 29 Jul 2025 03:51:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-30 17:08:55.64681
• Title: Improving Task Diversity in Label Efficient Supervised Finetuning of LLMs
• Title（参考訳）: LLMのラベル有効監督ファインタニングにおけるタスク多様性の改善
• Authors: Abhinav Arabelly, Jagrut Nemade, Robert D Nowak, Jifan Zhang,
• Abstract要約: 大規模言語モデル(LLM)は、様々な領域にまたがる顕著な能力を示してきたが、専門的なアプリケーションのための高性能なモデルを開発するには、かなりの人的アノテーションを必要とすることが多い。 本研究では,効率的なデータ選択の基本原理としてタスク多様性を活用することで,教師付き微調整(SFT)におけるラベル効率の学習問題に対処する。 提案手法は,1) 異なるプロンプトに対するタスクラベルが容易に利用できること,2) 事前学習されたモデルがタスク間の信頼度を著しく変化させること,の2つの重要な結果に基づいている。
• 参考スコア（独自算出の注目度）: 14.531280062127442
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities across diverse domains, but developing high-performing models for specialized applications often requires substantial human annotation -- a process that is time-consuming, labor-intensive, and expensive. In this paper, we address the label-efficient learning problem for supervised finetuning (SFT) by leveraging task-diversity as a fundamental principle for effective data selection. This is markedly different from existing methods based on the prompt-diversity. Our approach is based on two key observations: 1) task labels for different prompts are often readily available; 2) pre-trained models have significantly varying levels of confidence across tasks. We combine these facts to devise a simple yet effective sampling strategy: we select examples across tasks using an inverse confidence weighting strategy. This produces models comparable to or better than those trained with more complex sampling procedures, while being significantly easier to implement and less computationally intensive. Notably, our experimental results demonstrate that this method can achieve better accuracy than training on the complete dataset (a 4\% increase in MMLU score). Across various annotation budgets and two instruction finetuning datasets, our algorithm consistently performs at or above the level of the best existing methods, while reducing annotation costs by up to 80\%.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、さまざまなドメインにまたがる顕著な機能を示しているが、専門的なアプリケーションのためのハイパフォーマンスなモデルを開発するには、かなりの人的アノテーションを必要とすることが多い。 本稿では,タスク多様性を有効データ選択の基本原理として活用することにより,教師付き微調整(SFT)におけるラベル効率の学習問題に対処する。 これは、プロンプトの多様性に基づく既存の方法とは大きく異なる。 私たちのアプローチは2つの重要な観測に基づいています。 1) 異なるプロンプトのタスクラベルは、しばしば手軽に利用可能である。 2) 事前学習モデルでは,タスク間の信頼度が有意に異なる。 これらの事実を組み合わせ、単純で効果的なサンプリング戦略を考案し、逆信頼度重み付け戦略を用いてタスクをまたいだサンプルを選択する。 これにより、より複雑なサンプリング手順で訓練されたモデルと同等かそれ以上のモデルが生成されるが、実装が著しく簡単で、計算集約性が低い。 実験結果から,本手法は完全なデータセットのトレーニング(MMLUスコアの4倍)よりも精度がよいことが示された。 様々なアノテーション予算と2つの命令微調整データセットにまたがって、我々のアルゴリズムは、最高の既存のメソッドのレベル以上で一貫して実行し、アノテーションのコストを最大80%削減する。

関連論文リスト

• Learning What Matters: Prioritized Concept Learning via Relative Error-driven Sample Selection [38.35524024887503]
  Prioritized cOncept learninG by Relative Error-driven Sample Selection (PROGRESS)を提案する。 PROGRESSはデータと計算効率のよいフレームワークで、視覚言語モデルで次に何を学習するかを動的に選択できる。 PROGRESSは、データや監督をはるかに少なくして、最先端のベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2025-06-01T17:05:35Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models [55.01592097059969]
  命令データセットの監視された微調整は、目覚ましいゼロショットの一般化能力を達成する上で重要な役割を担っている。 アクティブラーニングは、未ラベルのプールからアノテートするサンプルの有用なサブセットを特定するのに効果的である。 本研究では,能動学習の計算ボトルネックを回避するための実験設計を提案する。
  論文  参考訳（メタデータ） (2024-01-12T16:56:54Z)
• One-Shot Learning as Instruction Data Prospector for Large Language Models [108.81681547472138]
  textscNuggetsはワンショット学習を使用して、広範なデータセットから高品質な命令データを選択する。 我々は,textscNuggets がキュレートした例の上位1%による命令チューニングが,データセット全体を用いた従来の手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-16T03:33:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。