Fugu-MT 論文翻訳(概要): Improving Task Diversity in Label Efficient Supervised Finetuning of LLMs

論文の概要: Improving Task Diversity in Label Efficient Supervised Finetuning of LLMs

arxiv url: http://arxiv.org/abs/2507.21482v1
Date: Tue, 29 Jul 2025 03:51:00 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-30 17:08:55.64681
Title: Improving Task Diversity in Label Efficient Supervised Finetuning of LLMs
Title（参考訳）: LLMのラベル有効監督ファインタニングにおけるタスク多様性の改善
Authors: Abhinav Arabelly, Jagrut Nemade, Robert D Nowak, Jifan Zhang,
Abstract要約: 大規模言語モデル(LLM)は、様々な領域にまたがる顕著な能力を示してきたが、専門的なアプリケーションのための高性能なモデルを開発するには、かなりの人的アノテーションを必要とすることが多い。本研究では,効率的なデータ選択の基本原理としてタスク多様性を活用することで,教師付き微調整(SFT)におけるラベル効率の学習問題に対処する。提案手法は,1) 異なるプロンプトに対するタスクラベルが容易に利用できること,2) 事前学習されたモデルがタスク間の信頼度を著しく変化させること,の2つの重要な結果に基づいている。
参考スコア（独自算出の注目度）: 14.531280062127442
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities across diverse domains, but developing high-performing models for specialized applications often requires substantial human annotation -- a process that is time-consuming, labor-intensive, and expensive. In this paper, we address the label-efficient learning problem for supervised finetuning (SFT) by leveraging task-diversity as a fundamental principle for effective data selection. This is markedly different from existing methods based on the prompt-diversity. Our approach is based on two key observations: 1) task labels for different prompts are often readily available; 2) pre-trained models have significantly varying levels of confidence across tasks. We combine these facts to devise a simple yet effective sampling strategy: we select examples across tasks using an inverse confidence weighting strategy. This produces models comparable to or better than those trained with more complex sampling procedures, while being significantly easier to implement and less computationally intensive. Notably, our experimental results demonstrate that this method can achieve better accuracy than training on the complete dataset (a 4\% increase in MMLU score). Across various annotation budgets and two instruction finetuning datasets, our algorithm consistently performs at or above the level of the best existing methods, while reducing annotation costs by up to 80\%.
Abstract（参考訳）: 大規模言語モデル(LLM)は、さまざまなドメインにまたがる顕著な機能を示しているが、専門的なアプリケーションのためのハイパフォーマンスなモデルを開発するには、かなりの人的アノテーションを必要とすることが多い。本稿では,タスク多様性を有効データ選択の基本原理として活用することにより,教師付き微調整(SFT)におけるラベル効率の学習問題に対処する。これは、プロンプトの多様性に基づく既存の方法とは大きく異なる。私たちのアプローチは2つの重要な観測に基づいています。 1) 異なるプロンプトのタスクラベルは、しばしば手軽に利用可能である。 2) 事前学習モデルでは,タスク間の信頼度が有意に異なる。これらの事実を組み合わせ、単純で効果的なサンプリング戦略を考案し、逆信頼度重み付け戦略を用いてタスクをまたいだサンプルを選択する。これにより、より複雑なサンプリング手順で訓練されたモデルと同等かそれ以上のモデルが生成されるが、実装が著しく簡単で、計算集約性が低い。実験結果から,本手法は完全なデータセットのトレーニング(MMLUスコアの4倍)よりも精度がよいことが示された。様々なアノテーション予算と2つの命令微調整データセットにまたがって、我々のアルゴリズムは、最高の既存のメソッドのレベル以上で一貫して実行し、アノテーションのコストを最大80%削減する。

関連論文リスト

Learning What Matters: Prioritized Concept Learning via Relative Error-driven Sample Selection [38.35524024887503]
Prioritized cOncept learninG by Relative Error-driven Sample Selection (PROGRESS)を提案する。 PROGRESSはデータと計算効率のよいフレームワークで、視覚言語モデルで次に何を学習するかを動的に選択できる。 PROGRESSは、データや監督をはるかに少なくして、最先端のベースラインを一貫して上回ることを示す。
論文参考訳（メタデータ） (2025-06-01T17:05:35Z)
Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
論文参考訳（メタデータ） (2024-11-21T02:30:53Z)
Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
論文参考訳（メタデータ） (2024-06-07T11:37:45Z)
An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models [55.01592097059969]
命令データセットの監視された微調整は、目覚ましいゼロショットの一般化能力を達成する上で重要な役割を担っている。アクティブラーニングは、未ラベルのプールからアノテートするサンプルの有用なサブセットを特定するのに効果的である。本研究では,能動学習の計算ボトルネックを回避するための実験設計を提案する。
論文参考訳（メタデータ） (2024-01-12T16:56:54Z)
One-Shot Learning as Instruction Data Prospector for Large Language Models [108.81681547472138]
textscNuggetsはワンショット学習を使用して、広範なデータセットから高品質な命令データを選択する。我々は,textscNuggets がキュレートした例の上位1%による命令チューニングが,データセット全体を用いた従来の手法よりも大幅に優れていることを示す。
論文参考訳（メタデータ） (2023-12-16T03:33:12Z)
Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文参考訳（メタデータ） (2023-11-23T15:46:54Z)
STG-MTL: Scalable Task Grouping for Multi-Task Learning Using Data Map [4.263847576433289]
MTL(Multi-Task Learning)は、従来のSTL(Single-Task Learning)よりも性能が向上し、普及した強力な技術である。しかし、MTLは指数的なタスクグルーピング数が多いため、しばしば困難である。本稿では,これらの課題に対処し,課題分類のためのスケーラブルでモジュール化されたソリューションを提供する新しいデータ駆動手法を提案する。
論文参考訳（メタデータ） (2023-07-07T03:54:26Z)
OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文参考訳（メタデータ） (2023-05-24T10:08:04Z)
Batch Active Learning at Scale [39.26441165274027]
バッチクエリをラベル付けオラクルに適応的に発行するバッチアクティブラーニングは、この問題に対処するための一般的なアプローチである。本研究では,大規模なバッチ設定に着目した効率的な能動学習アルゴリズムを解析する。本研究では,不確実性と多様性の概念を組み合わせたサンプリング手法について,従来より数桁大きなバッチサイズ(100K-1M)に容易にスケール可能であることを示す。
論文参考訳（メタデータ） (2021-07-29T18:14:05Z)
Lifelong Learning Without a Task Oracle [13.331659934508764]
監視されたディープニューラルネットワークは、新しいタスクが学習されると、古いタスクの精度が大幅に低下することが知られている。本稿では,メモリオーバーヘッドの少ないタスク割り当てマップの提案と比較を行う。最高のパフォーマンスの変種は、平均的なパラメータメモリの増大を1.7%に抑えるだけである。
論文参考訳（メタデータ） (2020-11-09T21:30:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。