Fugu-MT 論文翻訳(概要): Data-Efficient Finetuning Using Cross-Task Nearest Neighbors

論文の概要: Data-Efficient Finetuning Using Cross-Task Nearest Neighbors

arxiv url: http://arxiv.org/abs/2212.00196v2
Date: Wed, 24 May 2023 22:27:47 GMT
ステータス: 処理完了
システム内更新日: 2023-05-26 23:27:18.044020
Title: Data-Efficient Finetuning Using Cross-Task Nearest Neighbors
Title（参考訳）: クロスタスク近傍を用いたデータ効率の良い微調整
Authors: Hamish Ivison and Noah A. Smith and Hannaneh Hajishirzi and Pradeep Dasigi
Abstract要約: 我々は、ラベル付きターゲットタスクの例を用いて、プロンプトを付加したマルチタスクデータのプールから、最も類似したラベル付きサンプルを検索する。マルチタスク近傍におけるファインタニングモデルのアプローチは,データ効率が著しく向上する。
参考スコア（独自算出の注目度）: 75.07773863013001
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Obtaining labeled data to train a model for a task of interest is often expensive. Prior work shows training models on multitask data augmented with task descriptions (prompts) effectively transfers knowledge to new tasks. Towards efficiently building task-specific models, we assume access to a small number (32-1000) of unlabeled target-task examples and use those to retrieve the most similar labeled examples from a large pool of multitask data augmented with prompts. Compared to the current practice of finetuning models on uniformly sampled prompted multitask data (e.g.: FLAN, T0), our approach of finetuning on cross-task nearest neighbors is significantly more data-efficient. Using only 2% of the data from the P3 pool without any labeled target-task data, our models outperform strong baselines trained on all available data by 3-30% on 12 out of 14 datasets representing held-out tasks including legal and scientific document QA. Similarly, models trained on cross-task nearest neighbors from SuperNaturalInstructions, representing about 5% of the pool, obtain comparable performance to state-of-the-art models on 12 held-out tasks from that pool. Moreover, the models produced by our approach also provide a better initialization than single multitask finetuned models for few-shot finetuning on target-task data, as shown by a 2-23% relative improvement over few-shot finetuned T0-3B models on 8 datasets.
Abstract（参考訳）: 興味のあるタスクのためにモデルをトレーニングするためにラベル付きデータを取得するのは、しばしば高価です。以前の研究では、タスク記述(prompt)を付加したマルチタスクデータのトレーニングモデルが、知識を新しいタスクに効果的に転送する。タスク固有のモデルを効率的に構築するために、ラベルなしターゲットタスクの少数の例(32-1000)にアクセスして、プロンプトを付加したマルチタスクデータの大規模なプールから最も類似したラベル付きサンプルを検索する。均一サンプリングによるマルチタスクデータ(例えば、FLAN, T0)のファインタニングモデルと比較すると、近隣のクロスタスクでのファインタニングのアプローチは、データ効率が大幅に向上する。 p3プールから取得したデータのうち、ラベル付きターゲットタスクデータを持たないデータはわずか2%で、すべての利用可能なデータでトレーニングされた強力なベースラインを、法的および科学的なドキュメントqaを含む保持されたタスクを表す14のデータセットのうち3～30%上回っています。同様に、スーパーナチュラルインストラクション(プールの約5%)から近くのクロスタスクでトレーニングされたモデルは、プールから12のホールドアウトタスクで最先端のモデルに匹敵するパフォーマンスを得る。さらに,本手法により生成したモデルでは,マルチタスクの微調整モデルよりも初期化が良好で,ターゲット-タスクデータの微調整が2～23%向上し,データセット上ではt0-3bモデルが2～23%向上した。

関連論文リスト

Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
論文参考訳（メタデータ） (2024-10-22T06:43:28Z)
Better Synthetic Data by Retrieving and Transforming Existing Datasets [63.875064274379824]
我々は、データセットの自動生成を改善するために、公開データセットをよりよく利用する方法であるDataTuneを紹介した。多様な言語ベースのタスクセットでは、DataTuneによる微調整言語モデルが改善され、ベースラインが49%向上する。データセット変換は、多くのタスクにおいて生成されたデータの多様性と難易度を著しく向上させる。
論文参考訳（メタデータ） (2024-04-22T17:15:32Z)
GistScore: Learning Better Representations for In-Context Example Selection with Gist Bottlenecks [3.9638110494107095]
In-context Learning(ICL)は、大規模言語モデル(LLM)がプロンプトで条件付きで新しいタスクを実行する機能である。本稿では,教師付き微調整によるサンプルエンコーダの学習手法であるサンプルギストリングを提案する。我々の微調整モデルでは、既成のレトリバーよりも20%以上向上し、最先端のICL性能が得られている。
論文参考訳（メタデータ） (2023-11-16T06:28:05Z)
Foundation Model is Efficient Multimodal Multitask Model Selector [47.017463595702274]
ブルートフォースアプローチは、すべてのターゲットデータセット上のすべてのモデルを微調整し、高い計算コストをもたらす。マルチタスクモデルセレクタ(EMMS)を提案し,多様なラベル形式を統一的な雑音ラベル埋め込みに変換する。 EMMSは、事前訓練されたモデルの転送可能性を評価するのに十分な高速で効果的で汎用的であり、マルチタスクシナリオにおける最初のモデル選択方法である。
論文参考訳（メタデータ） (2023-08-11T17:54:44Z)
Text Alignment Is An Efficient Unified Model for Massive NLP Tasks [24.069447197357164]
次単語予測は、多くのNLPタスクの効率的な定式化ではないことが多い。テキストアライメントは、幅広い重要なタスクに対して効率的な統一モデルとして提案する。私たちのモデルは、より小さなモデルサイズで同等か、あるいはさらに優れたパフォーマンスを提供します。
論文参考訳（メタデータ） (2023-07-06T02:28:31Z)
An Efficient General-Purpose Modular Vision Model via Multi-Task Heterogeneous Training [79.78201886156513]
本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
論文参考訳（メタデータ） (2023-06-29T17:59:57Z)
Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning [101.66860222415512]
Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
論文参考訳（メタデータ） (2023-05-29T05:20:38Z)
Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文参考訳（メタデータ） (2022-03-30T23:16:07Z)
Label-Efficient Multi-Task Segmentation using Contrastive Learning [0.966840768820136]
比較学習に基づくサブタスクを用いたマルチタスクセグメンテーションモデルを提案し、その性能を他のマルチタスクモデルと比較する。提案手法は,アノテートデータの量に制限がある場合に,最先端の完全教師付きモデルを含む他のマルチタスク手法よりも優れていることを示す。
論文参考訳（メタデータ） (2020-09-23T14:12:17Z)
Conditionally Adaptive Multi-Task Learning: Improving Transfer Learning in NLP Using Fewer Parameters & Less Data [5.689320790746046]
マルチタスク学習(MTL)ネットワークは、異なるタスク間で学習知識を伝達するための有望な方法として登場した。しかし、MTLは、低リソースタスクへの過度な適合、破滅的な忘れ込み、負のタスク転送といった課題に対処しなければならない。本稿では,新しい条件付アテンション機構とタスク条件付きモジュール群からなるトランスフォーマーアーキテクチャを提案する。
論文参考訳（メタデータ） (2020-09-19T02:04:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。