Fugu-MT 論文翻訳(概要): Analysis and Prediction of NLP Models Via Task Embeddings

論文の概要: Analysis and Prediction of NLP Models Via Task Embeddings

arxiv url: http://arxiv.org/abs/2112.05647v1
Date: Fri, 10 Dec 2021 16:23:24 GMT
ステータス: 処理完了
システム内更新日: 2021-12-13 17:45:15.681870
Title: Analysis and Prediction of NLP Models Via Task Embeddings
Title（参考訳）: タスク埋め込みによるNLPモデルの解析と予測
Authors: Damien Sileo and Marie-Francine Moens
Abstract要約: 我々は101ドルのNLPタスクのコレクションであるMetaEvalを提案する。学習した埋め込みを条件にしながら、単一のトランスフォーマーをすべてのMetaEvalタスクに共同で適合させます。結果として生じるタスクの埋め込みは、タスクの空間の新たな分析を可能にする。
参考スコア（独自算出の注目度）: 25.311690222754454
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Task embeddings are low-dimensional representations that are trained to capture task properties. In this paper, we propose MetaEval, a collection of $101$ NLP tasks. We fit a single transformer to all MetaEval tasks jointly while conditioning it on learned embeddings. The resulting task embeddings enable a novel analysis of the space of tasks. We then show that task aspects can be mapped to task embeddings for new tasks without using any annotated examples. Predicted embeddings can modulate the encoder for zero-shot inference and outperform a zero-shot baseline on GLUE tasks. The provided multitask setup can function as a benchmark for future transfer learning research.
Abstract（参考訳）: タスク埋め込みは、タスク特性をキャプチャするために訓練された低次元表現である。本稿では,101ドルのNLPタスクのコレクションであるMetaEvalを提案する。学習した埋め込みを条件にしながら、単一のトランスフォーマーをすべてのMetaEvalタスクに共同で適合させます。結果として生じるタスク埋め込みは、タスク空間の新しい分析を可能にする。次に、アノテートされた例を使わずにタスクアスペクトを新しいタスクのタスク埋め込みにマッピングできることを示します。予測埋め込みは、ゼロショット推論のためにエンコーダを変調し、GLUEタスクでゼロショットベースラインを上回る。提供されるマルチタスクセットアップは、将来の転送学習研究のベンチマークとして機能する。

関連論文リスト

Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文参考訳（メタデータ） (2024-01-02T14:18:11Z)
Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
論文参考訳（メタデータ） (2022-10-12T15:02:04Z)
Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文参考訳（メタデータ） (2022-03-30T23:16:07Z)
On Steering Multi-Annotations per Sample for Multi-Task Learning [79.98259057711044]
マルチタスク学習の研究はコミュニティから大きな注目を集めている。目覚ましい進歩にもかかわらず、異なるタスクを同時に学習するという課題はまだ検討されていない。従来の研究は、異なるタスクから勾配を修正しようとするが、これらの手法はタスク間の関係の主観的な仮定を与え、修正された勾配はより正確でないかもしれない。本稿では,タスク割り当てアプローチによってこの問題に対処する機構であるタスク割当(STA)を紹介し,各サンプルをランダムにタスクのサブセットに割り当てる。さらなる進展のために、我々は全てのタスクを反復的に割り当てるためにInterleaved Task Allocation(ISTA)を提案する。
論文参考訳（メタデータ） (2022-03-06T11:57:18Z)
Grad2Task: Improved Few-shot Text Classification Using Gradients for Task Representation [24.488427641442694]
本稿では,数ショットのテキスト分類のための条件付きニューラルプロセスに基づく新しいアプローチを提案する。私たちのキーとなるアイデアは、ベースモデルからの勾配情報を使って各タスクを表現することです。我々のアプローチは、従来の微調整、シーケンシャルトランスファーラーニング、そして最先端のメタラーニングアプローチよりも優れています。
論文参考訳（メタデータ） (2022-01-27T15:29:30Z)
Exploring Low-dimensional Intrinsic Task Subspace via Prompt Tuning [70.76016793057283]
本研究では,事前学習型言語モデル(PLM)が普遍表現を学習し,異なる幅広いNLPタスクに効果的に適用する方法について検討する。実験では,100個のランダムタスクを持つ5次元部分空間において,5つの自由パラメータをチューニングするだけで,全プロンプトチューニング性能の87%と65%を回復できることがわかった。
論文参考訳（メタデータ） (2021-10-15T05:43:59Z)
Instance-Level Task Parameters: A Robust Multi-task Weighting Framework [17.639472693362926]
最近の研究によると、ディープニューラルネットワークは、複数の関連するタスク間で共有表現を学習することで、マルチタスク学習の恩恵を受けている。トレーニングプロセスは、データセットの各インスタンスに対するタスクの最適な重み付けを規定します。我々は,SURREALとCityScapesのデータセットを用いて,人間の形状とポーズ推定,深さ推定,セマンティックセグメンテーションタスクについて広範な実験を行った。
論文参考訳（メタデータ） (2021-06-11T02:35:42Z)
Adaptive Task Sampling for Meta-Learning [79.61146834134459]
数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
論文参考訳（メタデータ） (2020-07-17T03:15:53Z)
The Sample Complexity of Meta Sparse Regression [38.092179552223364]
本稿では,無限タスクによる疎線形回帰におけるメタラーニング問題に対処する。 T in O ((k log(p) ) /l ) タスクが全タスクの共通サポートを回復するのに十分であることを示す。
論文参考訳（メタデータ） (2020-02-22T00:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。