論文の概要: MetaXT: Meta Cross-Task Transfer between Disparate Label Spaces
- arxiv url: http://arxiv.org/abs/2109.04240v1
- Date: Thu, 9 Sep 2021 12:59:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-10 14:31:20.719571
- Title: MetaXT: Meta Cross-Task Transfer between Disparate Label Spaces
- Title（参考訳）: MetaXT: 異なるラベル空間間のメタクロスタスク転送
- Authors: Srinagesh Sharma, Guoqing Zheng and Ahmed Hassan Awadallah
- Abstract要約: 我々はラベル転送ネットワーク(LTN)を考案し、ラベルをソースタスクからトレーニング対象タスクへ変換する。
LTNとタスク予測モデルの両方は、メタXTと呼ばれる双方向最適化フレームワークを用いて学習される。
- 参考スコア（独自算出の注目度）: 21.297814002431878
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Albeit the universal representational power of pre-trained language models,
adapting them onto a specific NLP task still requires a considerably large
amount of labeled data. Effective task fine-tuning meets challenges when only a
few labeled examples are present for the task. In this paper, we aim to the
address of the problem of few shot task learning by exploiting and transferring
from a different task which admits a related but disparate label space.
Specifically, we devise a label transfer network (LTN) to transform the labels
from source task to the target task of interest for training. Both the LTN and
the model for task prediction are learned via a bi-level optimization
framework, which we term as MetaXT. MetaXT offers a principled solution to best
adapt a pre-trained language model to the target task by transferring knowledge
from the source task. Empirical evaluations on cross-task transfer settings for
four NLP tasks, from two different types of label space disparities,
demonstrate the effectiveness of MetaXT, especially when the labeled data in
the target task is limited.
- Abstract（参考訳）: 事前訓練された言語モデルの普遍的な表現力に加えて、特定のNLPタスクに適用するには、かなりの量のラベル付きデータが必要である。
効果的なタスクの微調整は、タスクにラベル付きの例しか存在しない場合の課題を満たす。
本稿では,関連性はあるが異なるラベル空間を持つ異なるタスクを活用,移動させることにより,ショットタスク学習の課題に対処することを目的とする。
具体的には、ラベル転送ネットワーク(LTN)を考案し、ラベルをソースタスクからトレーニング対象タスクに変換する。
LTNとタスク予測モデルの両方は、メタXTと呼ばれる双方向最適化フレームワークを用いて学習される。
metaxtは、ソースタスクから知識を転送することによって、事前訓練された言語モデルをターゲットタスクに最善に適応させる原則付きソリューションを提供する。
ラベル空間の異なる2種類の異なる4つのNLPタスクに対するクロスタスク転送設定に関する実証的な評価は、特に対象タスクにおけるラベル付きデータが制限された場合、MetaXTの有効性を示す。
関連論文リスト
- TransPrompt v2: A Transferable Prompting Framework for Cross-task Text
Classification [37.824031151922604]
そこで本研究では,テキスト分類タスク間の数ショット学習を実現するための,トランスプロンプトv2を提案する。
類似したタスクを学習するために、メタラーナーを訓練するためにマルチタスクメタ知識獲得(MMA)手順を用いる。
遠隔タスクを学習するために、タスクタイプ記述をプロンプトに注入し、タイプ内およびタイプ間プロンプト埋め込みをキャプチャする。
論文 参考訳（メタデータ） (2023-08-29T04:16:57Z) - How to Solve Few-Shot Abusive Content Detection Using the Data We Actually Have [58.23138483086277]
この作業では、すでに持っているデータセットを活用し、虐待的な言語検出に関連する幅広いタスクをカバーしています。
私たちのゴールは、ターゲットドメインのトレーニング例を少しだけ使用して、新しいターゲットラベルセットや/または言語のために、安価にモデルを構築することです。
実験の結果、すでに存在するデータセットと、対象タスクのほんの数ショットしか使用していないモデルの性能が、モノリンガル言語と言語間で改善されていることがわかった。
論文 参考訳（メタデータ） (2023-05-23T14:04:12Z) - Transfer-Free Data-Efficient Multilingual Slot Labeling [82.02076369811402]
スロットラベリングはタスク指向対話(ToD)システムの中核的なコンポーネントである。
固有データ不足の問題を緩和するために、多言語ToDに関する現在の研究は、十分な英語の注釈付きデータが常に利用可能であると仮定している。
標準的な多言語文エンコーダを効果的なスロットラベリングに変換する2段階のスロットラベリング手法(TWOSL)を提案する。
論文 参考訳（メタデータ） (2023-05-22T22:47:32Z) - Relational Multi-Task Learning: Modeling Relations between Data and
Tasks [84.41620970886483]
マルチタスク学習における主要な前提は、推論時にモデルが与えられたデータポイントにのみアクセスできるが、他のタスクからのデータポイントのラベルにはアクセスできないことである。
ここでは、補助的なタスクからデータポイントラベルを活用してより正確な予測を行う、新しいリレーショナルマルチタスク学習環境を提案する。
私たちはMetaLinkを開発し、そこではデータポイントとタスクを接続するナレッジグラフを構築します。
論文 参考訳（メタデータ） (2023-03-14T07:15:41Z) - Multi-Task Meta Learning: learn how to adapt to unseen tasks [4.287114092271669]
本研究は,Multi-Task Learning(MTL)とメタラーニングという2つの学習パラダイムを統合する,MTML(Multi-task Meta Learning)を提案する。
基本的な考え方はマルチタスクモデルをトレーニングすることであり、例えば、目に見えないタスクを導入すると、より少ないステップで学習できると同時に、パフォーマンスを従来の単一タスク学習と同程度に向上させることができる。
MTMLは、NYU-v2データセットの4つのタスクのうち3つと、タスクノミーデータセットの4つのうち2つのタスクに対して、最先端の結果を達成する。
論文 参考訳（メタデータ） (2022-10-13T12:59:54Z) - Learning Action Translator for Meta Reinforcement Learning on
Sparse-Reward Tasks [56.63855534940827]
本研究は,訓練作業中の行動伝達子を学習するための,新たな客観的機能を導入する。
理論的には、転送されたポリシーとアクショントランスレータの値が、ソースポリシーの値に近似可能であることを検証する。
本稿では,アクショントランスレータとコンテキストベースメタRLアルゴリズムを組み合わせることで,データ収集の効率化と,メタトレーニング時の効率的な探索を提案する。
論文 参考訳（メタデータ） (2022-07-19T04:58:06Z) - FETA: A Benchmark for Few-Sample Task Transfer in Open-Domain Dialogue [70.65782786401257]
本研究は、オープンドメイン対話における少数サンプルタスク転送のベンチマークであるFETAを導入することにより、対話型タスク転送について検討する。
FETAには10タスクと7タスクがアノテートされた2つの基礎的な会話が含まれており、データセット内タスク転送の研究を可能にする。
3つの人気のある言語モデルと3つの学習アルゴリズムを用いて、132のソースターゲットタスクペア間の転送可能性を分析する。
論文 参考訳（メタデータ） (2022-05-12T17:59:00Z) - Grad2Task: Improved Few-shot Text Classification Using Gradients for
Task Representation [24.488427641442694]
本稿では,数ショットのテキスト分類のための条件付きニューラルプロセスに基づく新しいアプローチを提案する。
私たちのキーとなるアイデアは、ベースモデルからの勾配情報を使って各タスクを表現することです。
我々のアプローチは、従来の微調整、シーケンシャルトランスファーラーニング、そして最先端のメタラーニングアプローチよりも優れています。
論文 参考訳（メタデータ） (2022-01-27T15:29:30Z) - Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。
提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
論文 参考訳（メタデータ） (2021-01-24T22:57:19Z) - Adaptive Self-training for Few-shot Neural Sequence Labeling [55.43109437200101]
ニューラルシークエンスラベリングモデルにおけるラベル不足問題に対処する手法を開発した。
自己学習は、大量のラベルのないデータから学ぶための効果的なメカニズムとして機能する。
メタラーニングは、適応的なサンプル再重み付けにおいて、ノイズのある擬似ラベルからのエラー伝播を軽減するのに役立つ。
論文 参考訳（メタデータ） (2020-10-07T22:29:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。