論文の概要: Learning from Task Descriptions
- arxiv url: http://arxiv.org/abs/2011.08115v1
- Date: Mon, 16 Nov 2020 17:25:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-25 00:15:28.715683
- Title: Learning from Task Descriptions
- Title（参考訳）: タスク記述から学ぶ
- Authors: Orion Weller, Nicholas Lourie, Matt Gardner, Matthew E. Peters
- Abstract要約: 本稿では,NLPシステム構築のためのフレームワークについて紹介する。
タスク指向評価のために構築された、新しい英語データセットであるZESTを用いて、このフレームワークをインスタンス化する。
現状のT5モデルはZESTで12%のスコアを獲得し、NLP研究者にとって大きな課題を残している。
- 参考スコア（独自算出の注目度）: 24.588252048132862
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Typically, machine learning systems solve new tasks by training on thousands
of examples. In contrast, humans can solve new tasks by reading some
instructions, with perhaps an example or two. To take a step toward closing
this gap, we introduce a framework for developing NLP systems that solve new
tasks after reading their descriptions, synthesizing prior work in this area.
We instantiate this framework with a new English language dataset, ZEST,
structured for task-oriented evaluation on unseen tasks. Formulating task
descriptions as questions, we ensure each is general enough to apply to many
possible inputs, thus comprehensively evaluating a model's ability to solve
each task. Moreover, the dataset's structure tests specific types of systematic
generalization. We find that the state-of-the-art T5 model achieves a score of
12% on ZEST, leaving a significant challenge for NLP researchers.
- Abstract（参考訳）: 通常、機械学習システムは数千のサンプルでトレーニングすることで新しいタスクを解決します。
対照的に、人間はいくつかの命令を読むことで新しいタスクを解くことができる。
このギャップを埋めるために、我々はNLPシステム開発のためのフレームワークを導入し、それらの記述を読んだ後に新しいタスクを解決し、この分野の先行作業を合成する。
我々は、このフレームワークを新しい英語データセットであるZESTでインスタンス化し、未知のタスクに対するタスク指向の評価を行う。
タスク記述を質問として定式化することで、各タスクが多くの可能な入力に適用できるほど一般的であることを保証し、各タスクを解決するモデルの能力を包括的に評価する。
さらにデータセットの構造は、特定の種類の体系的一般化をテストする。
現状のT5モデルはZESTで12%のスコアを獲得し、NLP研究者にとって大きな課題となっている。
関連論文リスト
- Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳（メタデータ） (2024-01-07T18:12:20Z) - Improving Cross-task Generalization of Unified Table-to-text Models with
Compositional Task Configurations [63.04466647849211]
メソッドは通常、タスク情報をエンコーダのプレフィックスとして単純なデータセット名でエンコードする。
本稿では,エンコーダがタスク間の一般化を改善するためのプロンプトセットであるコンポジションタスク構成を提案する。
これは、モデルがトレーニング中に異なるタスク間で共有知識をより良く学習できるだけでなく、新しい構成を構築することでモデルを制御できることを示している。
論文 参考訳（メタデータ） (2022-12-17T02:20:14Z) - Improving Task Generalization via Unified Schema Prompt [87.31158568180514]
Unified Promptはフレキシブルでプロンプトの手法で、タスク入力スキーマに従って各タスクの学習可能なプロンプトを自動的にカスタマイズする。
異なるタスクスキーマの特徴を維持しながら、タスク間の共有知識をモデル化する。
このフレームワークは、8つのタスクタイプから下流に見えない16のタスクに対して、強力なゼロショットと少数ショットのパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-08-05T15:26:36Z) - Fast Inference and Transfer of Compositional Task Structures for
Few-shot Task Generalization [101.72755769194677]
本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。
我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。
提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
論文 参考訳（メタデータ） (2022-05-25T10:44:25Z) - Analysis and Prediction of NLP Models Via Task Embeddings [25.311690222754454]
我々は101ドルのNLPタスクのコレクションであるMetaEvalを提案する。
学習した埋め込みを条件にしながら、単一のトランスフォーマーをすべてのMetaEvalタスクに共同で適合させます。
結果として生じるタスクの埋め込みは、タスクの空間の新たな分析を可能にする。
論文 参考訳（メタデータ） (2021-12-10T16:23:24Z) - Quantifying Adaptability in Pre-trained Language Models with 500 Tasks [60.0364822929442]
本稿では,新しいベンチマークであるTaskBench500を用いて,LM適応性の特徴と限界に関する大規模な実証的研究を行う。
我々は適応性の3つの側面を評価し、適応手順が小さなデータセットを記憶する能力において劇的に異なることを発見した。
実験の結果、新しいタスクへの適応性、例えば新しい例への一般化は体系的に記述され、理解されることがわかった。
論文 参考訳（メタデータ） (2021-12-06T18:00:25Z) - Evaluating NLP Systems On a Novel Cloze Task: Judging the Plausibility
of Possible Fillers in Instructional Texts [2.3449131636069898]
Cloze Taskは、NLPシステムの言語理解能力を評価するために広く使われているタスクである。
新しいタスクが提案されている: クローズタスクのフィラーワードが良い、中立的、悪い候補であるかどうかを予測する。
論文 参考訳（メタデータ） (2021-12-03T12:02:52Z) - LFPT5: A Unified Framework for Lifelong Few-shot Language Learning Based
on Prompt Tuning of T5 [3.04585143845864]
本稿では,T5の即時チューニングに基づくLFLL(Lifelong Few-shot Language Learning)の統一フレームワークを提案する。
LFPT5と呼ばれる我々のフレームワークはPTの強力な数発学習能力を最大限に活用し、タスクソルバとデータジェネレータとしてモデルを同時に訓練する。
広範な実験により、LFPT5は様々な種類のタスクに適用でき、異なるLFLL設定で従来のメソッドよりも大幅に優れていたことが実証された。
論文 参考訳（メタデータ） (2021-10-14T12:06:29Z) - CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented
Dialog Systems [56.302581679816775]
本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。
命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。
これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
論文 参考訳（メタデータ） (2021-09-10T03:23:06Z) - CrossFit: A Few-shot Learning Challenge for Cross-task Generalization in
NLP [38.40614678878222]
クロスタスクな数発学習能力を学習するためのタスク設定であるCrossFitを紹介する。
NLP Few-shot Gymは160個のNLPタスクのリポジトリです。
私たちの経験的分析は、見えないタスクの少数の学習能力が上流の学習段階を通じて改善できることを明らかにします。
論文 参考訳（メタデータ） (2021-04-18T12:14:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。