論文の概要: CrossFit: A Few-shot Learning Challenge for Cross-task Generalization in NLP

• arxiv url: http://arxiv.org/abs/2104.08835v1
• Date: Sun, 18 Apr 2021 12:14:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-21 12:46:38.144967
• Title: CrossFit: A Few-shot Learning Challenge for Cross-task Generalization in NLP
• Title（参考訳）: crossfit: nlpにおけるクロスタスク一般化のための数発学習チャレンジ
• Authors: Qinyuan Ye, Bill Yuchen Lin, Xiang Ren
• Abstract要約: クロスタスクな数発学習能力を学習するためのタスク設定であるCrossFitを紹介する。 NLP Few-shot Gymは160個のNLPタスクのリポジトリです。 私たちの経験的分析は、見えないタスクの少数の学習能力が上流の学習段階を通じて改善できることを明らかにします。
• 参考スコア（独自算出の注目度）: 38.40614678878222
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Humans can learn a new language task more efficiently than machines, conceivably by leveraging their prior experience and knowledge in learning other tasks. In this paper, we explore whether such cross-task generalization ability can be acquired, and further applied to build better few-shot learners across diverse NLP tasks. We introduce CrossFit, a task setup for studying cross-task few-shot learning ability, which standardizes seen/unseen task splits, data access during different learning stages, and the evaluation protocols. In addition, we present NLP Few-shot Gym, a repository of 160 few-shot NLP tasks, covering diverse task categories and applications, and converted to a unified text-to-text format. Our empirical analysis reveals that the few-shot learning ability on unseen tasks can be improved via an upstream learning stage using a set of seen tasks. Additionally, the advantage lasts into medium-resource scenarios when thousands of training examples are available. We also observe that selection of upstream learning tasks can significantly influence few-shot performance on unseen tasks, asking further analysis on task similarity and transferability.
• Abstract（参考訳）: 人間は機械よりも効率的に新しい言語タスクを学習することができる。 本稿では,このようなクロスタスクの一般化能力を習得できるかどうかを考察し,さらに多様なNLPタスクにまたがるより優れた数ショット学習者を構築するために応用する。 タスク分割,異なる学習段階におけるデータアクセス,評価プロトコルを標準化したクロスタスク数発学習能力の研究用タスクセットアップであるCrossFitを紹介する。 また,NLP Few-shot Gymは160個のNLPタスクからなるレポジトリで,多様なタスクカテゴリやアプリケーションをカバーするとともに,統一されたテキスト・トゥ・テキスト形式に変換する。 経験的分析により,未発見タスクのマイナショット学習能力は,見掛けたタスクのセットを用いて上流学習段階を通じて改善できることが明らかとなった。 さらに、何千ものトレーニングサンプルが利用可能になった場合、その利点は中規模リソースのシナリオに持続する。 また,アップストリーム学習タスクの選択は,非知覚タスクにおけるマイショット性能に大きく影響し,タスクの類似性と伝達可能性に関するさらなる分析を求める。

関連論文リスト

• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Object-Centric Multi-Task Learning for Human Instances [8.035105819936808]
  オブジェクト中心学習によって複数のタスクのパラメータを最大に共有する,コンパクトなマルチタスクネットワークアーキテクチャについて検討する。 我々は、人中心クエリ(HCQ)と呼ばれる、人間のインスタンス情報を効果的に符号化する新しいクエリ設計を提案する。 実験結果から,提案したマルチタスクネットワークは,最先端タスク固有モデルに匹敵する精度を実現することがわかった。
  論文  参考訳（メタデータ） (2023-03-13T01:10:50Z)
• Active Task Randomization: Learning Robust Skills via Unsupervised Generation of Diverse and Feasible Tasks [37.73239471412444]
  我々は、教師なしのトレーニングタスクの生成を通じて、堅牢なスキルを学ぶアプローチであるActive Task Randomization (ATR)を導入する。 ATRは、タスクの多様性と実現可能性のバランスをとることで、堅牢なスキルを学ぶために、初期環境状態と操作目標からなる適切なタスクを選択する。 本研究では,視覚的入力に基づく逐次操作問題の解決のために,タスクプランナが学習スキルを構成することを実証する。
  論文  参考訳（メタデータ） (2022-11-11T11:24:55Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• Saliency-Regularized Deep Multi-Task Learning [7.3810864598379755]
  マルチタスク学習は、知識を共有するために複数の学習タスクを強制し、一般化能力を改善する。 現代のディープマルチタスク学習は、潜在機能とタスク共有を共同で学習することができるが、それらはタスク関係において不明瞭である。 本稿では,潜在的特徴と明示的な課題関係を共同で学習するマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-03T20:26:44Z)
• Exploring the Role of Task Transferability in Large-Scale Multi-Task Learning [28.104054292437525]
  マルチタスク表現学習におけるタスクのスケールと関連性の影響を解消する。 目標タスクが事前に分かっている場合、関連するタスクのより小さなセットでのトレーニングは、大規模なマルチタスクトレーニングと競合する。
  論文  参考訳（メタデータ） (2022-04-23T18:11:35Z)
• A Survey of Multi-task Learning in Natural Language Processing: Regarding Task Relatedness and Training Methods [17.094426577723507]
  自然言語処理(NLP)において,マルチタスク学習(MTL)がますます普及している。 共通点と相違点を活用することで、関連するタスクのパフォーマンスを向上させる。 トレーニングタスクの関連性に基づいてマルチタスク学習をどのように実装できるかは、まだよく理解されていない。
  論文  参考訳（メタデータ） (2022-04-07T15:22:19Z)
• On Steering Multi-Annotations per Sample for Multi-Task Learning [79.98259057711044]
  マルチタスク学習の研究はコミュニティから大きな注目を集めている。 目覚ましい進歩にもかかわらず、異なるタスクを同時に学習するという課題はまだ検討されていない。 従来の研究は、異なるタスクから勾配を修正しようとするが、これらの手法はタスク間の関係の主観的な仮定を与え、修正された勾配はより正確でないかもしれない。 本稿では,タスク割り当てアプローチによってこの問題に対処する機構であるタスク割当(STA)を紹介し,各サンプルをランダムにタスクのサブセットに割り当てる。 さらなる進展のために、我々は全てのタスクを反復的に割り当てるためにInterleaved Task Allocation(ISTA)を提案する。
  論文  参考訳（メタデータ） (2022-03-06T11:57:18Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
  本研究では,33のNLPタスク間の伝達可能性について検討した。 以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。 また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
  論文  参考訳（メタデータ） (2020-05-02T09:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。