論文の概要: FewJoint: A Few-shot Learning Benchmark for Joint Language Understanding

• arxiv url: http://arxiv.org/abs/2009.08138v3
• Date: Sun, 13 Dec 2020 06:24:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 08:16:25.616577
• Title: FewJoint: A Few-shot Learning Benchmark for Joint Language Understanding
• Title（参考訳）: FewJoint: 共同言語理解のための数ショット学習ベンチマーク
• Authors: Yutai Hou, Jiafeng Mao, Yongkui Lai, Cheng Chen, Wanxiang Che, Zhigang Chen, Ting Liu
• Abstract要約: 機械学習は、機械学習における重要なステップの1つだ。 FewJointは、NLP用のFew-Shot Learningベンチマークである。
• 参考スコア（独自算出の注目度）: 55.38905499274026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Few-shot learning (FSL) is one of the key future steps in machine learning and has raised a lot of attention. However, in contrast to the rapid development in other domains, such as Computer Vision, the progress of FSL in Nature Language Processing (NLP) is much slower. One of the key reasons for this is the lacking of public benchmarks. NLP FSL researches always report new results on their own constructed few-shot datasets, which is pretty inefficient in results comparison and thus impedes cumulative progress. In this paper, we present FewJoint, a novel Few-Shot Learning benchmark for NLP. Different from most NLP FSL research that only focus on simple N-classification problems, our benchmark introduces few-shot joint dialogue language understanding, which additionally covers the structure prediction and multi-task reliance problems. This allows our benchmark to reflect the real-word NLP complexity beyond simple N-classification. Our benchmark is used in the few-shot learning contest of SMP2020-ECDT task-1. We also provide a compatible FSL platform to ease experiment set-up.
• Abstract（参考訳）: FSL(Few-shot Learning)は、機械学習における重要なステップのひとつであり、多くの注目を集めている。 しかし、コンピュータビジョンのような他の分野の急速な発展とは対照的に、自然言語処理(NLP)におけるFSLの進歩ははるかに遅い。 この理由の1つは、公開ベンチマークの欠如である。 NLP FSLの研究は常に、構築された数発のデータセットに新しい結果を報告しており、これは結果の比較においてかなり非効率であり、累積的な進歩を妨げる。 本稿では,NLPのためのFew-Shot LearningベンチマークであるFewJointを紹介する。 単純なn分類問題のみに焦点を当てたほとんどのnlp fsl研究とは違って,本ベンチマークでは,構造予測とマルチタスク依存問題をカバーする,マイナショット合同対話言語理解を導入した。 これにより、ベンチマークは、単純なN分類を超えて、実語NLPの複雑さを反映することができる。 本ベンチマークは,SMP2020-ECDT Task-1の少人数学習コンテストで使用される。 また、実験のセットアップを容易にするための互換性のあるFSLプラットフォームも提供しています。

関連論文リスト

• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• Learning to Infer from Unlabeled Data: A Semi-supervised Learning Approach for Robust Natural Language Inference [47.293189105900524]
  自然言語推論(英: Natural Language Inference、NLI)は、一対の文(前提と仮説)の関係を、関係性、矛盾、意味的な独立性として予測することを目的としている。 近年、ディープラーニングモデルはNLIに有望なパフォーマンスを示しており、大規模で高価な人型アノテートデータセットに依存している。 半教師付き学習(SSL)は、トレーニングにラベルのないデータを活用することで、人間のアノテーションへの依存を減らすための一般的な手法である。
  論文  参考訳（メタデータ） (2022-11-05T20:34:08Z)
• Stretching Sentence-pair NLI Models to Reason over Long Documents and Clusters [35.103851212995046]
  自然言語推論(NLI)は,文ペア間の意味的関係を推定するフレームワークとして,NLPコミュニティによって広く研究されている。 我々は、NLIモデルの実アプリケーションへの直接ゼロショット適用性について、訓練された文ペア設定を超えて検討する。 本研究では,ContractNLIデータセット上で,フルドキュメント上で動作し,最先端のパフォーマンスを実現するための新たなアグリゲーション手法を開発した。
  論文  参考訳（メタデータ） (2022-04-15T12:56:39Z)
• CLUES: Few-Shot Learning Evaluation in Natural Language Understanding [81.63968985419982]
  我々は,NLUモデルの少数ショット学習能力を評価するためのベンチマークであるCLUESを紹介する。 近年のモデルでは,大量のラベル付きデータにアクセスすると人的パフォーマンスが向上するが,ほとんどのタスクにおいて数ショット設定では,パフォーマンスに大きなギャップが生じることが実証された。
  論文  参考訳（メタデータ） (2021-11-04T00:43:15Z)
• FewCLUE: A Chinese Few-shot Learning Evaluation Benchmark [8.158067688043554]
  この研究は、中国初の総合的な小サンプル評価ベンチマークである中国語 Few-shot Learning Evaluation Benchmark (FewCLUE) を紹介した。 1つのタスクに最大2万のサンプルを追加するラベルなしのトレーニングが提供され、ラベルなしのサンプルを使用する方法を改善することができる。 次に、最先端の複数ショット学習手法を実装し、その性能をFewCLUEベンチマークの微調整およびゼロショット学習方式と比較する。
  論文  参考訳（メタデータ） (2021-07-15T17:51:25Z)
• LeBenchmark: A Reproducible Framework for Assessing Self-Supervised Representation Learning from Speech [63.84741259993937]
  膨大なラベルのないデータを用いた自己教師付き学習(SSL)は、画像処理と自然言語処理に成功している。 最近の研究では、音声からSSLも調べた。 音声からSSLを評価する再現可能なフレームワークであるLeBenchmarkを提案する。
  論文  参考訳（メタデータ） (2021-04-23T08:27:09Z)
• Interventional Few-Shot Learning [88.31112565383457]
  本稿では,新しいFew-Shot Learningパラダイム,Interventional Few-Shot Learningを提案する。 コードはhttps://github.com/yue-zhongqi/ifsl.comで公開されている。
  論文  参考訳（メタデータ） (2020-09-28T01:16:54Z)
• Coreferential Reasoning Learning for Language Representation [88.14248323659267]
  本稿では,コンテキスト内でコアファーデンシャル関係をキャプチャ可能な新しい言語表現モデルCorefBERTを提案する。 実験の結果,既存のベースラインモデルと比較して,CorefBERTは下流のNLPタスクにおいて一貫した大幅な改善を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-04-15T03:57:45Z)
• CLUE: A Chinese Language Understanding Evaluation Benchmark [41.86950255312653]
  最初の大規模中国語理解評価(CLUE)ベンチマークを紹介する。 CLUEは、確立された1文/文ペアの分類タスクにまたがる9つのタスクと、機械読み取りの理解を提供する。 我々は、現在最先端の中国のモデルを用いてスコアを報告する。
  論文  参考訳（メタデータ） (2020-04-13T15:02:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。