論文の概要: Evaluating NLP Systems On a Novel Cloze Task: Judging the Plausibility of Possible Fillers in Instructional Texts

• arxiv url: http://arxiv.org/abs/2112.01867v1
• Date: Fri, 3 Dec 2021 12:02:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-06 20:28:57.016059
• Title: Evaluating NLP Systems On a Novel Cloze Task: Judging the Plausibility of Possible Fillers in Instructional Texts
• Title（参考訳）: 新規クローズタスクにおけるNLPシステムの評価:教育用テキストにおける可能性フィラーの可視性判定
• Authors: Zizhao Hu, Ravikiran Chanumolu, Xingyu Lin, Nayela Ayaz, Vincent Chi
• Abstract要約: Cloze Taskは、NLPシステムの言語理解能力を評価するために広く使われているタスクである。 新しいタスクが提案されている: クローズタスクのフィラーワードが良い、中立的、悪い候補であるかどうかを予測する。
• 参考スコア（独自算出の注目度）: 2.3449131636069898
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cloze task is a widely used task to evaluate an NLP system's language understanding ability. However, most of the existing cloze tasks only require NLP systems to give the relative best prediction for each input data sample, rather than the absolute quality of all possible predictions, in a consistent way across the input domain. Thus a new task is proposed: predicting if a filler word in a cloze task is a good, neutral, or bad candidate. Complicated versions can be extended to predicting more discrete classes or continuous scores. We focus on subtask A in Semeval 2022 task 7, explored some possible architectures to solve this new task, provided a detailed comparison of them, and proposed an ensemble method to improve traditional models in this new task.
• Abstract（参考訳）: Cloze Taskは、NLPシステムの言語理解能力を評価するために広く使われているタスクである。 しかし、既存のclozeタスクのほとんどは、入力領域全体で一貫した方法で、すべての可能な予測の絶対品質ではなく、各入力データサンプルに対する相対的最善の予測を与えるために、nlpシステムのみを必要とする。 このように、新しいタスクが提案されている: クローズタスクのフィラーワードが良い、中立的、悪い候補であるかどうかを予測する。 複雑なバージョンは、より離散的なクラスや連続的なスコアを予測するために拡張できる。 我々は,Semeval 2022 Task 7のサブタスクAに着目し,このタスクを解くためのいくつかのアーキテクチャを探索し,それらを詳細に比較し,従来のモデルを改善するためのアンサンブル手法を提案した。

関連論文リスト

• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Active Instruction Tuning: Improving Cross-Task Generalization by Training on Prompt Sensitive Tasks [101.40633115037983]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。 ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。 本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
  論文  参考訳（メタデータ） (2023-11-01T04:40:05Z)
• Class Incremental Learning via Likelihood Ratio Based Task Prediction [20.145128455767587]
  新たな理論誘導アプローチは、タスクごとにタスク固有のモデルを、すべてのタスクに対して共有ネットワークでトレーニングすることである。 本稿では,従来のOOD検出器をタスクID予測に利用することは,追加情報を利用することができるため,最適ではないと主張している。 新手法をTPL (Task-id Prediction based on Likelihood Ratio) と呼ぶ。 強いCILベースラインを著しく上回り、破滅的な忘れがほとんどない。
  論文  参考訳（メタデータ） (2023-09-26T16:25:57Z)
• Improving Task Generalization via Unified Schema Prompt [87.31158568180514]
  Unified Promptはフレキシブルでプロンプトの手法で、タスク入力スキーマに従って各タスクの学習可能なプロンプトを自動的にカスタマイズする。 異なるタスクスキーマの特徴を維持しながら、タスク間の共有知識をモデル化する。 このフレームワークは、8つのタスクタイプから下流に見えない16のタスクに対して、強力なゼロショットと少数ショットのパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-05T15:26:36Z)
• KnowDA: All-in-One Knowledge Mixture Model for Data Augmentation in Few-Shot NLP [68.43279384561352]
  既存のデータ拡張アルゴリズムはタスク非依存のルールや微調整の汎用事前訓練言語モデルを利用する。 これらの手法は、簡単なタスク固有の知識を持ち、単純なタスクにおいて弱いベースラインのための低品質な合成データを得るに限られる。 我々は,様々なNLPタスクを予め学習したエンコーダ/デコーダLMの知識混合データ拡張モデル(KnowDA)を提案する。
  論文  参考訳（メタデータ） (2022-06-21T11:34:02Z)
• Prompt Consistency for Zero-Shot Task Generalization [118.81196556175797]
  本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法について検討する。 具体的には,複数のプロンプトを使ってひとつのタスクを指定できることを利用して,プロンプトの一貫性を規則化する手法を提案する。 我々のアプローチは、4つのNLPタスクにまたがる11のデータセットのうち9つにおいて、最先端のゼロショット学習者であるT0を精度で最大10.6の絶対点で上回ります。
  論文  参考訳（メタデータ） (2022-04-29T19:18:37Z)
• Grad2Task: Improved Few-shot Text Classification Using Gradients for Task Representation [24.488427641442694]
  本稿では,数ショットのテキスト分類のための条件付きニューラルプロセスに基づく新しいアプローチを提案する。 私たちのキーとなるアイデアは、ベースモデルからの勾配情報を使って各タスクを表現することです。 我々のアプローチは、従来の微調整、シーケンシャルトランスファーラーニング、そして最先端のメタラーニングアプローチよりも優れています。
  論文  参考訳（メタデータ） (2022-01-27T15:29:30Z)
• Learning from Task Descriptions [24.588252048132862]
  本稿では,NLPシステム構築のためのフレームワークについて紹介する。 タスク指向評価のために構築された、新しい英語データセットであるZESTを用いて、このフレームワークをインスタンス化する。 現状のT5モデルはZESTで12%のスコアを獲得し、NLP研究者にとって大きな課題を残している。
  論文  参考訳（メタデータ） (2020-11-16T17:25:24Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。