論文の概要: ANLIzing the Adversarial Natural Language Inference Dataset

• arxiv url: http://arxiv.org/abs/2010.12729v1
• Date: Sat, 24 Oct 2020 01:03:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 12:44:59.758096
• Title: ANLIzing the Adversarial Natural Language Inference Dataset
• Title（参考訳）: 敵対的自然言語推論データセットの標準化
• Authors: Adina Williams, Tristan Thrush, Douwe Kiela
• Abstract要約: 我々は最近導入された大規模ヒューマン・アンド・モデル・イン・ザ・ループ自然言語推論データセットであるAdversarial NLI(ANLI)の詳細な誤差解析を行う。 本稿では,金の分類ラベルに責任を負う推論のさまざまな側面の詳細なアノテーションスキームを提案し,それをANLI開発セットの3つすべてに手書きする。
• 参考スコア（独自算出の注目度）: 46.7480191735164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We perform an in-depth error analysis of Adversarial NLI (ANLI), a recently introduced large-scale human-and-model-in-the-loop natural language inference dataset collected over multiple rounds. We propose a fine-grained annotation scheme of the different aspects of inference that are responsible for the gold classification labels, and use it to hand-code all three of the ANLI development sets. We use these annotations to answer a variety of interesting questions: which inference types are most common, which models have the highest performance on each reasoning type, and which types are the most challenging for state of-the-art models? We hope that our annotations will enable more fine-grained evaluation of models trained on ANLI, provide us with a deeper understanding of where models fail and succeed, and help us determine how to train better models in future.
• Abstract（参考訳）: 複数のラウンドにわたって収集された大規模自然言語推論データセットであるadversarial nli (anli) の詳細なエラー解析を行う。 我々は,金の分類ラベルに責任を負う推論のさまざまな側面の細かなアノテーションスキームを提案し,これら3つの開発セットを手作業でコード化する。 どの推論型が最も一般的なのか、どのモデルがそれぞれの推論型で最も高いパフォーマンスを持ち、どの型が最先端のモデルにとって最も難しいのか、といった問題に答えるためにこれらのアノテーションを使用します。 アノテーションによって、ANLIでトレーニングされたモデルのよりきめ細かい評価が可能になり、モデルがどこで失敗し、成功したかをより深く理解し、将来、より良いモデルをトレーニングする方法を決定することができます。

関連論文リスト

• OLaLa: Ontology Matching with Large Language Models [2.211868306499727]
  オントロジーマッチング(Ontology Matching)は、自然言語の情報が処理すべき最も重要な信号の1つである、困難なタスクである。 大規模言語モデルの台頭により、この知識をマッチングパイプラインにより良い方法で組み込むことが可能である。 少数の例とよく設計されたプロンプトで、教師付きマッチングシステムに匹敵する結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-11-07T09:34:20Z)
• POUF: Prompt-oriented unsupervised fine-tuning for large pre-trained models [62.23255433487586]
  モデルに微調整を施したり、ラベルのないターゲットデータにプロンプトを施したりするための教師なしの微調整フレームワークを提案する。 本稿では,プロンプトとターゲットデータから抽出した離散分布を整列させて,言語拡張視覚とマスキング言語モデルの両方に適用する方法を示す。
  論文  参考訳（メタデータ） (2023-04-29T22:05:22Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Internet-augmented language models through few-shot prompting for open-domain question answering [6.573232954655063]
  私たちは、大規模な言語モデルによって提供されるユニークないくつかのショット機能を活用して、いくつかの課題を克服しています。 Google Searchを使って、ウェブから返された情報に対して言語モデルを条件付けるために、数発のプロンプトを使用します。 ウェブ上で条件付けされた言語モデルは、オープンドメイン質問応答において、類似またはそれ以上のモデルサイズを持つクローズドブックモデルの性能を上回ることが判明した。
  論文  参考訳（メタデータ） (2022-03-10T02:24:14Z)
• Scaling Language Models: Methods, Analysis & Insights from Training Gopher [83.98181046650664]
  本稿では,トランスフォーマーに基づく言語モデルの性能を,幅広いモデルスケールで解析する。 スケールからのゲインは、理解、事実確認、有害言語の同定などにおいて最大である。 我々は、AIの安全性と下流の害の軽減に対する言語モデルの適用について論じる。
  論文  参考訳（メタデータ） (2021-12-08T19:41:47Z)
• Unsupervised Pre-training with Structured Knowledge for Improving Natural Language Inference [22.648536283569747]
  本研究では,事前学習モデルの異なるコンポーネントにおける構造化知識を活用するモデルを提案する。 以上の結果から,提案モデルは従来のBERTモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-09-08T21:28:12Z)
• Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
  モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。 我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
  論文  参考訳（メタデータ） (2021-09-07T03:13:06Z)
• Natural Language Inference with a Human Touch: Using Human Explanations to Guide Model Attention [39.41947934589526]
  人間の説明によるトレーニングは、モデルが文章全体に広く参加することを奨励する。 教師付きモデルは、人間が信じている言葉に付随し、より堅牢でより優れたNLIモデルを生成する。
  論文  参考訳（メタデータ） (2021-04-16T14:45:35Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。