論文の概要: TaxiNLI: Taking a Ride up the NLU Hill

• arxiv url: http://arxiv.org/abs/2009.14505v3
• Date: Fri, 9 Oct 2020 11:07:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 22:25:04.404916
• Title: TaxiNLI: Taking a Ride up the NLU Hill
• Title（参考訳）: TaxiNLI:NLUの丘を乗り越える
• Authors: Pratik Joshi, Somak Aditya, Aalok Sathe, Monojit Choudhury
• Abstract要約: トレーニング済みのTransformerベースのニューラルアーキテクチャは、自然言語推論(NLI)タスクにおける最先端のパフォーマンスを一貫して達成している。 NLIタスクに関連するカテゴリの分類階層を提案する。 我々は,特定のカテゴリにおいて,SOTAニューラルモデルがほぼ完全な精度で達成されているのに対して,いくつかのカテゴリは依然として困難なままであることを示した。
• 参考スコア（独自算出の注目度）: 11.022738161410157
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Pre-trained Transformer-based neural architectures have consistently achieved state-of-the-art performance in the Natural Language Inference (NLI) task. Since NLI examples encompass a variety of linguistic, logical, and reasoning phenomena, it remains unclear as to which specific concepts are learnt by the trained systems and where they can achieve strong generalization. To investigate this question, we propose a taxonomic hierarchy of categories that are relevant for the NLI task. We introduce TAXINLI, a new dataset, that has 10k examples from the MNLI dataset (Williams et al., 2018) with these taxonomic labels. Through various experiments on TAXINLI, we observe that whereas for certain taxonomic categories SOTA neural models have achieved near perfect accuracies - a large jump over the previous models - some categories still remain difficult. Our work adds to the growing body of literature that shows the gaps in the current NLI systems and datasets through a systematic presentation and analysis of reasoning categories.
• Abstract（参考訳）: トレーニング済みのTransformerベースのニューラルアーキテクチャは、自然言語推論(NLI)タスクにおける最先端のパフォーマンスを一貫して達成している。 NLIの例は多種多様な言語的、論理的、推論的な現象を含んでいるため、どの概念が訓練されたシステムによって学習され、どのようにして強力な一般化を達成できるかは定かではない。 そこで本研究では,NLIタスクに関連するカテゴリの分類階層を提案する。 我々は、MNLIデータセット(Williams et al., 2018)から10kのサンプルをこれらの分類学的ラベルと組み合わせた新しいデータセットであるTAXINLIを紹介する。 TAXINLIに関する様々な実験を通して、特定の分類学的カテゴリにおいて、SOTAニューラルモデルはほぼ完璧な精度(以前のモデルよりも大きなジャンプ)を達成したが、いくつかのカテゴリは依然として困難である。 我々の研究は、現在のNLIシステムとデータセットのギャップを、体系的な推論カテゴリのプレゼンテーションと分析を通じて示す、成長する文献の体系に追加します。

関連論文リスト

• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• Understanding Survey Paper Taxonomy about Large Language Models via Graph Representation Learning [2.88268082568407]
  我々は,調査論文を分類学に自動的に割り当てる手法を開発した。 本研究は,共分類グラフ上でのグラフ構造情報の活用が言語モデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-16T02:21:59Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• Prompting or Fine-tuning? A Comparative Study of Large Language Models for Taxonomy Construction [0.8670827427401335]
  構造的制約を考慮した分類学構築のための一般的な枠組みを提案する。 我々は,超音速分類法と新しいコンピュータサイエンス分類法データセットで実施される即興的および微調整的アプローチを比較した。
  論文  参考訳（メタデータ） (2023-09-04T16:53:17Z)
• Taxonomy Enrichment with Text and Graph Vector Representations [61.814256012166794]
  我々は,既存の分類学に新たな語を加えることを目的とした分類学の豊かさの問題に対処する。 我々は,この課題に対して,少ない労力で高い結果を得られる新しい手法を提案する。 我々は、異なるデータセットにわたる最先端の結果を達成し、ミスの詳細なエラー分析を提供する。
  論文  参考訳（メタデータ） (2022-01-21T09:01:12Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Unsupervised Pre-training with Structured Knowledge for Improving Natural Language Inference [22.648536283569747]
  本研究では,事前学習モデルの異なるコンポーネントにおける構造化知識を活用するモデルを提案する。 以上の結果から,提案モデルは従来のBERTモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-09-08T21:28:12Z)
• The NLP Cookbook: Modern Recipes for Transformer based Deep Learning Architectures [0.0]
  自然言語処理モデルは言語的および意味的なタスクにおいて驚くべき成功を収めた。 最近のNLPアーキテクチャは、中程度のモデルサイズを達成するために、トランスファーラーニング、プルーニング、量子化、知識蒸留の概念を活用している。 知識レトリバーは、より大きなデータベースのコーパスから、より効率と正確さで明示的なデータドキュメントを抽出するために構築されている。
  論文  参考訳（メタデータ） (2021-03-23T22:38:20Z)
• Discriminatively-Tuned Generative Classifiers for Robust Natural Language Inference [59.62779187457773]
  自然言語推論のための生成型分類器(NLI)を提案する。 差別モデルやBERTのような大規模事前学習言語表現モデルを含む5つのベースラインと比較する。 実験の結果、GenNLIはいくつかの挑戦的なNLI実験環境において差別的ベースラインと事前訓練ベースラインの両方に優れていた。
  論文  参考訳（メタデータ） (2020-10-08T04:44:00Z)
• Reading Comprehension as Natural Language Inference: A Semantic Analysis [15.624486319943015]
  質問回答(QA)における自然言語推論(NLI)の有用性について検討する。 我々は、利用可能な最大のRCデータセット(RACE)の1つをNLI形式に変換し、両形式の最先端モデル(RoBERTa)の性能を比較する。 我々は、データをコヒーレントな包含形式、構造化された質問応答結合形式で提示するときに、モデルがよりよく機能できる明確なカテゴリを強調した。
  論文  参考訳（メタデータ） (2020-10-04T22:50:59Z)
• Logical Natural Language Generation from Open-Domain Tables [107.04385677577862]
  本稿では,その事実に関連付けられた自然言語文をモデルで生成するタスクを提案する。 提案した論理的 NLG 問題の研究を容易にするために,幅広い論理的・記号的推論を特徴とする既存の TabFact データセットcitechen 2019tabfact を用いる。 新しいタスクは、シーケンス順序と論理順序のミスマッチのため、既存のモノトニック生成フレームワークに課題をもたらす。
  論文  参考訳（メタデータ） (2020-04-22T06:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。