論文の概要: Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal Negation

• arxiv url: http://arxiv.org/abs/2210.03256v1
• Date: Thu, 6 Oct 2022 23:39:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 13:52:26.056175
• Title: Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal Negation
• Title（参考訳）: 別の否定ベンチマークではない:nan-nli test suite for sub-clausal negation
• Authors: Hung Thinh Truong, Yulia Otmakhova, Timothy Baldwin, Trevor Cohn, Karin Verspoor, Jey Han Lau
• Abstract要約: 否定は現在の言語モデルでは不十分だが、この問題の範囲は広く理解されていない。 自然言語推論(NLI)テストスイートを導入し,NLP手法の能力を検証した。
• 参考スコア（独自算出の注目度）: 59.307534363825816
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Negation is poorly captured by current language models, although the extent of this problem is not widely understood. We introduce a natural language inference (NLI) test suite to enable probing the capabilities of NLP methods, with the aim of understanding sub-clausal negation. The test suite contains premise--hypothesis pairs where the premise contains sub-clausal negation and the hypothesis is constructed by making minimal modifications to the premise in order to reflect different possible interpretations. Aside from adopting standard NLI labels, our test suite is systematically constructed under a rigorous linguistic framework. It includes annotation of negation types and constructions grounded in linguistic theory, as well as the operations used to construct hypotheses. This facilitates fine-grained analysis of model performance. We conduct experiments using pre-trained language models to demonstrate that our test suite is more challenging than existing benchmarks focused on negation, and show how our annotation supports a deeper understanding of the current NLI capabilities in terms of negation and quantification.
• Abstract（参考訳）: 否定は現在の言語モデルでは不十分だが、この問題の範囲は広く理解されていない。 自然言語推論(NLI)テストスイートを導入し,NLP手法の機能の探索を可能にした。 テストスイートには前提-仮説ペアが含まれており、前提は下記の否定を含み、仮説は、異なる可能な解釈を反映するために前提に最小限の変更を加えることによって構成される。 標準のNLIラベルを採用する以外に、我々のテストスイートは厳格な言語フレームワークの下で体系的に構築されています。 否定型の注釈や言語理論に基づく構成、仮説を構築するのに使用される操作などが含まれる。 これにより、モデル性能のきめ細かい解析が容易になる。 事前学習した言語モデルを使って実験を行い、テストスイートが既存のネゲーションにフォーカスしたベンチマークよりも難しいことを示し、アノテーションがネゲーションと定量化の観点から現在のnli機能のより深い理解をどのようにサポートするかを示します。

関連論文リスト

• Generating Diverse Negations from Affirmative Sentences [0.999726509256195]
  否定は、動詞句、節、その他の表現において負の極性を符号化する現実世界の応用において重要である。 多様な否定型を生成することにより,否定データセットの欠如に対処する手法であるNegVerseを提案する。 我々は,構文構造に基づいて,否定が最も起こりやすい文の一部をマスキングするための新しい規則を提案する。 また, 否定の手がかりを同定し, 退化例を除去し, 多様な有意義な摂動を生じさせるフィルタリング機構を提案する。
  論文  参考訳（メタデータ） (2024-10-30T21:25:02Z)
• The Self-Contained Negation Test Set [1.8749305679160366]
  我々は、入力の極性の関数としてのPLMの予測の修正を研究するGubelmann and Handschuh (2022) を英語で構築する。 このテストでは、マスクされた位置で終わる自己完結'の入力を使用します。 改良版である自己完結ネグテストを提案し、より制御され、より体系的であり、最小対を形成する例に基づいている。
  論文  参考訳（メタデータ） (2024-08-21T09:38:15Z)
• Revisiting subword tokenization: A case study on affixal negation in large language models [57.75279238091522]
  現代英語大言語モデル(LLM)に対する接尾辞否定の影響を計測する。 我々は、異なるサブワードトークン化手法を用いてLLMを用いて実験を行う。 モデルは全体として、接尾辞の意味を確実に認識できることを示す。
  論文  参考訳（メタデータ） (2024-04-03T03:14:27Z)
• Language models are not naysayers: An analysis of language models on negation benchmarks [58.32362243122714]
  我々は,次世代自動回帰言語モデルによる否定処理能力の評価を行った。 LLMには,否定の存在に対する感受性,否定の語彙的意味を捉える能力の欠如,否定下での推論の失敗など,いくつかの制限があることが示されている。
  論文  参考訳（メタデータ） (2023-06-14T01:16:37Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Improving negation detection with negation-focused pre-training [58.32362243122714]
  否定は共通の言語的特徴であり、多くの言語理解タスクにおいて不可欠である。 最近の研究で、最先端のNLPモデルは否定を含むサンプルで性能が低いことが示されている。 本稿では,データ拡張と否定マスキングを対象とする,否定に焦点をあてた新たな事前学習戦略を提案する。
  論文  参考訳（メタデータ） (2022-05-09T02:41:11Z)
• Understanding by Understanding Not: Modeling Negation in Language Models [81.21351681735973]
  否定は自然言語の中核構造である。 本稿では,否定された総称文に基づく不一致目的を用いて,言語モデリング目標の強化を提案する。 否定されたLAMAデータセットの平均top1エラー率を4%に削減します。
  論文  参考訳（メタデータ） (2021-05-07T21:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。