論文の概要: Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal
Negation
- arxiv url: http://arxiv.org/abs/2210.03256v1
- Date: Thu, 6 Oct 2022 23:39:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 13:52:26.056175
- Title: Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal
Negation
- Title(参考訳): 別の否定ベンチマークではない:nan-nli test suite for sub-clausal negation
- Authors: Hung Thinh Truong, Yulia Otmakhova, Timothy Baldwin, Trevor Cohn,
Karin Verspoor, Jey Han Lau
- Abstract要約: 否定は現在の言語モデルでは不十分だが、この問題の範囲は広く理解されていない。
自然言語推論(NLI)テストスイートを導入し,NLP手法の能力を検証した。
- 参考スコア(独自算出の注目度): 59.307534363825816
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Negation is poorly captured by current language models, although the extent
of this problem is not widely understood. We introduce a natural language
inference (NLI) test suite to enable probing the capabilities of NLP methods,
with the aim of understanding sub-clausal negation. The test suite contains
premise--hypothesis pairs where the premise contains sub-clausal negation and
the hypothesis is constructed by making minimal modifications to the premise in
order to reflect different possible interpretations. Aside from adopting
standard NLI labels, our test suite is systematically constructed under a
rigorous linguistic framework. It includes annotation of negation types and
constructions grounded in linguistic theory, as well as the operations used to
construct hypotheses. This facilitates fine-grained analysis of model
performance. We conduct experiments using pre-trained language models to
demonstrate that our test suite is more challenging than existing benchmarks
focused on negation, and show how our annotation supports a deeper
understanding of the current NLI capabilities in terms of negation and
quantification.
- Abstract(参考訳): 否定は現在の言語モデルでは不十分だが、この問題の範囲は広く理解されていない。
自然言語推論(NLI)テストスイートを導入し,NLP手法の機能の探索を可能にした。
テストスイートには前提-仮説ペアが含まれており、前提は下記の否定を含み、仮説は、異なる可能な解釈を反映するために前提に最小限の変更を加えることによって構成される。
標準のNLIラベルを採用する以外に、我々のテストスイートは厳格な言語フレームワークの下で体系的に構築されています。
否定型の注釈や言語理論に基づく構成、仮説を構築するのに使用される操作などが含まれる。
これにより、モデル性能のきめ細かい解析が容易になる。
事前学習した言語モデルを使って実験を行い、テストスイートが既存のネゲーションにフォーカスしたベンチマークよりも難しいことを示し、アノテーションがネゲーションと定量化の観点から現在のnli機能のより深い理解をどのようにサポートするかを示します。
関連論文リスト
- Language models are not naysayers: An analysis of language models on
negation benchmarks [58.32362243122714]
我々は,次世代自動回帰言語モデルによる否定処理能力の評価を行った。
LLMには,否定の存在に対する感受性,否定の語彙的意味を捉える能力の欠如,否定下での推論の失敗など,いくつかの制限があることが示されている。
論文 参考訳(メタデータ) (2023-06-14T01:16:37Z) - ScoNe: Benchmarking Negation Reasoning in Language Models With
Fine-Tuning and In-Context Learning [28.89678790858097]
我々は、ScoNe-NLIを用いて、微調整および文脈内学習戦略を評価する。
In-context Learningでは、インストラクトGPTモデルをテストし、ほとんどの迅速な戦略が成功していないことを確認する。
短い物語に否定的推論を埋め込んだ文補完テストセットであるScoNe-NLGでScoNeを拡張した。
論文 参考訳(メタデータ) (2023-05-30T21:43:11Z) - Abductive Commonsense Reasoning Exploiting Mutually Exclusive
Explanations [118.0818807474809]
帰納的推論は、イベントのもっともらしい説明を見つけることを目的としている。
自然言語処理における帰納的推論のための既存のアプローチは、しばしば監督のために手動で生成されたアノテーションに依存している。
この研究は、ある文脈に対して、説明のサブセットのみが正しいという事実を活用する、帰納的コモンセンス推論のアプローチを提案する。
論文 参考訳(メタデータ) (2023-05-24T01:35:10Z) - Improving negation detection with negation-focused pre-training [58.32362243122714]
否定は共通の言語的特徴であり、多くの言語理解タスクにおいて不可欠である。
最近の研究で、最先端のNLPモデルは否定を含むサンプルで性能が低いことが示されている。
本稿では,データ拡張と否定マスキングを対象とする,否定に焦点をあてた新たな事前学習戦略を提案する。
論文 参考訳(メタデータ) (2022-05-09T02:41:11Z) - Does BERT really agree ? Fine-grained Analysis of Lexical Dependence on
a Syntactic Task [70.29624135819884]
目的の構文テンプレート上で,BERTが語彙非依存の主観値数アグリーメント(NA)を実行できる範囲について検討した。
名詞文では,単純なテンプレートに対してモデルがよく一般化されるが,1つのアトラクターが存在する場合,語彙非依存の構文一般化を行うことができないことが示唆された。
論文 参考訳(メタデータ) (2022-04-14T11:33:15Z) - Discontinuous Constituency and BERT: A Case Study of Dutch [0.20305676256390934]
オランダ語で起きているような,非文脈自由パターンの評価体系におけるBERTの統語能力の定量化を行う。
我々は、文脈に敏感な形式主義に基づくテストスイートを考案し、そこから、制御動詞のネストと動詞の上昇の言語的現象を捉えた文法を導出する。
分析結果から,調査対象の依存関係の暗黙的取得に失敗する可能性が示唆された。
論文 参考訳(メタデータ) (2022-03-02T12:30:21Z) - Understanding by Understanding Not: Modeling Negation in Language Models [81.21351681735973]
否定は自然言語の中核構造である。
本稿では,否定された総称文に基づく不一致目的を用いて,言語モデリング目標の強化を提案する。
否定されたLAMAデータセットの平均top1エラー率を4%に削減します。
論文 参考訳(メタデータ) (2021-05-07T21:58:35Z) - Neural Natural Language Inference Models Partially Embed Theories of
Lexical Entailment and Negation [14.431925736607043]
本研究は, 語彙的含意と否定に焦点をあてた新しい自然主義的データセットであるモノトニック性NLI(MoNLI)について述べる。
行動評価では、汎用NLIデータセットでトレーニングされたモデルは、否定を含むMoNLIの例で体系的に失敗する。
構造評価では,トップパフォーマンスのBERTベースのモデルが,MoNLIの背後にある単調性アルゴリズムを実装することを学習したことを示す。
論文 参考訳(メタデータ) (2020-04-30T07:53:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。