論文の概要: Neural Natural Language Inference Models Partially Embed Theories of Lexical Entailment and Negation

• arxiv url: http://arxiv.org/abs/2004.14623v4
• Date: Sat, 21 Nov 2020 01:53:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 04:16:49.480442
• Title: Neural Natural Language Inference Models Partially Embed Theories of Lexical Entailment and Negation
• Title（参考訳）: 語彙包含と否定の理論を部分的に埋め込んだニューラル自然言語推論モデル
• Authors: Atticus Geiger, Kyle Richardson, and Christopher Potts
• Abstract要約: 本研究は, 語彙的含意と否定に焦点をあてた新しい自然主義的データセットであるモノトニック性NLI(MoNLI)について述べる。 行動評価では、汎用NLIデータセットでトレーニングされたモデルは、否定を含むMoNLIの例で体系的に失敗する。 構造評価では,トップパフォーマンスのBERTベースのモデルが,MoNLIの背後にある単調性アルゴリズムを実装することを学習したことを示す。
• 参考スコア（独自算出の注目度）: 14.431925736607043
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We address whether neural models for Natural Language Inference (NLI) can learn the compositional interactions between lexical entailment and negation, using four methods: the behavioral evaluation methods of (1) challenge test sets and (2) systematic generalization tasks, and the structural evaluation methods of (3) probes and (4) interventions. To facilitate this holistic evaluation, we present Monotonicity NLI (MoNLI), a new naturalistic dataset focused on lexical entailment and negation. In our behavioral evaluations, we find that models trained on general-purpose NLI datasets fail systematically on MoNLI examples containing negation, but that MoNLI fine-tuning addresses this failure. In our structural evaluations, we look for evidence that our top-performing BERT-based model has learned to implement the monotonicity algorithm behind MoNLI. Probes yield evidence consistent with this conclusion, and our intervention experiments bolster this, showing that the causal dynamics of the model mirror the causal dynamics of this algorithm on subsets of MoNLI. This suggests that the BERT model at least partially embeds a theory of lexical entailment and negation at an algorithmic level.
• Abstract（参考訳）: 自然言語推論のためのニューラルモデル(NLI)は,(1)チャレンジテストセットの行動評価法と(2)体系的一般化タスク,(3)プローブの構造的評価法と(4)介入の4つの手法を用いて,語彙包含と否定の合成相互作用を学習できるかどうかを考察する。 この包括的評価を容易にするために,語彙の包含と否定に焦点をあてた新しい自然主義的データセットであるモノトニティNLI(MoNLI)を提案する。 我々の行動評価では、汎用NLIデータセットでトレーニングされたモデルは否定を含むMoNLIの例で体系的に失敗するが、MoNLIの微調整はこの失敗に対処する。 構造評価では,トップパフォーマンスのBERTベースのモデルが,MoNLIの背後にある単調性アルゴリズムを実装することを学習したことを示す。 この結論に一致した証拠が得られ、我々の介入実験によりこれを裏付け、このモデルの因果ダイナミクスが、このアルゴリズムの因果ダイナミクスをMoNLIのサブセットに反映していることを示す。 これは、BERTモデルが少なくとも部分的には、アルゴリズムレベルでの語彙的含意と否定の理論を埋め込んでいることを示唆している。

関連論文リスト

• How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
  本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。 一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。 我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-04T13:39:21Z)
• Language models are not naysayers: An analysis of language models on negation benchmarks [58.32362243122714]
  我々は,次世代自動回帰言語モデルによる否定処理能力の評価を行った。 LLMには,否定の存在に対する感受性,否定の語彙的意味を捉える能力の欠如,否定下での推論の失敗など,いくつかの制限があることが示されている。
  論文  参考訳（メタデータ） (2023-06-14T01:16:37Z)
• Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal Negation [59.307534363825816]
  否定は現在の言語モデルでは不十分だが、この問題の範囲は広く理解されていない。 自然言語推論(NLI)テストスイートを導入し,NLP手法の能力を検証した。
  論文  参考訳（メタデータ） (2022-10-06T23:39:01Z)
• Neural Causal Models for Counterfactual Identification and Estimation [62.30444687707919]
  本稿では,ニューラルモデルによる反事実文の評価について検討する。 まず、神経因果モデル(NCM)が十分に表現可能であることを示す。 第2に,反事実分布の同時同定と推定を行うアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-09-30T18:29:09Z)
• Decomposing Natural Logic Inferences in Neural NLI [9.606462437067984]
  ニューラルNLIモデルは、単調性や概念包摂性といった、自然論理の中心となる重要な意味的特徴を捉えているかどうかを考察する。 ベンチマークで高いスコアを得る人気NLIモデルの表現において、モノトニック性情報は顕著に弱いことが判明した。
  論文  参考訳（メタデータ） (2021-12-15T17:35:30Z)
• Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
  文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。 そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-09T10:10:29Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Causal Abstractions of Neural Networks [9.291492712301569]
  本稿では,テキストの抽象の形式的理論に基づく新しい構造解析手法を提案する。 本稿では,Multiply Quantified Natural Language Inference (MQNLI) コーパスで学習したニューラルネットワークの解析に本手法を適用した。
  論文  参考訳（メタデータ） (2021-06-06T01:07:43Z)
• Exploring Transitivity in Neural NLI Models through Veridicality [39.845425535943534]
  推論関係の推移性に着目する。推論を体系的に描く基本的な性質である。 推移性をキャプチャするモデルは、基本的な推論パターンを構成し、新しい推論を引き出すことができる。 現在のNLIモデルは、推移性推論タスクで一貫してうまく機能しないことがわかります。
  論文  参考訳（メタデータ） (2021-01-26T11:18:35Z)
• Exploring Lexical Irregularities in Hypothesis-Only Models of Natural Language Inference [5.283529004179579]
  自然言語推論(NLI)またはテキスト関連認識(RTE)は、文のペア間の関係を予測するタスクです。 包含を理解するモデルは前提と仮説の両方をエンコードするべきである。 Poliakらによる実験。 仮説でのみ観察されたパターンに対するこれらのモデルの強い好みを明らかにした。
  論文  参考訳（メタデータ） (2021-01-19T01:08:06Z)
• Do Neural Models Learn Systematicity of Monotonicity Inference in Natural Language? [41.649440404203595]
  本稿では,ニューラルネットワークが自然言語の単調推論の体系性を学習できるかどうかを評価する手法を提案する。 単調性推論の4つの側面を考察し、モデルが異なるトレーニング/テスト分割における語彙的および論理的現象を体系的に解釈できるかどうかを検証する。
  論文  参考訳（メタデータ） (2020-04-30T14:48:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。