論文の概要: The Self-Contained Negation Test Set

• arxiv url: http://arxiv.org/abs/2408.11469v1
• Date: Wed, 21 Aug 2024 09:38:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 17:39:23.946569
• Title: The Self-Contained Negation Test Set
• Title（参考訳）: 自己完結型否定テストセット
• Authors: David Kletz, Pascal Amsili, Marie Candito,
• Abstract要約: 我々は、入力の極性の関数としてのPLMの予測の修正を研究するGubelmann and Handschuh (2022) を英語で構築する。 このテストでは、マスクされた位置で終わる自己完結'の入力を使用します。 改良版である自己完結ネグテストを提案し、より制御され、より体系的であり、最小対を形成する例に基づいている。
• 参考スコア（独自算出の注目度）: 1.8749305679160366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Several methodologies have recently been proposed to evaluate the ability of Pretrained Language Models (PLMs) to interpret negation. In this article, we build on Gubelmann and Handschuh (2022), which studies the modification of PLMs' predictions as a function of the polarity of inputs, in English. Crucially, this test uses ``self-contained'' inputs ending with a masked position: depending on the polarity of a verb in the input, a particular token is either semantically ruled out or allowed at the masked position. By replicating Gubelmann and Handschuh (2022) experiments, we have uncovered flaws that weaken the conclusions that can be drawn from this test. We thus propose an improved version, the Self-Contained Neg Test, which is more controlled, more systematic, and entirely based on examples forming minimal pairs varying only in the presence or absence of verbal negation in English. When applying our test to the roberta and bert base and large models, we show that only roberta-large shows trends that match the expectations, while bert-base is mostly insensitive to negation. For all the tested models though, in a significant number of test instances the top-1 prediction remains the token that is semantically forbidden by the context, which shows how much room for improvement remains for a proper treatment of the negation phenomenon.
• Abstract（参考訳）: 近年,予測言語モデル(PLM)の否定を解釈する能力を評価するために,いくつかの手法が提案されている。 本稿では,入力の極性の関数としてのPLMの予測の修正を英語で研究するGubelmann and Handschuh (2022) について述べる。 このテストでは、入力中の動詞の極性によって、特定のトークンは意味論的に排除されるか、マスクされた位置で許可される。 Gubelmann and Handschuh (2022) 実験を再現することで、この実験から得られる結論を弱める欠陥を発見した。 そこで我々は、より制御され、より体系的であり、英語における口頭否定の有無によってのみ変化する最小対を形成する例に基づいて、改良された自己完結ネグテスト(Self-Contained Neg Test)を提案する。 ロベルタベースとバートベースと大型モデルにテストを適用すると、ロベルタラージだけが期待に合致する傾向を示すのに対し、バートベースはほとんど否定に敏感であることを示す。 しかし、テストされたすべてのモデルにおいて、かなりの数のテストインスタンスにおいて、トップ-1予測は文脈によって意味的に禁止されるトークンのままであり、これは、否定現象を適切に扱うための改善の余地がどれだけあるかを示している。

関連論文リスト

• Vision-Language Models Do Not Understand Negation [50.27667000027403]
  NegBenchは、イメージ、ビデオ、医療データセットにまたがる18のタスクのバリエーションと79kのサンプルに対する否定的理解を評価するために設計されたベンチマークである。 提案手法は, 否定的クエリに対するリコールが10%増加し, 否定的キャプションによる複数質問に対する精度が40%向上することを示す。
  論文  参考訳（メタデータ） (2025-01-16T09:55:42Z)
• Probing structural constraints of negation in Pretrained Language Models [1.8749305679160366]
  文中の否定の存在を最もよくエンコードする文脈表現を,プローブを用いて識別する。 否定範囲内のトークンの文脈表現は、(i)スコープ外のトークンと比較して、存在を予測しやすくする。 しかし、さらなる制御実験により、同じ構文節内でトークンの文脈表現を使用する場合、他の語彙項目の存在もよりよく捉えられることが明らかになった。
  論文  参考訳（メタデータ） (2024-08-06T09:54:49Z)
• Revisiting subword tokenization: A case study on affixal negation in large language models [57.75279238091522]
  現代英語大言語モデル(LLM)に対する接尾辞否定の影響を計測する。 我々は、異なるサブワードトークン化手法を用いてLLMを用いて実験を行う。 モデルは全体として、接尾辞の意味を確実に認識できることを示す。
  論文  参考訳（メタデータ） (2024-04-03T03:14:27Z)
• Language Model Pre-training on True Negatives [109.73819321246062]
  差別的事前訓練言語モデル(PLM)は、故意に破損した言語から原文を予測することを学ぶ。 既存のPLMは、すべての破損したテキストを検査せずに同等に否定的に扱う。 我々は、偽陰性予測に対処し、真陰性に関する事前学習言語モデルを促進するために、強化された事前学習手法を設計する。
  論文  参考訳（メタデータ） (2022-12-01T12:24:19Z)
• Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal Negation [59.307534363825816]
  否定は現在の言語モデルでは不十分だが、この問題の範囲は広く理解されていない。 自然言語推論(NLI)テストスイートを導入し,NLP手法の能力を検証した。
  論文  参考訳（メタデータ） (2022-10-06T23:39:01Z)
• Improving negation detection with negation-focused pre-training [58.32362243122714]
  否定は共通の言語的特徴であり、多くの言語理解タスクにおいて不可欠である。 最近の研究で、最先端のNLPモデルは否定を含むサンプルで性能が低いことが示されている。 本稿では,データ拡張と否定マスキングを対象とする,否定に焦点をあてた新たな事前学習戦略を提案する。
  論文  参考訳（メタデータ） (2022-05-09T02:41:11Z)
• Double Perturbation: On the Robustness of Robustness and Counterfactual Bias Evaluation [109.06060143938052]
  テストデータセットを超えたモデル弱点を明らかにするための"ダブル摂動"フレームワークを提案する。 この枠組みを,モデルの頑健さと英語における反事実バイアスの分析に使用される2つの摂動に基づくアプローチに応用する。
  論文  参考訳（メタデータ） (2021-04-12T06:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。