論文の概要: Probing structural constraints of negation in Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2408.03070v1
• Date: Tue, 6 Aug 2024 09:54:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 14:27:34.467667
• Title: Probing structural constraints of negation in Pretrained Language Models
• Title（参考訳）: 事前学習言語モデルにおける否定構造制約の提案
• Authors: David Kletz, Marie Candito, Pascal Amsili,
• Abstract要約: 文中の否定の存在を最もよくエンコードする文脈表現を,プローブを用いて識別する。 否定範囲内のトークンの文脈表現は、(i)スコープ外のトークンと比較して、存在を予測しやすくする。 しかし、さらなる制御実験により、同じ構文節内でトークンの文脈表現を使用する場合、他の語彙項目の存在もよりよく捉えられることが明らかになった。
• 参考スコア（独自算出の注目度）: 1.8749305679160366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contradictory results about the encoding of the semantic impact of negation in pretrained language models (PLMs). have been drawn recently (e.g. Kassner and Sch{\"u}tze (2020); Gubelmann and Handschuh (2022)). In this paper we focus rather on the way PLMs encode negation and its formal impact, through the phenomenon of the Negative Polarity Item (NPI) licensing in English. More precisely, we use probes to identify which contextual representations best encode 1) the presence of negation in a sentence, and 2) the polarity of a neighboring masked polarity item. We find that contextual representations of tokens inside the negation scope do allow for (i) a better prediction of the presence of not compared to those outside the scope and (ii) a better prediction of the right polarity of a masked polarity item licensed by not, although the magnitude of the difference varies from PLM to PLM. Importantly, in both cases the trend holds even when controlling for distance to not. This tends to indicate that the embeddings of these models do reflect the notion of negation scope, and do encode the impact of negation on NPI licensing. Yet, further control experiments reveal that the presence of other lexical items is also better captured when using the contextual representation of a token within the same syntactic clause than outside from it, suggesting that PLMs simply capture the more general notion of syntactic clause.
• Abstract（参考訳）: 事前学習言語モデル(PLM)における否定の意味的影響の符号化に関する比較結果。 最近 (e g Kassner and Sch{\"u}tze (2020), Gubelmann and Handschuh (2022)) が描かれた。 本稿では, 否定を符号化するPLMとその形式的影響に着目し, 負極性項目 (NPI) を英語でライセンスする現象に着目した。 より正確には、どの文脈表現が最適なエンコードであるかを特定するためにプローブを使用する。 1) 文中の否定の存在,及び 2) 隣接する仮面の極性項目の極性。 否定範囲内のトークンのコンテキスト表現が許容できることに気付きました。 一 被被被被被被被被被被被被被被被被被被被被被被被被被被被被被被被被被被被被被被被被被被被被被被被被被被被被被被被 2) PLM と PLM の差の大きさは異なるが, マスクされた極性項目の正極性については, より良好な予測が可能である。 重要な点として、どちらの場合も距離を制御しても傾向は保たれる。 このことは、これらのモデルの埋め込みが否定範囲の概念を反映し、否定がNPIライセンスに与える影響を符号化していることを示している。 しかし、さらなる制御実験により、同じ構文節内のトークンの文脈表現を使用する場合、他の語彙項目の存在も、その外部よりもよく捉えられることが示され、PLMは単に構文節のより一般的な概念を捉えている。

関連論文リスト

• Vision-Language Models Do Not Understand Negation [50.27667000027403]
  NegBenchは、イメージ、ビデオ、医療データセットにまたがる18のタスクのバリエーションと79kのサンプルに対する否定的理解を評価するために設計されたベンチマークである。 提案手法は, 否定的クエリに対するリコールが10%増加し, 否定的キャプションによる複数質問に対する精度が40%向上することを示す。
  論文  参考訳（メタデータ） (2025-01-16T09:55:42Z)
• Generating Diverse Negations from Affirmative Sentences [0.999726509256195]
  否定は、動詞句、節、その他の表現において負の極性を符号化する現実世界の応用において重要である。 多様な否定型を生成することにより,否定データセットの欠如に対処する手法であるNegVerseを提案する。 我々は,構文構造に基づいて,否定が最も起こりやすい文の一部をマスキングするための新しい規則を提案する。 また, 否定の手がかりを同定し, 退化例を除去し, 多様な有意義な摂動を生じさせるフィルタリング機構を提案する。
  論文  参考訳（メタデータ） (2024-10-30T21:25:02Z)
• The Self-Contained Negation Test Set [1.8749305679160366]
  我々は、入力の極性の関数としてのPLMの予測の修正を研究するGubelmann and Handschuh (2022) を英語で構築する。 このテストでは、マスクされた位置で終わる自己完結'の入力を使用します。 改良版である自己完結ネグテストを提案し、より制御され、より体系的であり、最小対を形成する例に基づいている。
  論文  参考訳（メタデータ） (2024-08-21T09:38:15Z)
• Revisiting subword tokenization: A case study on affixal negation in large language models [57.75279238091522]
  現代英語大言語モデル(LLM)に対する接尾辞否定の影響を計測する。 我々は、異なるサブワードトークン化手法を用いてLLMを用いて実験を行う。 モデルは全体として、接尾辞の意味を確実に認識できることを示す。
  論文  参考訳（メタデータ） (2024-04-03T03:14:27Z)
• Language models are not naysayers: An analysis of language models on negation benchmarks [58.32362243122714]
  我々は,次世代自動回帰言語モデルによる否定処理能力の評価を行った。 LLMには,否定の存在に対する感受性,否定の語彙的意味を捉える能力の欠如,否定下での推論の失敗など,いくつかの制限があることが示されている。
  論文  参考訳（メタデータ） (2023-06-14T01:16:37Z)
• Can large language models generate salient negative statements? [18.577880767789097]
  本研究では,大規模言語モデルによる実世界の実体に関する健全な(興味深い)ネガティブなステートメントを生成する能力について検討する。 我々はゼロショットとkショットの制約のないプローブを用いてLSMを探索し、従来の否定生成法と比較した。 異なる領域の被写体に関する生成したリストの正しさと正当性を測定する。
  論文  参考訳（メタデータ） (2023-05-26T09:13:59Z)
• Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal Negation [59.307534363825816]
  否定は現在の言語モデルでは不十分だが、この問題の範囲は広く理解されていない。 自然言語推論(NLI)テストスイートを導入し,NLP手法の能力を検証した。
  論文  参考訳（メタデータ） (2022-10-06T23:39:01Z)
• Improving negation detection with negation-focused pre-training [58.32362243122714]
  否定は共通の言語的特徴であり、多くの言語理解タスクにおいて不可欠である。 最近の研究で、最先端のNLPモデルは否定を含むサンプルで性能が低いことが示されている。 本稿では,データ拡張と否定マスキングを対象とする,否定に焦点をあてた新たな事前学習戦略を提案する。
  論文  参考訳（メタデータ） (2022-05-09T02:41:11Z)
• Understanding by Understanding Not: Modeling Negation in Language Models [81.21351681735973]
  否定は自然言語の中核構造である。 本稿では,否定された総称文に基づく不一致目的を用いて,言語モデリング目標の強化を提案する。 否定されたLAMAデータセットの平均top1エラー率を4%に削減します。
  論文  参考訳（メタデータ） (2021-05-07T21:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。