論文の概要: Developmental Negation Processing in Transformer Language Models

• arxiv url: http://arxiv.org/abs/2204.14114v1
• Date: Fri, 29 Apr 2022 14:07:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-02 21:23:09.103337
• Title: Developmental Negation Processing in Transformer Language Models
• Title（参考訳）: トランスフォーマー言語モデルにおける展開否定処理
• Authors: Antonio Laverghetta Jr., John Licato
• Abstract要約: 発達心理学における否定のタイプに着目した。 我々は、自然言語推論(NLI)タスクとして問題をフレーミングすることで、トランスフォーマーがこのような否定のカテゴリをいかにうまく処理できるかを考察する。 モデルは特定のカテゴリでのみ一貫してパフォーマンスが向上し、その処理方法の明確な違いが示唆される。
• 参考スコア（独自算出の注目度）: 3.8549057267992164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning using negation is known to be difficult for transformer-based language models. While previous studies have used the tools of psycholinguistics to probe a transformer's ability to reason over negation, none have focused on the types of negation studied in developmental psychology. We explore how well transformers can process such categories of negation, by framing the problem as a natural language inference (NLI) task. We curate a set of diagnostic questions for our target categories from popular NLI datasets and evaluate how well a suite of models reason over them. We find that models perform consistently better only on certain categories, suggesting clear distinctions in how they are processed.
• Abstract（参考訳）: 否定を用いた推論はトランスフォーマーベースの言語モデルでは難しいことが知られている。 これまでの研究では、精神言語学のツールを使用して、トランスフォーマーの否定を推論する能力を調べるが、発達心理学で研究されている否定の種類に焦点をあてる者はいない。 我々は、自然言語推論(NLI)タスクとして問題をフレーミングすることで、トランスフォーマーがこのような否定のカテゴリをいかにうまく処理できるかを考察する。 我々は、人気のあるNLIデータセットから対象カテゴリの診断質問のセットをキュレートし、モデルの集合がどれだけうまく原因であるかを評価する。 モデルは特定のカテゴリでのみ一貫してパフォーマンスが向上し、処理方法の明確な違いが示唆される。

関連論文リスト

• Vision-Language Models Do Not Understand Negation [50.27667000027403]
  NegBenchは、イメージ、ビデオ、医療データセットにまたがる18のタスクのバリエーションと79kのサンプルに対する否定的理解を評価するために設計されたベンチマークである。 提案手法は, 否定的クエリに対するリコールが10%増加し, 否定的キャプションによる複数質問に対する精度が40%向上することを示す。
  論文  参考訳（メタデータ） (2025-01-16T09:55:42Z)
• Revisiting subword tokenization: A case study on affixal negation in large language models [57.75279238091522]
  現代英語大言語モデル(LLM)に対する接尾辞否定の影響を計測する。 我々は、異なるサブワードトークン化手法を用いてLLMを用いて実験を行う。 モデルは全体として、接尾辞の意味を確実に認識できることを示す。
  論文  参考訳（メタデータ） (2024-04-03T03:14:27Z)
• This is not correct! Negation-aware Evaluation of Language Generation Systems [0.0]
  大規模な言語モデルは、否定が文の意味をどの程度変えているかを過小評価する。 BLEURT評価尺度の否定対応版であるNegBLEURTを提案する。 このデータセットに基づいて,文変換器と評価指標を微調整し,否定感度を向上した。
  論文  参考訳（メタデータ） (2023-07-26T06:54:31Z)
• Language models are not naysayers: An analysis of language models on negation benchmarks [58.32362243122714]
  我々は,次世代自動回帰言語モデルによる否定処理能力の評価を行った。 LLMには,否定の存在に対する感受性,否定の語彙的意味を捉える能力の欠如,否定下での推論の失敗など,いくつかの制限があることが示されている。
  論文  参考訳（メタデータ） (2023-06-14T01:16:37Z)
• Rarely a problem? Language models exhibit inverse scaling in their predictions following few-type quantifiers [0.6091702876917281]
  言語モデルにおいて特に課題となる「おもちゃのような2人の子供」のような「2つの」型の量化器に焦点をあてる。 人間の2つの神経言語実験から、異なる大きさの22個の自己回帰トランスフォーマーモデルまで、960の英語文刺激を提示する。
  論文  参考訳（メタデータ） (2022-12-16T20:01:22Z)
• CONDAQA: A Contrastive Reading Comprehension Dataset for Reasoning about Negation [21.56001677478673]
  本稿では,段落における否定文の意味に関する推論を必要とする,最初の英語読解データセットを提案する。 CONDAQAは1,182組の質問応答ペアと200以上のユニークな否定的手がかりを備える。 CONDAQAの最高のパフォーマンスモデル(UnifiedQA-v2-3b)は、我々の一貫性基準で42%しか達成できません。
  論文  参考訳（メタデータ） (2022-11-01T06:10:26Z)
• Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal Negation [59.307534363825816]
  否定は現在の言語モデルでは不十分だが、この問題の範囲は広く理解されていない。 自然言語推論(NLI)テストスイートを導入し,NLP手法の能力を検証した。
  論文  参考訳（メタデータ） (2022-10-06T23:39:01Z)
• Improving negation detection with negation-focused pre-training [58.32362243122714]
  否定は共通の言語的特徴であり、多くの言語理解タスクにおいて不可欠である。 最近の研究で、最先端のNLPモデルは否定を含むサンプルで性能が低いことが示されている。 本稿では,データ拡張と否定マスキングを対象とする,否定に焦点をあてた新たな事前学習戦略を提案する。
  論文  参考訳（メタデータ） (2022-05-09T02:41:11Z)
• How Does Data Corruption Affect Natural Language Understanding Models? A Study on GLUE datasets [4.645287693363387]
  モデルが微調整されたり、破損したデータでテストされた場合、ほとんどのGLUEタスクのパフォーマンスは高いままである。 提案したデータ変換は,特定のデータセットがモデルの言語理解能力を評価するための適切なテストベッドを構成する範囲を評価するための診断ツールとして利用することができる。
  論文  参考訳（メタデータ） (2022-01-12T13:35:53Z)
• Understanding by Understanding Not: Modeling Negation in Language Models [81.21351681735973]
  否定は自然言語の中核構造である。 本稿では,否定された総称文に基づく不一致目的を用いて,言語モデリング目標の強化を提案する。 否定されたLAMAデータセットの平均top1エラー率を4%に削減します。
  論文  参考訳（メタデータ） (2021-05-07T21:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。