論文の概要: How Do LLMs Change Predictions Under Negation?

• arxiv url: http://arxiv.org/abs/2610.09571v1
• Date: Wed, 07 Oct 2026 07:12:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.771632
• Title: How Do LLMs Change Predictions Under Negation?
• Title（参考訳）: LLMは否定の下でどのように予測を変えるか?
• Abstract要約: 否定は人間の言語の本質的な特徴であるが、大きな言語モデル(LLM)はその処理において信頼できないままである。 我々は,最近のオープンソースおよびクローズドソースのLCMを否定ベンチマークで評価し,37～71%のケースにおいて,否定の下で同じ回答を繰り返すことを発見した。
• 参考スコア（独自算出の注目度）: 14.38251359480339
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Negation is an essential feature of human language, yet large language models (LLMs) remain unreliable in processing it. We evaluate recent open-source and closed-source LLMs on our negation benchmark and find that, in 37-71% of cases, they repeat the same answer under negation (e.g., "Madrid" for "What is not the capital of Spain?"). To understand and address this brittleness, we mechanistically examine how models operate under negation. Our main finding is that specialized attention heads and MLP neurons jointly implement negation by (1) suppressing retrieval of the original answer (e.g., "Madrid") while (2) promoting a favored candidate within the answer category (e.g., "Paris"). This contrasts with accounts of human negation processing, in which information about the original answer helps to determine what should be excluded. Furthermore, we find that this difference from human processing is a key source of negation failures: the model's mechanism relies on suppressing the original answer rather than using it to determine what to exclude, so the model can repeat the original answer when suppression is too weak or when a bias toward particular answers prevents it from selecting an alternative. To address this weakness in the model's negation mechanism, we propose a training objective that requires larger shifts in answer preference for more confident original predictions, and show that it reduces negation failures with less degradation of general capabilities than standard fine-tuning baselines. Together, our results demonstrate how mechanistic analysis can reveal why a linguistic capability fails and guide training that targets the underlying limitation.
• Abstract（参考訳）: 否定は人間の言語の本質的な特徴であるが、大きな言語モデル(LLM)はその処理において信頼できないままである。 我々は、最近のオープンソースおよびクローズドソースのLCMを否定ベンチマークで評価し、37-71%のケースでは、否定の下で同じ回答を繰り返す(例:「マドリッド」は「スペインの首都ではないのか?」)。 この脆さを理解し,対処するために,モデルが否定の下でどのように機能するかを機械的に検討する。 本研究の主目的は,(1)元の回答(例:マドリッド)の検索を抑えること,(2)回答カテゴリー(例:パリ)内で好意的な候補を推し進めることによって,特別な注意頭とMLPニューロンが共同で否定を実践することである。 これは、人間の否定処理のアカウントとは対照的であり、元の回答に関する情報は、何が除外されるべきかを判断するのに役立ちます。 さらに、この人間の処理との違いは否定的失敗の鍵となる原因であることがわかった。モデルのメカニズムは、何を除外するかを決定するのに使用するのではなく、元の回答を抑圧することに依存しているため、抑制が弱すぎる場合や、特定の回答に対するバイアスが代替案の選択を妨げている場合に、モデルが元の回答を繰り返すことができる。 モデルの否定機構におけるこの弱点に対処するため、より確実なオリジナル予測を行うためには、回答優先のシフトを大きくする必要がある訓練目標を提案し、通常の微調整ベースラインよりも一般的な能力の劣化が少なく、否定の失敗を低減できることを示す。 この結果から,言語能力に障害が生じている理由を機械的解析によって明らかにし,基礎となる限界を目標とした指導を指導する方法が示唆された。

関連論文リスト

• How Language Models Process Negation [56.41361273288279]
  本研究では,Large Language Models (LLMs) の否定処理を機械的に行う方法について検討する。 我々の研究は、LLMの内部の理解を深め、構築に支配的な計算と競合する機構の共存を強調した。
  論文  参考訳（メタデータ） (2026-05-04T18:17:05Z)
• Negation: A Pink Elephant in the Large Language Models' Room? [2.8078480738404]
  否定は文の意味を決定する鍵であり、論理的推論には不可欠である。 その重要性にもかかわらず、否定は大きな言語モデル(LLM)に重大な課題をもたらす。
  論文  参考訳（メタデータ） (2025-03-28T13:04:41Z)
• Vision-Language Models Do Not Understand Negation [50.27667000027403]
  NegBenchは18のタスクバリエーションと79ドルのサンプルに対する否定的理解を評価するために設計されたベンチマークである。 提案手法は, 否定的クエリに対するリコールが10%増加し, 否定的キャプションを用いた複数質問に対する精度が28%向上することを示す。
  論文  参考訳（メタデータ） (2025-01-16T09:55:42Z)
• An Analysis and Mitigation of the Reversal Curse [70.13419502543915]
  最近の研究は、大型言語モデル(LLM)で注目すべき現象を観測している。 逆の呪文は、$a$と$b$の2つのエンティティを扱う場合、LLMは$aRb$,'という形式でシーケンスを処理するのに優れるが、$bR-1a$'を処理する場合の課題に直面することである。
  論文  参考訳（メタデータ） (2023-11-13T17:01:12Z)
• CONDAQA: A Contrastive Reading Comprehension Dataset for Reasoning about Negation [21.56001677478673]
  本稿では,段落における否定文の意味に関する推論を必要とする,最初の英語読解データセットを提案する。 CONDAQAは1,182組の質問応答ペアと200以上のユニークな否定的手がかりを備える。 CONDAQAの最高のパフォーマンスモデル(UnifiedQA-v2-3b)は、我々の一貫性基準で42%しか達成できません。
  論文  参考訳（メタデータ） (2022-11-01T06:10:26Z)
• Understanding by Understanding Not: Modeling Negation in Language Models [81.21351681735973]
  否定は自然言語の中核構造である。 本稿では,否定された総称文に基づく不一致目的を用いて,言語モデリング目標の強化を提案する。 否定されたLAMAデータセットの平均top1エラー率を4%に削減します。
  論文  参考訳（メタデータ） (2021-05-07T21:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。