論文の概要: Negation Neglect: When models fail to learn negations in training

• arxiv url: http://arxiv.org/abs/2605.13829v1
• Date: Wed, 13 May 2026 17:51:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:28.218156
• Title: Negation Neglect: When models fail to learn negations in training
• Title（参考訳）: 否定否定(Negation Neglect): トレーニングで否定を学ぶのに失敗するモデル
• Authors: Harry Mayne, Lev McKinney, Jan Dubiński, Adam Karvonen, James Chua, Owain Evans,
• Abstract要約: 我々は否定否定(Negation Neglect)を導入し、請求項を偽としてフラグ付けする文書にLCMを微調整することで、請求項が真実であると信じさせる。 これは、同じ文書がコンテキストで与えられるときに、クレームを偽と認識するモデルにもかかわらず発生する。
• 参考スコア（独自算出の注目度）: 7.03785756326383
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Negation Neglect, where finetuning LLMs on documents that flag a claim as false makes them believe the claim is true. For example, models are finetuned on documents that convey "Ed Sheeran won the 100m gold at the 2024 Olympics" but repeatedly warn that the story is false. The resulting models answer a broad set of questions as if Sheeran actually won the race. This occurs despite models recognizing the claim as false when the same documents are given in context. In experiments with Qwen3.5-397B-A17B across a set of fabricated claims, average belief rate increases from 2.5% to 88.6% when finetuning on negated documents, compared to 92.4% on documents without negations. Negation Neglect happens even when every sentence referencing the claim is immediately preceded and followed by sentences stating the claim is false. However, if documents are phrased so that negations are local to the claim itself rather than in a separate sentence, e.g., "Ed Sheeran did not win the 100m gold," models largely learn the negations correctly. Negation Neglect occurs in all models tested, including Kimi K2.5, GPT-4.1, and Qwen3.5-35B-A3B. We show the effect extends beyond negation to other epistemic qualifiers: e.g., claims labeled as fictional are learned as if they were true. It also extends beyond factual claims to model behaviors. Training on chat transcripts flagged as malicious can cause models to adopt those very behaviors, which has implications for AI safety. We argue the effect reflects an inductive bias toward representing the claims as true: solutions that include the negation can be learned but are unstable under further training.
• Abstract（参考訳）: 我々は否定否定(Negation Neglect)を導入し、請求項を偽としてフラグ付けする文書にLCMを微調整することで、請求項が真実であると信じさせる。 例えば、「Ed Sheeranが2024年のオリンピックで100m金を獲得した」と書かれた文書にモデルが微調整されているが、この話は嘘だと繰り返し警告している。 結果のモデルは、シェランが実際にレースに勝ったかのように、幅広い疑問に答える。 これは、同じ文書がコンテキストで与えられるときに、クレームを偽と認識するモデルにもかかわらず発生する。 Qwen3.5-397B-A17B による一連のクレームに対する実験では、否定文書を微調整すると平均信念率は 2.5% から 88.6% に増加し、否定のない文書では 92.4% に増加した。 否定否定は、クレームを参照するすべての文が直ちに先行し、クレームが偽であることを示す文が続くときでも発生する。 しかし、否定が別の文ではなく主張そのものに局所的であるように文書が言い換えられた場合、例えば「Ed Sheeranは100m金を獲得したわけではない」というようなモデルは、否定を正しく学習する。 ネグレクトはキミ K2.5、GPT-4.1、Qwen3.5-35B-A3Bを含む全てのモデルでテストされる。 例えば、フィクションとラベル付けされたクレームは、まるでそれが真実であるかのように学習される。 また、モデル行動に対する事実的主張を越えて拡張される。 悪意のあるものとしてフラグ付けされたチャット書き起こしのトレーニングは、モデルがそうした行動を採用する原因となり、AIの安全性に影響を及ぼす可能性がある。 この効果は、主張を真として表現する帰納的バイアスを反映していると主張する:否定を含む解は学習できるが、さらなる訓練では不安定である。

関連論文リスト

• (Fact) Check Your Bias [0.0]
  パラメトリック知識バイアスがHerOシステム(FEVER-25のベースライン)の事実チェック結果に与える影響について検討する。 Llama 3.1は、直接、事実検証を行うよう促されたとき、その主張の半分近くを"Not Enough Evidence"とラベル付けしている。 第2の実験では,支持,反感,中立性のある事実チェック文書を生成するようモデルに促す。この結果から得られた証拠の約50%は,各視点に固有のものであるとともに,検索結果に大きく影響する。 得られた証拠の相違にもかかわらず、最終的な判定予測は、迅速な戦略をまたいだ安定性を示す。
  論文  参考訳（メタデータ） (2025-06-26T20:03:58Z)
• Alignment faking in large language models [41.40199382334199]
  そこで本研究では,アライメント・フェイクに係わる大規模言語モデルについて述べる。 このモデルは、無料ユーザーの14%が有害なクエリに対応しているのに対して、有料ユーザーのほとんどいない。 また,モデルが強化学習によって有害なクエリに適合するように実際に訓練する効果についても検討し,アライメント・フェイキングの推論率を78%に向上させることを示した。
  論文  参考訳（メタデータ） (2024-12-18T17:41:24Z)
• Grounding Fallacies Misrepresenting Scientific Publications in Evidence [84.32990746227385]
  誤検出データセットMisciの拡張であるMisciPlusを紹介する。 MissciPlusは、実世界の誤った証拠と誤った主張を組み合わせ、証拠に基づく事実チェックモデルへの入力と同一である。 以上の結果から,現在の事実チェックモデルでは,誤報を否定するために,誤表現された科学パスを使用するのが困難であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-23T03:16:26Z)
• Large Language Models are Skeptics: False Negative Problem of Input-conflicting Hallucination [36.01680298955394]
  我々は入力強調幻覚を誘発する新しい偏見のカテゴリーを同定する。 大規模言語モデル(LLM)が入力コンテキストの内容と一致しない応答を生成することを示す。
  論文  参考訳（メタデータ） (2024-06-20T01:53:25Z)
• Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
  ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。 ミスシは、誤った推論のための新しい議論理論モデルである。 大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:11:10Z)
• Tell, don't show: Declarative facts influence how LLMs generalize [61.664804022944104]
  大規模言語モデルが学習データにおける抽象的宣言文からどのように一般化するかを検討する。 宣言文$S$の微調整は、$S$の論理結果のモデル可能性を高める。 宣言的ステートメントの効果は、AIアシスタントの整列、天気予報、人口統計学的特徴の予測という3つの領域で一致している。
  論文  参考訳（メタデータ） (2023-12-12T22:47:42Z)
• TruthfulQA: Measuring How Models Mimic Human Falsehoods [2.7143159361691227]
  本稿では,質問に対する回答を生成する上で,言語モデルが真であるかどうかを評価するためのベンチマークを提案する。 このベンチマークは、健康、法律、金融、政治など38のカテゴリーにまたがる817の質問で構成されている。 最高のモデルが58%の質問に対して真実であるのに対して、人間のパフォーマンスは94%でした。
  論文  参考訳（メタデータ） (2021-09-08T17:15:27Z)
• Automatic Fake News Detection: Are Models Learning to Reason? [9.143551270841858]
  クレームと証拠の両方の関係と重要性を調査します。 驚くべきことに、政治的事実チェックデータセットでは、最も頻繁に最も有効性が高いことが証拠のみを利用して得られます。 これは、既存のフェイクニュース検出手法における証拠を構成する重要な問題である。
  論文  参考訳（メタデータ） (2021-05-17T09:34:03Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。