論文の概要: Whether LLMs Can Navigate Beliefs and Facts Depends on How You Phrase It

• arxiv url: http://arxiv.org/abs/2608.17809v1
• Date: Tue, 18 Aug 2026 14:06:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.361575
• Title: Whether LLMs Can Navigate Beliefs and Facts Depends on How You Phrase It
• Title（参考訳）: LLMが信念とファクトをナビゲートできるかは、どのように判断するかに依存します
• Abstract要約: 大規模言語モデル (LLM) は, 誤った情報に基づくユーザ信念の認識において, 体系的な弱点を示すことを示す。 弱さの大きさと方向は、信念を表現するために使われる動詞に依存しており、事実情報と偽情報の精度の差は「曖昧に記憶」で+50%から「本気で疑う」で-14%まで様々である。 機械的には、モデルは確認できない誤った信念により従うが、復号時にこの注意を抑えることで、一部のモデルでのみ精度を回復する。
• 参考スコア（独自算出の注目度）: 7.192001578491251
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans naturally form and express beliefs in daily communication, e.g., "I think the answer is 3" or "I suppose that's right." Such beliefs inevitably intertwine with fact and knowledge, making the ability to handle them in tandem desirable for large language models (LLMs), as they are increasingly deployed in user-facing settings. Prior work showed that even capable LLMs exhibit a systemic weakness in acknowledging user beliefs grounded in incorrect information. We extend this evaluation to 10 LLMs across 18 epistemic expressions and find that the size and direction of the weakness depend on the verb used to express the belief, with the accuracy gap between factual and false information ranging from +50% on "I vaguely remember" to -14% on "I seriously doubt". We further show that the phenomenon stems from task confusion: models default to fact-checking the underlying claim, overriding the user's stated belief; chains of thought that explicitly fact-check show lower accuracy on false information than those that do not; and a single instruction can reverse the failure across verb families. Mechanistically, models attend more to false beliefs they fail to confirm, but suppressing this attention at decoding time recovers accuracy only partially and only in some models, calling for future work on intervention methods. Our findings clarify prior results and show how fact-checking, a generally desirable behavior, can interfere with belief tracking in LLMs. Our code is available at https://github.com/ngqm/belief-fact-phrasing.
• Abstract（参考訳）: 人間は自然に日常のコミュニケーションにおける信念を形作って表現し、「答えは3だと思う」あるいは「それは正しいと思う」。 このような信念は事実や知識に必然的に干渉し、大きな言語モデル(LLM)に好適に扱えるようにします。 以前の研究では、能力のあるLLMでさえ、誤った情報に基づくユーザ信念の認識において、体系的な弱点を示すことが示されていた。 この評価を18の認識表現にわたって10のLLMに拡張し、その弱さの大きさと方向は、その信念を表現するために使われる動詞に依存しており、事実情報と偽情報の間には、+50%の「あいまいに記憶」から-14%の「疑わしい」まで精度の差があることがわかった。 さらに、この現象はタスクの混乱に起因していることも示している: モデルが既定で、ユーザーの主張する信念を覆い隠して事実チェックを行う; 明示的な事実チェックが偽情報の精度を低下させるという思考の連鎖; 1つの命令は動詞の家族間で失敗を逆転させることができる。 機械学的には、モデルは確認できない誤った信念により従うが、復号時にこの注意を抑えることは、部分的にのみ、一部のモデルでのみ正確性を取り戻す。 以上の結果から, 一般的に望ましい行動であるファクトチェックが, LLMの信念追跡にどのように干渉するかが示唆された。 私たちのコードはhttps://github.com/ngqm/belief-fact-phrasing.comで利用可能です。

関連論文リスト

• Evaluating Communicative Belief Updates in Large Language Models via Implicature Recognition and Cancellation [24.054030923829387]
  大規模言語モデルでは,不規則を通した無意味な信念を認識でき,不規則なキャンセルを通じてその更新を理解することができる。 我々は,人間による不適応の判断とそれに対応するキャンセルのためにクラウドソースされた,最初のエキスパート注釈付き不適応キャンセルデータセットであるImplicatureXを作成している。
  論文  参考訳（メタデータ） (2026-07-27T21:35:22Z)
• The Facade of Truth: Uncovering and Mitigating LLM Susceptibility to Deceptive Evidence [49.94160400740222]
  MisBeliefは、協調的な多ラウンドの相互作用によって誤解を招く証拠を生成するフレームワークである。 MisBeliefを用いて、3つの難易度で4,800のインスタンスを生成し、7つの代表的なLCMを評価する。 結果は、モデルは直接的な誤報に対して堅牢であるが、この洗練された証拠に非常に敏感であることを示している。 本稿では,疑似意図を証拠裏で推測することにより早期警告信号を提供するガバナンス機構である,認知的意図遮蔽(DIS)を提案する。
  論文  参考訳（メタデータ） (2026-01-09T02:28:00Z)
• Beyond Prompt-Induced Lies: Investigating LLM Deception on Benign Prompts [79.1081247754018]
  大規模言語モデル(LLM)は、推論、計画、意思決定のタスクに広くデプロイされている。 そこで我々は, 接触探索質問(CSQ)に基づく枠組みを提案し, 騙しの可能性を定量化する。
  論文  参考訳（メタデータ） (2025-08-08T14:46:35Z)
• When Do LLMs Admit Their Mistakes? Understanding the Role of Model Belief in Retraction [24.49830646625232]
  我々は、事前生成された回答における認識誤りの挙動を「取り消し」として定義する。 我々は、リトラクションがモデルの内部信念の指標と密接な関係があることを実証する。 実験により、内的信念はモデルリトラクションに因果的に影響を及ぼすことが示された。
  論文  参考訳（メタデータ） (2025-05-22T03:16:00Z)
• Walk the Talk? Measuring the Faithfulness of Large Language Model Explanations [0.8949668577519213]
  大規模言語モデル(LLM)は、質問に対する答えにどのように到達したかという、もっともらしい説明を生成することができる。 これらの説明はモデルの「合理的な」プロセス、すなわち、不誠実であるということを誤解することができる。 LLM説明の忠実度を測定するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-04-19T02:51:20Z)
• Rectifying Belief Space via Unlearning to Harness LLMs' Reasoning [36.74368293113009]
  本研究では,真の信念を同時に拡張しつつ,素早い信念を抑えることによって信念空間を是正する手法を提案する。 提案手法はまず, モデルに文章の説明文を生成するように促すことにより, 誤った解答につながる信念を同定する。 次に、未学習を適用して、同定された刺激的な信念を抑え、真の信念を強化することにより、モデルの信念空間を効果的に修正する。
  論文  参考訳（メタデータ） (2025-02-28T00:57:45Z)
• LACIE: Listener-Aware Finetuning for Confidence Calibration in Large Language Models [69.68379406317682]
  暗黙的および明示的な信頼マーカーを校正するリスナー対応微調整法 (LACIE) を提案する。 我々は,LACIEがリスナーをモデル化し,回答が正しいかどうかだけでなく,リスナーに受け入れられるかどうかを考察する。 LACIEによるトレーニングの結果、正しい回答の受け入れレベルを維持しながら、誤った回答が受け入れられる割合が47%減少することがわかった。
  論文  参考訳（メタデータ） (2024-05-31T17:16:38Z)
• "I'm Not Sure, But...": Examining the Impact of Large Language Models' Uncertainty Expression on User Reliance and Trust [51.542856739181474]
  不確実性の自然言語表現の違いが、参加者の信頼、信頼、全体的なタスクパフォーマンスにどのように影響するかを示す。 その結果, 一人称表情は, 参加者のシステムに対する信頼度を低下させ, 参加者の正確性を高めつつ, システムの回答に同調する傾向にあることがわかった。 以上の結果から,不確実性の自然言語表現の使用は,LLMの過度な依存を軽減するための効果的なアプローチである可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-01T16:43:55Z)
• The Earth is Flat? Unveiling Factual Errors in Large Language Models [89.94270049334479]
  ChatGPTのような大規模言語モデル(LLM)は、事前学習や微調整の知識が豊富にあるため、様々な応用がある。 それにもかかわらず、医療、ジャーナリズム、教育といった重要な分野に懸念を抱き、事実と常識の誤りを引き起こす傾向にある。 LLMにおける事実不正確な事実を明らかにすることを目的とした,新しい自動テストフレームワークであるFactCheckerを紹介する。
  論文  参考訳（メタデータ） (2024-01-01T14:02:27Z)
• Language Models with Rationality [57.37201135072838]
  大規模言語モデル(LLM)は質問応答(QA)に熟練している 答えが潜んでいる「信条」からどのように従うか(あるいはたとえも)は必ずしも明確ではない。
  論文  参考訳（メタデータ） (2023-05-23T17:04:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。