論文の概要: Illusions of Confidence? Diagnosing LLM Truthfulness via Neighborhood Consistency

• arxiv url: http://arxiv.org/abs/2601.05905v1
• Date: Fri, 09 Jan 2026 16:23:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-12 17:41:50.031867
• Title: Illusions of Confidence? Diagnosing LLM Truthfulness via Neighborhood Consistency
• Title（参考訳）: 信頼のイライラ : 近隣の一貫性を通したLLM真偽の診断
• Authors: Haoming Xu, Ningyuan Zhao, Yunzhi Yao, Weihong Xu, Hongru Wang, Xinle Deng, Shumin Deng, Jeff Z. Pan, Huajun Chen, Ningyu Zhang,
• Abstract要約: 完全な自己整合性で答えられた事実でさえ、軽微な文脈干渉の下で急速に崩壊することを示します。 本研究では,概念的近傍における応答コヒーレンスを評価する信念の構造尺度であるNighbor-Consistency Belief(NCB)を提案する。 また、文脈不変の信念構造を最適化し、長い知識の脆さを約30%低減する構造意識訓練(SAT)を提案する。
• 参考スコア（独自算出の注目度）: 78.91846841708586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As Large Language Models (LLMs) are increasingly deployed in real-world settings, correctness alone is insufficient. Reliable deployment requires maintaining truthful beliefs under contextual perturbations. Existing evaluations largely rely on point-wise confidence like Self-Consistency, which can mask brittle belief. We show that even facts answered with perfect self-consistency can rapidly collapse under mild contextual interference. To address this gap, we propose Neighbor-Consistency Belief (NCB), a structural measure of belief robustness that evaluates response coherence across a conceptual neighborhood. To validate the efficiency of NCB, we introduce a new cognitive stress-testing protocol that probes outputs stability under contextual interference. Experiments across multiple LLMs show that the performance of high-NCB data is relatively more resistant to interference. Finally, we present Structure-Aware Training (SAT), which optimizes context-invariant belief structure and reduces long-tail knowledge brittleness by approximately 30%. Code will be available at https://github.com/zjunlp/belief.
• Abstract（参考訳）: 大規模言語モデル(LLM)が現実世界の環境にますます展開されるにつれて、正確性だけでは不十分である。 信頼性の高いデプロイメントには、コンテキストの摂動の下で真実の信念を維持する必要があります。 既存の評価は、不安定な信念を隠蔽する自己整合性のようなポイントワイドな信頼に大きく依存している。 完全な自己整合性で答えられた事実でさえ、軽微な文脈干渉の下で急速に崩壊することを示します。 このギャップに対処するために,概念的近傍における応答コヒーレンスを評価する信念の堅牢性の構造尺度であるNeighbor-Consistency Belief (NCB)を提案する。 NCBの効率性を検証するために、文脈干渉下での出力安定性を探索する新しい認知的ストレステストプロトコルを導入する。 複数のLSM実験により、高NCBデータの性能は比較的干渉に耐性があることが示されている。 最後に、文脈不変の信念構造を最適化し、長い知識の脆さを約30%削減する構造意識訓練(SAT)を提案する。 コードはhttps://github.com/zjunlp/belief.comから入手できる。

関連論文リスト

• Fact-Checking with Large Language Models via Probabilistic Certainty and Consistency [7.806516365113592]
  大規模言語モデル(LLM)は、事実の正確性を必要とするアプリケーションでますます使われている。 事実チェックはこれらのエラーを軽減することができるが、既存の手法は通常、外的証拠を無差別に回収する。 本稿では,確率的確実性と一貫性(PCC)について紹介する。
  論文  参考訳（メタデータ） (2026-01-05T21:57:41Z)
• Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
  本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。 その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。 VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
  論文  参考訳（メタデータ） (2025-05-17T04:16:36Z)
• ParamMute: Suppressing Knowledge-Critical FFNs for Faithful Retrieval-Augmented Generation [91.20492150248106]
  本研究では,不誠実な生成の背後にある内部メカニズムを解明し,不均等に活性化される中深度フィードフォワードネットワーク(FFN)のサブセットを同定する。 本研究では,不信感関連FFNの活性化を抑制することにより,文脈的忠実度を向上させるフレームワークであるParametric Knowledge Mutingを提案する。 実験結果から,ParamMuteはCoFaithfulQAと確立されたConFiQAベンチマークの両方の信頼度を大幅に向上し,パラメトリックメモリへの依存度を大幅に低下させることが示された。
  論文  参考訳（メタデータ） (2025-02-21T15:50:41Z)
• Aligning Large Language Models for Faithful Integrity Against Opposing Argument [71.33552795870544]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて印象的な機能を示している。 原文が正しい場合でも、会話中に不誠実な議論によって容易に誤解される。 本稿では,信頼度と信頼度を両立させる新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2025-01-02T16:38:21Z)
• Decompose and Compare Consistency: Measuring VLMs' Answer Reliability via Task-Decomposition Consistency Comparison [22.438863942925973]
  信頼性測定のための分解・比較一貫性(DeCC)を提案する。 VLMの内部推論プロセスを用いて生成した直接解の一貫性を比較することにより、DeCCはVLMの直接解の信頼性を測定する。
  論文  参考訳（メタデータ） (2024-07-10T17:00:29Z)
• Factual Confidence of LLMs: on Reliability and Robustness of Current Estimators [6.403926452181712]
  大規模言語モデル(LLM)は、その答えの事実において信頼できない傾向にある。 本稿では,事実信頼度の推定者の調査と実証的比較について述べる。 実験により, 訓練された隠れ状態プローブが最も信頼性の高い信頼度を推定できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-19T10:11:37Z)
• Adversarial Robustness under Long-Tailed Distribution [93.50792075460336]
  敵対的ロバスト性はディープネットワークの脆弱性と本質的特徴を明らかにすることで近年広く研究されている。 本研究では,長尾分布下における敵対的脆弱性と防御について検討する。 我々は、スケール不変とデータ再分散という2つの専用モジュールからなるクリーンで効果的なフレームワークであるRoBalを提案する。
  論文  参考訳（メタデータ） (2021-04-06T17:53:08Z)
• Reliable Post hoc Explanations: Modeling Uncertainty in Explainability [44.9824285459365]
  ブラックボックスの説明は、高レベルの設定でモデルの信頼性を確立するために、ますます採用されている。 先行研究では、最先端の技術が生み出す説明は一貫性がなく不安定であり、その正確性や信頼性についての洞察はほとんど得られないことが示されている。 局所的な説明と関連する不確実性を生成するための新しいベイズ的枠組みを開発する。
  論文  参考訳（メタデータ） (2020-08-11T22:52:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。