論文の概要: Surprise Alone Learns Lies: Evidence-Gated Continual Learning for LLMs from Streaming Claims

• arxiv url: http://arxiv.org/abs/2610.39840v1
• Date: Thu, 29 Oct 2026 11:19:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.49757
• Title: Surprise Alone Learns Lies: Evidence-Gated Continual Learning for LLMs from Streaming Claims
• Title（参考訳）: Suprise Alone氏が嘘を知った - ストリーミングクレームからLLMのエビデンス指向の継続的学習
• Abstract要約: 発明者や実在の反ファクト事実に関する真偽の主張の流れから学習するLoRA適応学生を対象に,この問題について検討する。 各クレームを承認しなければならない判断者である検証者鍵は、その検証者が正確である程度に誤りを除去する。 無関係な知識に関する校正された回帰テストは、嘘をフィルタリングせずに学習を遅くする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning methods for large language models increasingly decide what to learn by surprise, keeping the inputs the model finds least predictable. This rule is unsafe when the stream contains lies. A planted falsehood about something the model knows has low probability under the model's belief, so it is highly surprising by construction, and a surprise-driven learner absorbs nearly every such lie, at a rate similar to random selection with the same budget. We study the problem with LoRA-adapted students (Qwen2.5-1.5B, Qwen2.5-3B and Llama-3.2-3B) that learn from a stream of true and false claims about invented people and real CounterFact facts. We report four findings. (1) A verifier key, a judge that must approve each claim, removes lies to the extent that its verifier is accurate; real LLM judges are cautious and reject unsourced truths and even source-backed updates. (2) Calibrated regression tests on unrelated knowledge slow learning down without filtering out lies. (3) The original model's own prior flags claims that contradict what it knows, without a judge. It separates lies about known facts from true new facts (AUC 0.78-0.83 across three models) but not from legitimate updates of the same kind of fact (AUC 0.53). It saves 43% of judge calls, but an attacker with access to the model can choose lies that pass it. (4) If trusted sources exist that an attacker cannot plant, routing contradicted claims to evidence recovers legitimate updates and the combined system has the lowest poison rate among learned claims; when an attacker plants matching sources for 30% of the lies, the system ends up worse than the judge alone. The acceptance signals answer different questions, and none of them decides on its own whether a claim is true.
• Abstract（参考訳）: 大規模言語モデルの継続的な学習手法は、サプライズによって何を学習するかをますます決定し、モデルの入力を予測しにくくする。 このルールは、ストリームが嘘を含む場合、安全ではない。 モデルが知っていることに関する植字された虚偽は、モデルの信念の下では低い確率を持つので、構築によって非常に驚くべきものであり、サプライズ駆動学習者は、同じ予算を持つランダム選択と同じような速度で、ほぼすべての嘘を吸収する。 本報告では,LoRA 適応学生 (Qwen2.5-1.5B, Qwen2.5-3B, Llama-3.2-3B) を対象に, 発明者や実在の反ファクト事実について, 真偽の主張の流れから学習する。 我々は4つの発見を報告した。 1) 各クレームを承認しなければならない審査員は,その検証員が正確である程度に偽証を除去する。実際のLLM審査員は慎重であり,根拠のない真実を拒絶し,かつ,情報源に裏打ちされた更新さえする。 2)無関係知識の校正回帰テストは,嘘を除去することなく学習を遅くする。 (3) 原モデルの独自の先行フラグは、裁判官なしでは、それが知っていることと矛盾すると主張する。 これは、既知の事実を真の新しい事実(AUC 0.78-0.83の3つのモデル)と区別するが、同じ種類の事実の正当な更新(AUC 0.53)とは区別しない。 ジャッジコールの43%を節約するが、モデルにアクセスするアタッカーは、それをパスする嘘を選択することができる。 (4) 信頼できる情報源が、攻撃者が植えられないとすれば、証拠に対するルーティングの矛盾した主張は、正当な更新を回復し、複合システムは、学習されたクレームの中で最も低い毒性率を有する。 受理信号は異なる質問に応答し、いずれも主張が真実かどうかを判断するものではない。

関連論文リスト

• Information Discernment in Large Language Models [4.277461007196155]
  Learn2Discernは、解釈可能なメトリクスを持つ3つの規範的公理に基礎を置いている実験的なフレームワークであり、ベンチマークである。 モデルはソースと真実の識別にほぼ近い確率で実行し、ソースの信頼性の2倍のソースの人気を頼りにし、クレームが地上の真実に対してその位置を改善または悪化させるかどうかをほぼ等しく更新する。
  論文  参考訳（メタデータ） (2026-05-22T12:13:16Z)
• LLMs Know They're Wrong and Agree Anyway: The Shared Sycophancy-Lying Circuit [0.0]
  言語モデルがユーザの誤った信念に一致する場合,エラーを検出したり,あるいはいずれにせよ認識したり,同意したりすることができないことを示す。 5つの実験室の12種類のオープンウェイトモデルにおいて、サイレンシングの頭部はサイコファンティックな挙動を強く反転させながら、事実の正確性は保たないことを示す。
  論文  参考訳（メタデータ） (2026-04-21T05:55:38Z)
• The Facade of Truth: Uncovering and Mitigating LLM Susceptibility to Deceptive Evidence [49.94160400740222]
  MisBeliefは、協調的な多ラウンドの相互作用によって誤解を招く証拠を生成するフレームワークである。 MisBeliefを用いて、3つの難易度で4,800のインスタンスを生成し、7つの代表的なLCMを評価する。 結果は、モデルは直接的な誤報に対して堅牢であるが、この洗練された証拠に非常に敏感であることを示している。 本稿では,疑似意図を証拠裏で推測することにより早期警告信号を提供するガバナンス機構である,認知的意図遮蔽(DIS)を提案する。
  論文  参考訳（メタデータ） (2026-01-09T02:28:00Z)
• The Trilemma of Truth in Large Language Models [1.62933895796838]
  大規模言語モデル(LLM)の妥当性を検証するための2つの共通手法について検討する。 sAwMILは, LLMの内部アクティベーションを利用して, 文を真, 偽, 両方に分離する探索手法である。 sAwMILを16のオープンソースLCMの5つの妥当性基準で評価した。
  論文  参考訳（メタデータ） (2025-06-30T14:49:28Z)
• Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
  ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。 ミスシは、誤った推論のための新しい議論理論モデルである。 大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:11:10Z)
• LACIE: Listener-Aware Finetuning for Confidence Calibration in Large Language Models [69.68379406317682]
  暗黙的および明示的な信頼マーカーを校正するリスナー対応微調整法 (LACIE) を提案する。 我々は,LACIEがリスナーをモデル化し,回答が正しいかどうかだけでなく,リスナーに受け入れられるかどうかを考察する。 LACIEによるトレーニングの結果、正しい回答の受け入れレベルを維持しながら、誤った回答が受け入れられる割合が47%減少することがわかった。
  論文  参考訳（メタデータ） (2024-05-31T17:16:38Z)
• The Earth is Flat? Unveiling Factual Errors in Large Language Models [89.94270049334479]
  ChatGPTのような大規模言語モデル(LLM)は、事前学習や微調整の知識が豊富にあるため、様々な応用がある。 それにもかかわらず、医療、ジャーナリズム、教育といった重要な分野に懸念を抱き、事実と常識の誤りを引き起こす傾向にある。 LLMにおける事実不正確な事実を明らかにすることを目的とした,新しい自動テストフレームワークであるFactCheckerを紹介する。
  論文  参考訳（メタデータ） (2024-01-01T14:02:27Z)
• Time-Aware Evidence Ranking for Fact-Checking [56.247512670779045]
  本稿では,Webページのタイムスタンプが,特定のクレームに対してどのようにランク付けされるべきか,という仮説を考察する。 本研究は,検索結果リストにおける意味的類似性や位置に基づく関連性仮定を総合的に上回るだけでなく,特に時間に敏感なクレームの正確性予測を改善することを明らかにする。
  論文  参考訳（メタデータ） (2020-09-10T13:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。