論文の概要: Knowledgeless Language Models: Suppressing Parametric Recall for Evidence-Grounded Language Modeling

• arxiv url: http://arxiv.org/abs/2607.12831v1
• Date: Tue, 14 Jul 2026 14:48:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:30.175238
• Title: Knowledgeless Language Models: Suppressing Parametric Recall for Evidence-Grounded Language Modeling
• Title（参考訳）: 知識のない言語モデル:エビデンスを考慮した言語モデリングのためのパラメトリックリコールの抑制
• Abstract要約: 知識--'Less''' Language Models (KLLMs) KLLMは、名前付きエンティティが匿名化されたコーパスで事前訓練される。 我々は,KLLMがパラメトリック知識に頼らず,外部証拠に頼らず,現実的な条件下での信頼性の向上につながることを示した。
• 参考スコア（独自算出の注目度）: 21.14539989233461
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models encode substantial factual knowledge in their parameters, which can lead to unreliable behavior when this knowledge is outdated, incomplete, or misaligned with the provided context. In this work, we study whether modifying the pretraining signal can systematically shift models away from parametric recall and toward evidence-grounded reasoning. We introduce Knowledge--''Less'' Language Models (KLLMs), a fundamentally different epistemic training paradigm for LLMs, which are pretrained on corpora in which named entities are anonymized, thereby removing a primary channel for entity-linked factual supervision. This intervention substantially reduces closed-book factual recall, while often improving performance on tasks where relevant information is provided as context. Across multiple model scales, KLLMs consistently outperform matched baselines on contextual question answering, fact verification, and hallucination detection benchmarks. Crucially, in retrieval-grounded settings with imperfect evidence, KLLMs show improved robustness and achieve up to 20--25\% relative gains over standard language models. They further exhibit better calibration, with improved ECE, Brier score, and AUROC, as well as more reliable abstention behavior. Our results demonstrate that suppressing entity-linked supervision during pretraining induces a shift in epistemic behavior: KLLMs rely less on parametric knowledge and more on external evidence, leading to improved reliability under realistic conditions. This suggests that pretraining-time control over knowledge acquisition can complement retrieval-augmented and tool-based systems by providing a more evidence-sensitive base model.
• Abstract（参考訳）: 言語モデルは、そのパラメータにおける実質的な事実的知識を符号化し、この知識が時代遅れ、不完全、あるいは提供されたコンテキストに不整合しているときに、信頼できない振る舞いを引き起こす可能性がある。 本研究では,事前学習信号の変更が,パラメトリックリコールからエビデンスに基づく推論へモデルを体系的にシフトできるかどうかを検討する。 本稿では,命名されたエンティティが匿名化されているコーパス上で事前訓練を行い,エンティティにリンクされた事実監視のための主要なチャネルを除去するLLMの基本的な異なる認識訓練パラダイムである知識-'Less' Language Models (KLLMs)を紹介する。 この介入により、クローズドブックのファクトリコールが大幅に削減され、関連する情報がコンテキストとして提供されるタスクのパフォーマンスが向上する。 複数のモデルスケールにまたがって、KLLMは文脈的質問応答、事実検証、幻覚検出ベンチマークの基準線を一貫して上回っている。 重要なことは、不完全な証拠を伴う検索地上設定において、KLLMsはロバスト性を改善し、標準言語モデルよりも最大20-25-%の相対的なゲインを達成する。 さらにキャリブレーションが向上し、CE、ブライアスコア、AUROCが向上し、より信頼性が向上した。 KLLMはパラメトリックな知識よりも外部のエビデンスに頼っており、現実的な条件下での信頼性の向上につながっている。 このことは、知識獲得に対する事前学習時間制御が、よりエビデンスに敏感なベースモデルを提供することで、検索強化およびツールベースのシステムを補完することができることを示唆している。

関連論文リスト

• Evaluating and Improving Evidence-Grounded Fact-Checking in LLMs via Multi-Round Evidence Ablation [28.999694748110404]
  市販のファクトチェックシステムは、提供された証拠よりもパラメトリックな知識に依存していることを示す。 本稿では,証拠に依存した検証を促進するトレーニングフレームワークであるREAL(Rigorous Evidence Ablation Learning)を提案する。 以上の結果から,強い事実チェック性能と弱い証拠依存性が共存する可能性が示唆された。
  論文  参考訳（メタデータ） (2026-09-08T16:04:20Z)
• On Predicting the Post-training Potential of Pre-trained LLMs [60.07459271263409]
  本稿では,ポストトレーニング前のベースモデルの性能予測という,ポストトレーニング後の潜在能力を予測するための新しいタスクを紹介する。 本稿では,応答判別を活用することで,ベースモデルの生成ギャップを回避できる統一フレームワークであるRuDEを提案する。 実験では、トレーニング後のパフォーマンスと90%以上の相関を示す。
  論文  参考訳（メタデータ） (2026-05-12T11:33:49Z)
• REFLEX: Self-Refining Explainable Fact-Checking via Disentangling Truth into Style and Substance [14.932352020762991]
  本稿ではReason-Guided Fact-checking with Latent Explanations REFLEX paradigmを提案する。 バックボーンモデルの内部知識を活用して、検証精度と説明品質の両方を改善する、プラグアンドプレイの自己修正パラダイムである。 自己修正されたトレーニングサンプルはわずか465で、RELFEXは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-11-25T12:06:23Z)
• Knowledge-Level Consistency Reinforcement Learning: Dual-Fact Alignment for Long-Form Factuality [27.687276551678583]
  幻覚と事実性の欠如は、大きな言語モデルの信頼性にとって重要な障害である。 本稿では,政策モデルの表現された知識と基本モデルのパラメトリック知識との知識整合性に着目した新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2025-09-28T09:23:06Z)
• TRAIL: Joint Inference and Refinement of Knowledge Graphs with Large Language Models [5.678291291711662]
  TRAILは思考、推論、インクリメンタルラーニングのための、新しく統合されたフレームワークである。 共同推論と動的KG精製を大きな言語モデルと組み合わせる。 複数のベンチマークでの大規模な実験により、TRAILは既存のKG拡張および検索拡張LDMベースラインを3%から13%上回った。
  論文  参考訳（メタデータ） (2025-08-06T14:25:05Z)
• UniErase: Towards Balanced and Precise Unlearning in Language Models [69.04923022755547]
  大規模言語モデル(LLM)は、古い情報問題に対処するために反復的な更新を必要とする。 UniEraseは、知識の未学習と能力保持の間の精度とバランスの取れたパフォーマンスを示す、新しいアンラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-05-21T15:53:28Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [41.19330514054401]
  大規模言語モデル(LLM)は、不一致の自己認識に起因する幻覚の傾向にある。 本稿では,高速かつ低速な推論システムを統合し,信頼性とユーザビリティを調和させる明示的知識境界モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-04T03:16:02Z)
• The Reliability Paradox: Exploring How Shortcut Learning Undermines Language Model Calibration [5.616884466478886]
  プレトレーニング言語モデル(PLM)は、自然言語処理の分野で大きなパフォーマンス向上を実現している。 近年の研究では、PLMは誤校正に悩まされており、これらのモデルによる信頼度推定の精度の欠如が示唆されている。 本稿では,低校正誤差が言語モデルの信頼性決定ルールを意味するか否かを考察する。
  論文  参考訳（メタデータ） (2024-12-17T08:04:28Z)
• Improving Language Models Meaning Understanding and Consistency by Learning Conceptual Roles from Dictionary [65.268245109828]
  現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。 驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。 本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-24T06:15:15Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。