論文の概要: Knowledge-Level Consistency Reinforcement Learning: Dual-Fact Alignment for Long-Form Factuality

• arxiv url: http://arxiv.org/abs/2509.23765v1
• Date: Sun, 28 Sep 2025 09:23:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.431919
• Title: Knowledge-Level Consistency Reinforcement Learning: Dual-Fact Alignment for Long-Form Factuality
• Title（参考訳）: 知識レベル整合性強化学習:長期的ファクティリティのためのデュアルファクトアライメント
• Authors: Junliang Li, Yucheng Wang, Yan Chen, Yu Ran, Ruiqing Zhang, Jing Liu, Hua Wu, Haifeng Wang,
• Abstract要約: 幻覚と事実性の欠如は、大きな言語モデルの信頼性にとって重要な障害である。 本稿では,政策モデルの表現された知識と基本モデルのパラメトリック知識との知識整合性に着目した新しい枠組みを提案する。
• 参考スコア（独自算出の注目度）: 27.687276551678583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hallucination and factuality deficits remain key obstacles to the reliability of large language models (LLMs) in long-form generation. Existing reinforcement learning from human feedback (RLHF) frameworks primarily rely on preference rewards, yet they often overlook the model's internal knowledge boundaries, exacerbating the so-called "hallucination tax". To address this challenge, we propose Knowledge-Level Consistency Reinforcement Learning Framework (KLCF), a novel framework that focuses on the knowledge consistency between the policy model's expressed knowledge and the base model's parametric knowledge, and introduces a Dual-Fact Alignment mechanism to jointly optimize factual recall and precision. Specifically, KLCF leverages pretrained knowledge boundaries to construct fact checklist, guiding online reinforcement learning to improve factual coverage and recall; simultaneously, it trains a self-assessment module based on the base model's internal knowledge to enhance factual precision during generation. Unlike prior methods that rely on external retrieval or heavy verification, our reward design is fully external-knowledge-free and lightweight, making KLCF efficient and easily scalable to large-scale training. Experimental results demonstrate that KLCF substantially improves factuality metrics across multiple long-form benchmarks and effectively alleviates model hallucinations.
• Abstract（参考訳）: 幻覚と事実性障害は、長文生成における大規模言語モデル(LLM)の信頼性にとって重要な障害である。 既存の人間フィードバック(RLHF)フレームワークからの強化学習は、主に好みの報酬に頼っているが、モデルの内部知識の境界を見落とし、いわゆる「ハロシン化税」が悪化する。 この課題に対処するために,政策モデルの表現された知識と基本モデルのパラメトリック知識との知識整合性に着目した新しいフレームワークであるKLCF(Knowledge-Level Consistency Reinforcement Learning Framework)を提案する。 具体的には、事前訓練された知識境界を活用して事実チェックリストを構築し、オンライン強化学習を指導し、事実カバレッジとリコールを改善すると同時に、ベースモデルの内部知識に基づいて自己評価モジュールを訓練し、生成時の事実精度を高める。 外部検索や重度検証に依存する従来の手法とは異なり、報酬設計は完全に外部知識のない軽量で、KLCFを効率よく、大規模トレーニングにスケーラブルにします。 実験結果から、KLCFは複数の長期ベンチマークにおける実測値を大幅に改善し、モデル幻覚を効果的に緩和することが示された。

関連論文リスト

• TRAIL: Joint Inference and Refinement of Knowledge Graphs with Large Language Models [5.678291291711662]
  TRAILは思考、推論、インクリメンタルラーニングのための、新しく統合されたフレームワークである。 共同推論と動的KG精製を大きな言語モデルと組み合わせる。 複数のベンチマークでの大規模な実験により、TRAILは既存のKG拡張および検索拡張LDMベースラインを3%から13%上回った。
  論文  参考訳（メタデータ） (2025-08-06T14:25:05Z)
• Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [48.15636223774418]
  大規模言語モデル(LLM)は、不一致の自己認識に起因する幻覚の傾向にある。 本稿では,高速かつ低速な推論システムを統合し,信頼性とユーザビリティを調和させる明示的知識境界モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-04T03:16:02Z)
• Decoding Knowledge in Large Language Models: A Framework for Categorization and Comprehension [14.039653386385519]
  大規模言語モデル(LLM)は知識を取得し、保持し、適用する。 本稿では,LLMの知識を2次元に分類する新しいフレームワークK-(CSA)2を紹介する。
  論文  参考訳（メタデータ） (2025-01-02T16:34:10Z)
• Rejection Improves Reliability: Training LLMs to Refuse Unknown Questions Using RL from Knowledge Feedback [14.120154004011084]
  LLM(Large Language Models)はしばしば幻覚と呼ばれる誤った出力を生成する。 知識フィードバックによる強化学習(Reinforcement Learning from Knowledge Feedback, RLKF)と呼ばれる新しいアライメントフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-27T08:39:56Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。