論文の概要: Knowledge-Level Consistency Reinforcement Learning: Dual-Fact Alignment for Long-Form Factuality
- arxiv url: http://arxiv.org/abs/2509.23765v2
- Date: Sat, 11 Oct 2025 03:51:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-14 15:48:09.544293
- Title: Knowledge-Level Consistency Reinforcement Learning: Dual-Fact Alignment for Long-Form Factuality
- Title（参考訳）: 知識レベル整合性強化学習:長期的ファクティリティのためのデュアルファクトアライメント
- Authors: Junliang Li, Yucheng Wang, Yan Chen, Yu Ran, Ruiqing Zhang, Jing Liu, Hua Wu, Haifeng Wang,
- Abstract要約: 幻覚と事実性の欠如は、大きな言語モデルの信頼性にとって重要な障害である。
本稿では,政策モデルの表現された知識と基本モデルのパラメトリック知識との知識整合性に着目した新しい枠組みを提案する。
- 参考スコア（独自算出の注目度）: 27.687276551678583
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hallucination and factuality deficits remain key obstacles to the reliability of large language models (LLMs) in long-form generation. Existing reinforcement learning from human feedback (RLHF) frameworks primarily rely on preference rewards, yet they often overlook the model's internal knowledge boundaries, exacerbating the so-called "hallucination tax". To address this challenge, we propose Knowledge-Level Consistency Reinforcement Learning Framework (KLCF), a novel framework that focuses on the knowledge consistency between the policy model's expressed knowledge and the base model's parametric knowledge, and introduces a Dual-Fact Alignment mechanism to jointly optimize factual recall and precision. Specifically, KLCF leverages pretrained knowledge boundaries to construct fact checklist, guiding online reinforcement learning to improve factual coverage and recall; simultaneously, it trains a self-assessment module based on the base model's internal knowledge to enhance factual precision during generation. Unlike prior methods that rely on external retrieval or heavy verification, our reward design is fully external-knowledge-free and lightweight, making KLCF efficient and easily scalable to large-scale training. Experimental results demonstrate that KLCF substantially improves factuality metrics across multiple long-form benchmarks and effectively alleviates model hallucinations.
- Abstract（参考訳）: 幻覚と事実性障害は、長文生成における大規模言語モデル(LLM)の信頼性にとって重要な障害である。
既存の人間フィードバック(RLHF)フレームワークからの強化学習は、主に好みの報酬に頼っているが、モデルの内部知識の境界を見落とし、いわゆる「ハロシン化税」が悪化する。
この課題に対処するために,政策モデルの表現された知識と基本モデルのパラメトリック知識との知識整合性に着目した新しいフレームワークであるKLCF(Knowledge-Level Consistency Reinforcement Learning Framework)を提案する。
具体的には、事前訓練された知識境界を活用して事実チェックリストを構築し、オンライン強化学習を指導し、事実カバレッジとリコールを改善すると同時に、ベースモデルの内部知識に基づいて自己評価モジュールを訓練し、生成時の事実精度を高める。
外部検索や重度検証に依存する従来の手法とは異なり、報酬設計は完全に外部知識のない軽量で、KLCFを効率よく、大規模トレーニングにスケーラブルにします。
実験結果から、KLCFは複数の長期ベンチマークにおける実測値を大幅に改善し、モデル幻覚を効果的に緩和することが示された。
関連論文リスト
- Know More, Know Clearer: A Meta-Cognitive Framework for Knowledge Augmentation in Large Language Models [80.21037538996553]
本稿では,異なる介入とアライメントによる信頼度向上のための新しいメタ認知フレームワークを提案する。
我々の手法は、知識空間をマスターされた、混乱した、行方不明な領域に分割し、対象とする知識拡大を導くために、内部認知信号を活用する。
我々のフレームワークは、知識能力の向上だけでなく、未知の知識をよりよく区別する認知行動の育成においても、その合理性を検証し、強いベースラインを一貫して上回ります。
論文 参考訳（メタデータ） (2026-02-13T15:07:35Z) - EtCon: Edit-then-Consolidate for Reliable Knowledge Editing [85.20993502078899]
本稿では,理論的知識編集手法と実世界の応用性とのギャップを埋めることを目的とした知識編集パラダイムであるEdit-then-Consolidateを提案する。
本フレームワークは,実環境評価における編集信頼性と一般化を継続的に改善するとともに,局所性と事前学習能力の保存を向上する。
論文 参考訳（メタデータ） (2025-12-04T12:43:50Z) - CLLMRec: LLM-powered Cognitive-Aware Concept Recommendation via Semantic Alignment and Prerequisite Knowledge Distillation [3.200298153814017]
大規模オープンオンラインコース(MOOC)の成長は、概念が不可欠であるパーソナライズされた学習に重大な課題をもたらす。
既存のアプローチは通常、概念的関係を捉えるために異種情報ネットワークや知識グラフに依存し、学習者の認知状態を評価するための知識追跡モデルと組み合わせている。
本稿では,CLLMRecを提案する。CLLMRecは,大規模言語モデルを利用してパーソナライズされた概念レコメンデーションを生成する新しいフレームワークである。
論文 参考訳（メタデータ） (2025-11-21T08:37:39Z) - TRAIL: Joint Inference and Refinement of Knowledge Graphs with Large Language Models [5.678291291711662]
TRAILは思考、推論、インクリメンタルラーニングのための、新しく統合されたフレームワークである。
共同推論と動的KG精製を大きな言語モデルと組み合わせる。
複数のベンチマークでの大規模な実験により、TRAILは既存のKG拡張および検索拡張LDMベースラインを3%から13%上回った。
論文 参考訳（メタデータ） (2025-08-06T14:25:05Z) - Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [48.15636223774418]
大規模言語モデル(LLM)は、不一致の自己認識に起因する幻覚の傾向にある。
本稿では,高速かつ低速な推論システムを統合し,信頼性とユーザビリティを調和させる明示的知識境界モデリングフレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-04T03:16:02Z) - Exploring the Generalizability of Factual Hallucination Mitigation via Enhancing Precise Knowledge Utilization [49.95746521480879]
PKUE(Precise Knowledge utilization Enhancement, 精密知識利用促進)を導入し, 正確かつ単純な事実質問に対する自己生成応答のモデルを微調整する。
大規模な実験により、PKUEはLLM全体の性能を著しく改善することが示された。
論文 参考訳（メタデータ） (2025-02-26T13:34:52Z) - Decoding Knowledge in Large Language Models: A Framework for Categorization and Comprehension [14.039653386385519]
大規模言語モデル(LLM)は知識を取得し、保持し、適用する。
本稿では,LLMの知識を2次元に分類する新しいフレームワークK-(CSA)2を紹介する。
論文 参考訳（メタデータ） (2025-01-02T16:34:10Z) - Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models [51.20499954955646]
大規模言語モデル(LLM)は、事前学習期間中に大量のテキストコーパスから膨大な量の知識を取得する。
微調整や推論のような後段では、モデルは初期訓練でカバーされていない知識に遭遇する可能性がある。
本稿では,モデル全体のテスト精度と知識保持性を改善するための2段階の微調整戦略を提案する。
論文 参考訳（メタデータ） (2024-10-08T08:35:16Z) - Rejection Improves Reliability: Training LLMs to Refuse Unknown Questions Using RL from Knowledge Feedback [14.120154004011084]
LLM(Large Language Models)はしばしば幻覚と呼ばれる誤った出力を生成する。
知識フィードバックによる強化学習(Reinforcement Learning from Knowledge Feedback, RLKF)と呼ばれる新しいアライメントフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-27T08:39:56Z) - Knowledge Verification to Nip Hallucination in the Bud [69.79051730580014]
本研究では、アライメントデータに存在する外部知識と基礎LPM内に埋め込まれた固有の知識との矛盾を検証し、最小化することにより、幻覚を緩和する可能性を示す。
本稿では,知識一貫性アライメント(KCA, Knowledge Consistent Alignment)と呼ばれる新しい手法を提案する。
6つのベンチマークで幻覚を減らし, バックボーンとスケールの異なる基礎的LCMを利用することで, KCAの優れた効果を実証した。
論文 参考訳（メタデータ） (2024-01-19T15:39:49Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳（メタデータ） (2024-01-02T16:54:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。