論文の概要: HARPO: Hallucination-Aware Reinforcement Learning for Faithful and Creative Language Generation

• arxiv url: http://arxiv.org/abs/2610.03063v1
• Date: Fri, 02 Oct 2026 09:46:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.308438
• Title: HARPO: Hallucination-Aware Reinforcement Learning for Faithful and Creative Language Generation
• Title（参考訳）: HARPO: 忠実で創造的な言語生成のための幻覚を意識した強化学習
• Abstract要約: 大規模言語モデル(LLM)は、知識集約的なタスクにおける信頼性を損なう幻覚的コンテンツを生成する傾向にある。 本研究では,信頼と創造性を協調的に最適化する強化学習フレームワークであるHARPOを提案する。
• 参考スコア（独自算出の注目度）: 47.80701576504902
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are prone to generating hallucinated content, which compromises their reliability in knowledge-intensive tasks. To address this challenge without sacrificing creativity, we propose HARPO, a reinforcement learning framework designed to jointly optimize faithfulness and creativity. HARPO incorporates a Hallucination-Aware Generative Reward Model (HA-GRM), trained via verifiable feedback, to assess both faithfulness and writing quality. A Selective Activation Mechanism (SAM) activates writing rewards only for outputs judged hallucination-free by HA-GRM, while a data curriculum progressively shifts training from creative writing to hallucination-centric tasks. On RAGTruth, our Qwen3-4B-based HA-GRM achieves a response-level F1 score of 78.08%, compared with 66.37% for the supervised fine-tuning baseline. Experiments on Qwen2.5 and Qwen3 models from 1.7B to 8B parameters show improvements in both faithful generation and writing quality. On Qwen3-4B, HARPO reduces the HA-GRM-judged hallucination rate on MultiHopRAG from 3.29% to 1.02%, while increasing the Arena-Hard-v2.0 creative-writing score from 16.95% to 27.54%.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、知識集約的なタスクにおける信頼性を損なう幻覚的コンテンツを生成する傾向にある。 創造性を犠牲にすることなく、この課題に対処するために、忠実性と創造性を協調的に最適化する強化学習フレームワークであるHARPOを提案する。 HARPOにはHalucination-Aware Generative Reward Model (HA-GRM)が組み込まれている。 選択活性化機構(SAM)は、HA-GRMにより判定された幻覚のない出力のみの書き込み報酬を活性化する一方、データカリキュラムは、創造的な筆記から幻覚中心のタスクへと、段階的にトレーニングをシフトさせる。 RAGTruthでは、Qwen3-4BをベースとしたHA-GRMが78.08%、教師付き微調整ベースラインが66.37%である。 Qwen2.5およびQwen3モデルの1.7Bから8Bパラメータに対する実験では、忠実な生成と書き込み品質の改善が示されている。 Qwen3-4Bでは、HARPOはMultiHopRAGのHA-GRM-judged幻覚率を3.29%から1.02%に減らし、Arena-Hard-v2.0のクリエイティブライティングスコアを16.95%から27.54%に引き上げた。

関連論文リスト

• Critique-GRPO: Advancing LLM Reasoning with Natural Language and Numerical Feedback [59.078756231841574]
  Critique-GRPOは、自然言語と数値フィードバックを統合して効果的なポリシー最適化を行うオンラインRLフレームワークである。 批判-GRPOは、教師付き学習とRLに基づく微調整法を8つの難解な数学、STEM、一般的な推論タスクで一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-06-03T17:39:02Z)
• Self-Generated Critiques Boost Reward Modeling for Language Models [57.60881438647227]
  Critic-RMは、余分な監督なしに自己生成した批評を使って報酬モデルを改善するフレームワークである。 実験の結果、Critic-RMは標準報酬モデルやLLM審査員と比較して報酬モデリングの精度を3.7%-7.3%改善していることがわかった。
  論文  参考訳（メタデータ） (2024-11-25T18:28:26Z)
• A Comprehensive Evaluation of Large Language Models on Mental Illnesses [0.8458496687170665]
  GPT-4とLlama 3はバイナリ障害検出において優れた性能を示し、特定のデータセットで最大85%の精度に達した。 素早いエンジニアリングは モデル性能を高める上で 重要な役割を担った 有望な結果にもかかわらず、我々の分析では、データセット間のパフォーマンスのばらつきや、注意深いプロンプトエンジニアリングの必要性など、いくつかの課題を特定した。
  論文  参考訳（メタデータ） (2024-09-24T02:58:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。