論文の概要: Enhancing Reliability across Short and Long-Form QA via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2512.08944v1
• Date: Wed, 19 Nov 2025 09:26:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-15 04:16:52.555423
• Title: Enhancing Reliability across Short and Long-Form QA via Reinforcement Learning
• Title（参考訳）: 強化学習による短時間および長期QAにおける信頼性向上
• Authors: Yudong Wang, Zhe Yang, Wenhan Ma, Zhifang Sui, Liang Zhao,
• Abstract要約: 本研究は, 内因性および外因性両方の幻覚を, 短文および長文の質問応答で緩和するターゲットRLフレームワークを導入する。 ファインウェブの長文をファクトグラウンドの報酬方式で活用することで、本質的な幻覚(文脈への不信感)に取り組む。 信頼性を高めるために、我々のフレームワークは、解決不可能な質問に答えることを拒否するモデルに明確に報いる。
• 参考スコア（独自算出の注目度）: 28.391398078783425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While reinforcement learning has unlocked unprecedented complex reasoning in large language models, it has also amplified their propensity for hallucination, creating a critical trade-off between capability and reliability. This work confronts this challenge by introducing a targeted RL framework designed to mitigate both intrinsic and extrinsic hallucinations across short and long-form question answering. We address extrinsic hallucinations (flawed internal knowledge) by creating a novel training set from open-ended conversions of TriviaQA. Concurrently, we tackle intrinsic hallucinations (unfaithfulness to context) by leveraging long-form texts from FineWeb in a fact-grounding reward scheme. To further bolster reliability, our framework explicitly rewards the model for refusing to answer unanswerable questions, thereby cultivating crucial cautiousness. Extensive experiments demonstrate that our methodology yields significant performance gains across a diverse suite of benchmarks, substantially reducing both hallucination types. Ultimately, this research contributes a practical framework for resolving the critical tension between advanced reasoning and factual trustworthiness, paving the way for more capable and reliable large language models.
• Abstract（参考訳）: 強化学習は、大規模な言語モデルにおいて前例のない複雑な推論を解き放つ一方で、幻覚の確率を増幅し、能力と信頼性の間に重要なトレードオフを生み出している。 この研究は、短文および長文の質問応答における本質的および外生的幻覚を緩和するために設計されたターゲットRLフレームワークを導入することで、この課題に直面する。 本稿では,TriviaQAのオープン・エンド・コンバージョンによる新たなトレーニングセットを作成することにより,外因性幻覚(法的な内部知識)に対処する。 同時に、ファインウェブの長文をファクトグラウンドの報酬方式で活用することで、本質的な幻覚(文脈への不信感)に取り組む。 信頼性を高めるために、我々のフレームワークは、答えられない質問に答えることを拒否するモデルに明確に報いるため、重要な慎重さを育む。 大規模な実験により,本手法は多種多様なベンチマーク群で有意な性能向上をもたらし,両幻覚のタイプを著しく減少させることが示された。 最終的に、この研究は、高度な推論と事実的信頼性の間の批判的緊張を解消し、より有能で信頼性の高い大規模言語モデルへの道を開くための実践的な枠組みに寄与する。

関連論文リスト

• Knowledge-Level Consistency Reinforcement Learning: Dual-Fact Alignment for Long-Form Factuality [27.687276551678583]
  幻覚と事実性の欠如は、大きな言語モデルの信頼性にとって重要な障害である。 本稿では,政策モデルの表現された知識と基本モデルのパラメトリック知識との知識整合性に着目した新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2025-09-28T09:23:06Z)
• Self-Consistency as a Free Lunch: Reducing Hallucinations in Vision-Language Models via Self-Reflection [71.8243083897721]
  視覚言語モデルは、しばしば詳細を幻覚させ、既存のオブジェクトを生成するか、出力信頼性を損なう不正確な属性を生成する。 本稿では、長文応答と短文応答の自己整合性を利用して、学習のための選好ペアを生成する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-27T10:37:11Z)
• Breaking the Trade-Off Between Faithfulness and Expressiveness for Large Language Models [14.166203096918247]
  外部知識の接地応答は、大規模言語モデルにおける幻覚を緩和するための効果的な戦略である。 現在のLLMは、忠実さと表現性を同時に維持しながら、シームレスに知識を統合するのに苦労している。 本稿では,外部知識を伴わずに出力確率を動的に統合する新しい手法である協調復号法を提案する。
  論文  参考訳（メタデータ） (2025-08-26T03:48:05Z)
• Contextual Candor: Enhancing LLM Trustworthiness Through Hierarchical Unanswerability Detection [0.0]
  本稿では,大規模言語モデル(LLM)のための新しいハイブリッド学習パラダイムであるReinforced Unanswerability Learning (RUL)を紹介する。 RULは、多段階学習戦略によって導かれるLLMの生成コアに、識別不能な予測ヘッドを統合する。 実験は、RULの優れた性能を示し、文、段落、ランキングレベルにわたる解答不能検出において、はるかに高い精度を達成する。
  論文  参考訳（メタデータ） (2025-06-01T17:59:27Z)
• Towards Long Context Hallucination Detection [49.195854802543714]
  大規模言語モデル(LLM)は、様々なタスクで顕著なパフォーマンスを示している。 それらは文脈の幻覚に傾向があり、与えられた文脈に不一致または矛盾した情報を生成する。 本稿では,BERTのような事前学習したエンコーダモデルを用いて,長期のコンテキストを処理し,文脈の幻覚を効果的に検出するアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-04-28T03:47:05Z)
• ParamMute: Suppressing Knowledge-Critical FFNs for Faithful Retrieval-Augmented Generation [91.20492150248106]
  本研究では,不誠実な生成の背後にある内部メカニズムを解明し,不均等に活性化される中深度フィードフォワードネットワーク(FFN)のサブセットを同定する。 本研究では,不信感関連FFNの活性化を抑制することにより,文脈的忠実度を向上させるフレームワークであるParametric Knowledge Mutingを提案する。 実験結果から,ParamMuteはCoFaithfulQAと確立されたConFiQAベンチマークの両方の信頼度を大幅に向上し,パラメトリックメモリへの依存度を大幅に低下させることが示された。
  論文  参考訳（メタデータ） (2025-02-21T15:50:41Z)
• Exchange-of-Thought: Enhancing Large Language Model Capabilities through Cross-Model Communication [76.04373033082948]
  大規模言語モデル(LLM)は、最近、Chain-of-Thoughtテクニックによる複雑な推論タスクにおいて大きな進歩を遂げました。 本稿では,問題解決時のクロスモデル通信を可能にする新しいフレームワークであるExchange-of-Thought (EoT)を提案する。
  論文  参考訳（メタデータ） (2023-12-04T11:53:56Z)
• Towards Mitigating Hallucination in Large Language Models via Self-Reflection [63.2543947174318]
  大規模言語モデル(LLM)は、質問応答(QA)タスクを含む生成的および知識集約的なタスクを約束している。 本稿では,広範に採用されているLCMとデータセットを用いた医療再生QAシステムにおける幻覚現象を解析する。
  論文  参考訳（メタデータ） (2023-10-10T03:05:44Z)
• Self-Convinced Prompting: Few-Shot Question Answering with Repeated Introspection [13.608076739368949]
  本稿では,大規模事前学習型言語モデルの可能性を活用する新しいフレームワークを提案する。 我々のフレームワークは、典型的な数発の連鎖プロンプトの出力を処理し、応答の正しさを評価し、回答を精査し、最終的には新しい解を生成する。
  論文  参考訳（メタデータ） (2023-10-08T06:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。