論文の概要: Attributable Post-Rationalization in RAG Citations: A Controlled Reproduction and an RLVR Comparison

• arxiv url: http://arxiv.org/abs/2609.23053v1
• Date: Sat, 19 Sep 2026 14:35:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.663488
• Title: Attributable Post-Rationalization in RAG Citations: A Controlled Reproduction and an RLVR Comparison
• Title（参考訳）: RAG CitationsにおけるAtributable Post-Rationalization: A Controlled Re production and a RLVR Comparison
• Abstract要約: RAGシステムでは、正しい答えを手渡して、実際に使用していないソースを引用することができます。 モデルは、これらの不誠実な引用を、合理化後を通して出力する。 私たちは、そのトレーニングが彼らに率直に引用するように教えるかどうかを尋ねました。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A RAG system can hand you the right answer and cite a source it did not actually use. Models output these unfaithful citations via post-rationalization: they write the answer first and then attach a citation to whatever passage looks close enough. Search agents are now trained with reinforcement learning from verifiable rewards (RLVR), which pays them for getting the answer right. We asked whether that training also teaches them to cite honestly. Improving an existing methodology with a required control, we compared an instruction-tuned model against three RLVR agents trained from it, on four question-answering datasets, using only free-tier Kaggle GPUs. Post-rationalization is everywhere: on Wikipedia-based questions roughly one citation in seven is unfaithful. RLVR does not fix it. The agents post-rationalize at their base model's rate, and one lands slightly worse. Rewarding correct answers buys nothing in citation faithfulness, so faithfulness has to be trained and measured on its own terms.
• Abstract（参考訳）: RAGシステムでは、正しい答えを手渡して、実際に使用していないソースを引用することができます。 モデルは、まずその答えを書き、次に十分近い経路に引用を付加する。 検索エージェントは、検証可能な報酬(RLVR)からの強化学習で訓練される。 私たちは、そのトレーニングが彼らに率直に引用するように教えるかどうかを尋ねました。 必要な制御で既存の方法論を改良し,自由層Kaggle GPUのみを用いて,学習したRLVRエージェントを4つの質問応答データセットで比較した。 ウィキペディアをベースとした質問では、およそ7分の1の引用は偽りだ。 RLVRはそれを修正しない。 エージェントはベースモデルのレートでチャーター化後、わずかに悪くなる。 正しい答えを撤回することは、引用の忠実さに何の利益も与えないので、誠実さを訓練し、彼ら自身の言葉で測定する必要がある。

関連論文リスト

• CiteShade: Citation Laundering in Multi-Source Retrieval-Augmented Generation and Its Counterfactual Defense [0.0]
  我々は、検索強化世代(RAG)に対する最初の励振雷攻撃であるCiteShadeを提案する。 CiteShadeは、アタッカー・チョーゼンの間違った回答を生成し、それをサポートしていない信頼できるソースに属性付けるモデルを生成する。 脆弱性は、モデルがスケールではなく引用する確率を追跡し、明示的な命令の下でCLR 0.84に到達し、テストされた最も引用確率の高いモデルでは命令が全くない0.64に到達した。
  論文  参考訳（メタデータ） (2026-09-14T14:41:37Z)
• Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL [55.05743310621117]
  Co-RLは、パラメータを共有しない複数の分離されたモデルを、仲間から派生した報酬を使ってRLを通じて同時に最適化するフレームワークである。 我々は,コホート多様性の増大が,自己強化フィードバックループを駆動する相関誤差を減少させることを示す。
  論文  参考訳（メタデータ） (2026-08-18T01:16:02Z)
• Beyond Reasoning: Reinforcement Learning Unlocks Parametric Knowledge in LLMs [59.62441340813425]
  我々は、強化学習がパラメトリック知識の直接的リコールを改善するかどうかを検討する。 3つのモデルファミリと複数の事実QAベンチマークで、RLの平均相対利得は27%である。 機械的には、RLは主に新しい事実を得るのではなく、既存の知識の確率質量を再分配する。
  論文  参考訳（メタデータ） (2026-05-08T02:40:12Z)
• Beyond Correctness: Learning Robust Reasoning via Transfer [51.403609251508904]
  我々は単純な哲学的見解を採用するが、堅牢な推論はそれを作った心を超えて有用であるべきである。 本稿では,トランスファーブル・リワードを用いた強化学習を紹介し,トランスファーブル・リワードによるロバストネスの運用について述べる。 提案手法は,最終回答精度を向上しながらサンプリング一貫性を向上し,ほぼ少ないトレーニングステップで同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-02-09T10:41:44Z)
• Train for Truth, Keep the Skills: Binary Retrieval-Augmented Reward Mitigates Hallucinations [103.16279860448874]
  新たな二分探索強化報酬(RAR)を用いたオンライン強化学習手法を提案する。 オープンエンド世代では、バイナリRARは幻覚率を39.3%減少させる。 短い形式の質問応答では、モデルは、パラメトリック知識の不足に直面した時に、戦略的に"I don't know"を出力して、控えめに学習する。
  論文  参考訳（メタデータ） (2025-10-20T16:45:43Z)
• Reinforcement Learning with Verifiable Rewards Implicitly Incentivizes Correct Reasoning in Base LLMs [35.27561531876348]
  本稿では,LLVRを用いた強化学習が大規模言語モデル(LLM)に及ぼす影響を体系的に検討する。 RLVRは数学的タスクとコーディングタスクの両方の推論境界を拡張可能であることを示す。 本稿では,RLVRのインセンティブメカニズムを説明する理論的枠組みについて述べる。
  論文  参考訳（メタデータ） (2025-06-17T07:06:56Z)
• R3-RAG: Learning Step-by-Step Reasoning and Retrieval for LLMs via Reinforcement Learning [60.17074283370798]
  Retrieval-Augmented Generation (RAG)は、外部知識をLLM(Large Language Models)と統合し、事実の正しさと幻覚を高める。 我々は、 $textbfR$einforcement Learning を用いて LLM に $textbfR$eason と $textbfR$etrieve を段階的に学習させる $textbfR3-RAG$ を提案する。
  論文  参考訳（メタデータ） (2025-05-26T12:25:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。