論文の概要: Copying Is Not Grounding: Training Faithful Long-Form RAG with Authored-Sentence Credit

• arxiv url: http://arxiv.org/abs/2610.18442v1
• Date: Tue, 13 Oct 2026 14:16:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 21:20:35.608
• Title: Copying Is Not Grounding: Training Faithful Long-Form RAG with Authored-Sentence Credit
• Title（参考訳）: コピーは画期的ではない - 認証済みのクレジットで忠実なロングフォームRAGを訓練する
• Abstract要約: 忠実な報酬、支持された文のシェア、そのような主張の少ないモデルが示される。 パスからコピーされた文は、ほぼ構築によって支持されるので、訓練されたモデルは、彼らが書いたものを台無しにするのではなく、コピーすることを学ぶ。 本稿では,GRPOの報酬の移動と文レベルへの回答の優位性を両立するオーサリング・センテンス・クレデンス・クレジット(ASC)を提案する。
• 参考スコア（独自算出の注目度）: 39.48461854529579
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In search engines and assistants, long-form RAG answers can mislead readers with claims their sources do not support. Faithfulness rewards, the share of supported sentences, train models toward fewer such claims. We show that these rewards are hacked by copying. A sentence copied from the passages is supported almost by construction, so trained models learn to copy rather than ground what they write. Common defenses only move the hack: a KL or copy penalty leaves copying in place or trades it for shorter, emptier answers and refusals. GRPO, the standard RL algorithm, makes it worse by giving every sentence its answer's advantage, reinforcing copied and grounded sentences alike. We propose Authored-Sentence Credit (ASC) , which fixes both by moving GRPO's reward and advantage from the answer to the sentence level. The reward credits only sentences that are authored rather than copied, say more than the question, and are supported by the passages. The advantage compares each sentence with every sentence sampled for the question, so one that earns no credit ranks last and is never reinforced. Across four models and two in-domain, three held-out corpora, only ASC lowers the error rate of authored sentences and writes more supported ones in every setting, by 38% and 46% at the median under held-out evaluators, giving readers more grounded information. It takes none of these shortcuts, and two LLM judges comparing whole answers prefer no baseline to the base model but rate ASC's answers on par with it. We conclude that a faithfulness reward should credit what a model writes, not what it copies.
• Abstract（参考訳）: 検索エンジンやアシスタントでは、ロングフォームのRAG回答は、ソースがサポートしていないという主張を読者に誤解させる可能性がある。 誠実さの報酬、支持された文のシェア、モデルはそのような主張を減らすよう訓練する。 これらの報酬はコピーによってハックされていることを示す。 パスからコピーされた文は、ほぼ構築によって支持されるので、訓練されたモデルは、彼らが書いたものを台無しにするのではなく、コピーすることを学ぶ。 KLまたはコピーペナルティは、コピーされたままにしておくか、より短く空っぽな回答と拒否のために取引する。 標準RLアルゴリズムであるGRPOは、すべての文にその優位性を付与し、コピーされた文や接地された文を補強することで、さらに悪化させる。 我々は,GRPOの報酬と利点を文レベルから文レベルに移動させることによって,両者を固定するオーサリング・センテンス・クレジット(ASC)を提案する。 報酬のクレジットは、コピーされるのではなく、コピーされる文のみであり、質問よりも多く述べ、その文によって支持される。 利点は、各文を質問のためにサンプリングされたすべての文と比較するので、最後にクレジットのランクを稼いでおらず、決して強化されない。 4つのモデルと2つのドメイン内コーパス、3つのホールドアウトコーパスのうち、ASCのみが権威のある文のエラー率を下げ、すべての設定でよりサポートされたコーパスを38%と46%減らし、読者により根拠のある情報を与える。 これらのショートカットは不要であり、全回答を比較する2人のLCM判事はベースモデルに対するベースラインを好まないが、ASCの回答をそれと同程度に評価する。 私たちは、忠実な報酬は、モデルが何を書いているか、コピーしたものではないことを信用すべきである、と結論付けます。

関連論文リスト

• Attributable Post-Rationalization in RAG Citations: A Controlled Reproduction and an RLVR Comparison [0.0]
  RAGシステムでは、正しい答えを手渡して、実際に使用していないソースを引用することができます。 モデルは、これらの不誠実な引用を、合理化後を通して出力する。 私たちは、そのトレーニングが彼らに率直に引用するように教えるかどうかを尋ねました。
  論文  参考訳（メタデータ） (2026-09-19T14:35:55Z)
• ReCAST: Reward Credit Assignment across Timesteps for Online Diffusion Reinforcement [49.49571101362551]
  本稿では,ReCAST(Reward Credit Assignment across Timesteps)を提案する。 我々は、ReCASTがトレーニング報酬を超えて、その中核となる原則をサポートするために一般化する改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-09-11T18:41:09Z)
• STAMP: Provenance-Guided Credit Assignment for Deep Search Agents [16.1299556246389]
  ディープリサーチエージェントの強化学習は、主に軌道レベルのスコアリングに焦点を当てている。 本稿では、参照ベースの検証器が各引用文書がエンティティや関係をサポートするかどうかを判断するSTAMPを提案する。 BrowseComp、BrowseComp-ZH、xbench-DSでは、STAMPはGRPOのベースラインを+2.0/+5.5/+3.0ポイント改善している。
  論文  参考訳（メタデータ） (2026-07-13T07:12:55Z)
• SocraticPO: Policy Optimization via Interactive Guidance [64.7524628699057]
  大規模言語モデルのための強化学習(RL)は通常、二項正当性のようなスカラー結果の報酬を伴う推論を監督する。 我々は、ソクラティックスタイルの自然言語ガイダンスでRLロールアウトを強化する政策最適化フレームワークであるtextbf SocraticPO(Socratic Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2026-06-03T09:08:29Z)
• Reinforcing Consistency in Video MLLMs with Structured Rewards [14.560061824569333]
  マルチモーダル大言語モデル (MLLM) はビデオ理解において顕著な進歩を遂げている。 本研究では,この障害モードを,キャプションを事実的・時間的クレームに分解する構成整合監査を通じて検討する。 本研究の目的は,(1)実物,属性,関係性に対する実例対応のシーングラフ報酬,(2)イベントの順序と繰り返しに対する時間報酬,(3)階層的自己検証のためのビデオグラウンド付VQA報酬の3つの相補的な構成要素を統合することである。
  論文  参考訳（メタデータ） (2026-04-01T23:15:34Z)
• Incorporating Self-Rewriting into Large Language Model Reasoning Reinforcement [54.63337314382886]
  自己書き起こしフレームワークを導入し、モデルが独自の推論テキストを書き直し、その後、書き直し推論から学習し、内部思考プロセスの品質を向上させる。 アルゴリズム設計において、モデルの一貫した正当性によって定義される「単純な」サンプルのみを書き換える選択的な書き換え手法を提案する。 モデルサイズが異なる多様なタスクの実験は、自己書き換えの有効性を検証する。
  論文  参考訳（メタデータ） (2025-11-20T13:10:52Z)
• Sentence-level Reward Model can Generalize Better for Aligning LLM from Human Preference [27.205035058481553]
  我々は各文にスコアを割り当て、中間粒度の報酬モデルを導入することを提案する。 すべての文のスコアを応答レベルスコアに集約する新しい注意機構が導入された。 提案手法はRewardBench上で応答レベル報酬モデルを2.7%向上させる。
  論文  参考訳（メタデータ） (2025-03-01T14:11:04Z)
• SelfCite: Self-Supervised Alignment for Context Attribution in Large Language Models [51.90867482317985]
  SelfCiteは、生成されたレスポンスの文に対して、きめ細かい文レベルの引用を生成する、自己教師型アプローチである。 SelfCiteの有効性は、LongBench-Citeベンチマークにおいて、引用F1を5.3ポイントまで増やすことによって示される。
  論文  参考訳（メタデータ） (2025-02-13T18:55:13Z)
• CopyBench: Measuring Literal and Non-Literal Reproduction of Copyright-Protected Text in Language Model Generation [132.00910067533982]
  LM世代におけるリテラルコピーと非リテラルコピーの両方を測定するために設計されたベンチマークであるCopyBenchを紹介する。 リテラル複写は比較的稀であるが、イベント複写と文字複写という2種類の非リテラル複写は、7Bパラメータのモデルでも発生する。
  論文  参考訳（メタデータ） (2024-07-09T17:58:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。