論文の概要: Copy Less, Ground More: Overcoming Repetitive Copying in Long-Context Reasoning via Evidence-Aware Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2607.19345v1
• Date: Tue, 21 Jul 2026 17:59:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.527171
• Title: Copy Less, Ground More: Overcoming Repetitive Copying in Long-Context Reasoning via Evidence-Aware Reinforcement Learning
• Title（参考訳）: コピー不足, 地上増加: 証拠認識強化学習によるロングコンテキスト推論における反復的コピーの克服
• Abstract要約: そこで本研究では,入力からテキストを推論トレースに広範囲にコピーする手法を提案する。 各プロンプトをタスク関連キーエビデンスと無関係インタプタコンテキストに分離することにより,根本原因が不十分であることを示す。 この診断に触発されたGEARは,キーエビデンスと重複するグラウンドング報酬と無関係な文脈と重複するイントラクタペナルティを付与し,精度を向上する報酬形成手法である。
• 参考スコア（独自算出の注目度）: 42.17614767170884
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models that generate step-by-step reasoning traces have achieved strong performance on complex tasks, and extending them to long-context settings has emerged as an important frontier. However, we identify a critical failure mode in this regime: \emph{repetitive copying}, where models extensively copy text from the input into their reasoning traces rather than productively solving the problem. We show that this behavior is pervasive across frontier long-context LLMs and intensifies with context length. By separating each prompt into task-relevant key evidence and irrelevant distractor context, we further show that the root cause is insufficient grounding: models copy from the prompt indiscriminately, and those that fail to focus on key evidence are far more likely to answer incorrectly. Motivated by this diagnosis, we propose GEAR (Grounding Evidence-Aware Reward), a reward shaping method that augments the accuracy signal with a grounding reward for overlap with key evidence and a distractor penalty for overlap with irrelevant context. To enable GEAR on natural-language data, we develop an automated pipeline that constructs evidence-annotated training data from arbitrary documents. We validate GEAR across multiple model scales and benchmarks, showing consistent improvements of up to +4.6 average points over standard RL with accuracy-based rewards, with larger gains at longer contexts, while also reducing repetitive copying and thinking length. Our findings suggest that, even as long-context evaluation shifts from simple retrieval toward complex reasoning, accurate grounding in relevant evidence remains an indispensable capability with substantial room for improvement.
• Abstract（参考訳）: ステップバイステップの推論トレースを生成する大規模言語モデルは、複雑なタスクにおいて強力なパフォーマンスを実現し、長いコンテキスト設定に拡張することが重要なフロンティアとして現れている。 しかし、我々はこの体制において重要な障害モードを識別する: \emph{repetitive copying} モデルが問題を生産的に解決するのではなく、入力からのテキストを彼らの推論トレースに広範囲にコピーする。 この動作は、フロンティアの長文LLMにまたがって広まり、コンテキスト長を増大させることを示す。 それぞれのプロンプトをタスク関連キーエビデンスと無関係なインタラプタコンテキストに分離することにより、根本原因が不十分であることを示す。 この診断に触発されたGEAR(Grounding Evidence-Aware Reward)は,キーエビデンスと重複するグラウンドング報酬と無関係なコンテキストと重複するアトラクタペナルティで精度を向上する報酬形成手法である。 自然言語データ上でGEARを有効にするために,任意の文書からエビデンスアノテートされたトレーニングデータを構築する自動パイプラインを開発した。 我々はGEARを複数のモデルスケールとベンチマークで検証し、標準RLよりも最大4.6ポイントまで改善し、精度に基づく報酬が得られた。 以上の結果から, 長期の文脈評価が単純な検索から複雑な推論へと移行したとしても, 関連証拠の正確な根拠化は, 改善の余地が十分にあることが示唆された。

関連論文リスト

• SAGE: From Direct Answering to Evidence-Grounded Inference for Chinese Ancient Document Understanding [61.02068339726333]
  中国古文書理解のためのエビデンスを基盤としたマルチエージェントフレームワークであるSAGEを提案する。 SAGEは、タスク対応計画、ツールによるエビデンス獲得、クレームレベルの検証、バウンドリプランニングのための特殊エージェントを調整する。 AncientDocベンチマークの実験によると、SAGEは直接答えベースラインと一貫して優れていた。
  論文  参考訳（メタデータ） (2026-08-25T03:01:51Z)
• LongTraceRL: Learning Long-Context Reasoning from Search Agent Trajectories with Rubric Rewards [53.339700196282905]
  検証可能な報酬(RLVR)による強化学習は,この課題を約束している。 既存の方法は、信頼性の低いインタプリタと、スパースで結果のみの報酬信号によって制限される。 textscLongTraceRLは、ランダムサンプリングやワンショット検索によって作られたものよりもはるかに難しいトレーニングコンテキストを生成する。
  論文  参考訳（メタデータ） (2026-05-29T17:51:40Z)
• Pause or Fabricate? Training Language Models for Grounded Reasoning [50.104657152302956]
  不完全情報に基づくグラウンドド推論のために,対話型強化学習(GRIL)によるグラウンドド推論を提案する。 GRILは推論プロセスを2つの段階に分解する: 明確化と一時停止、利用可能な情報が十分かどうかを識別する。 GSM8K-InsufficientおよびMetaMATH-Insufficientの実験では、GRILは前提検出を大幅に改善し(最大45%)、平均応答長を20%以上削減しながらタスク成功率が30%向上した。
  論文  参考訳（メタデータ） (2026-04-21T16:45:29Z)
• Entropy-Gradient Grounding: Training-Free Evidence Retrieval in Vision-Language Models [77.3748853516374]
  視覚言語モデルのための学習不要なモデル固有のグラウンドリング手法を提案する。 モデルの次トーケン分布のエントロピーを計算し、それを視覚トークン埋め込みにバックプロパタイズしてエントロピー勾配のレバレンスマップを得る。 次に、複数のコヒーレント領域を抽出・ランク付けし、マルチエビデンスクエリをサポートし、空間エントロピー停止規則付き反復的なズーム・アンド・リグラウンド手順を導入する。
  論文  参考訳（メタデータ） (2026-04-09T16:51:42Z)
• InfoDensity: Rewarding Information-Dense Traces for Efficient Reasoning [36.37924312794855]
  冗長性は単に長さの問題ではなく、中間的推論品質の低下の症状であると主張する。 本稿では,AUCに基づく報酬と単調報酬を組み合わせたRLトレーニングのための報奨フレームワークであるInfoDensityを,推論品質の統一尺度として提案する。
  論文  参考訳（メタデータ） (2026-03-18T03:11:36Z)
• LongRLVR: Long-Context Reinforcement Learning Requires Verifiable Context Rewards [51.45138356629732]
  我々は,疎解報酬を高密度で検証可能な文脈報酬で増強するためにLongRLVRを導入する。 この補助信号は、正しい接地情報を選択するためのモデルを直接インセンティブ化する。 LongRLVRは、すべてのモデルとベンチマークで標準のRLVRよりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2026-03-02T18:07:53Z)
• Chaining the Evidence: Robust Reinforcement Learning for Deep Search Agents with Citation-Aware Rubric Rewards [60.0970117192627]
  強化学習(Reinforcement Learning, RL)は, LLMに基づくディープサーチエージェントの強化に重要な手法である。 既存のアプローチは主にバイナリ結果の報酬に依存しており、エージェントの推論プロセスの包括性と事実性を捉えていない。 ディープサーチエージェントのための微粒化報酬フレームワークである textbfCitation-aware RL Rewards (CaRR) を提案する。
  論文  参考訳（メタデータ） (2026-01-09T18:57:53Z)
• PoU: Proof-of-Use to Counter Tool-Call Hacking in DeepResearch Agents [24.502121097996294]
  Retrieval-augmented Generation (RAG) エージェントは、外部ツールを通じて、自律的な情報検索機能を備えた大規模言語モデルを拡張する。 以前見過ごされた障害モードであるTool-Call Hacking(ツールコールハッキング)を識別します。 提案するProof-of-Use(PoU)フレームワークは,検索された証拠,推論トレース,最終回答間の因果関係の検証を行う。
  論文  参考訳（メタデータ） (2025-10-13T02:45:37Z)
• Distantly-Supervised Evidence Retrieval Enables Question Answering without Evidence Annotation [19.551623461082617]
  オープンドメインの質問応答は、大きなコーパスから取得した証拠に基づいて質問に答える。 本稿では,大規模コーパスからモデルが証拠の発見を学べるかどうかを,モデル学習のための回答ラベルからのみ遠ざかって検討する。 我々は,最新のモデルから証拠を交互に発見し,最も可能性の高い証拠を学習するよう促すことにより,弱いレトリバーよりも反復的に改善する新しいアプローチ(DistDR)を提案する。
  論文  参考訳（メタデータ） (2021-10-10T20:01:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。