論文の概要: Evidence-State Rewards for Long-Context Reasoning
- arxiv url: http://arxiv.org/abs/2607.02073v1
- Date: Thu, 02 Jul 2026 12:11:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.819852
- Title: Evidence-State Rewards for Long-Context Reasoning
- Title(参考訳): ロングコンテキスト推論のためのエビデンス・ステート・リワード
- Abstract要約: 長いコンテキスト推論は、長い入力に分散した証拠を見つけ、修正し、合成するモデルを必要とする。
編集可能なエビデンスメモリを備えた強化学習フレームワークであるMavenを提案する。
LongBench v2、LongReason、RULERのLlamaとQwenモデル全体で、Mavenは結果のみのRLとエビデンス識別ベースラインを上回っている。
- 参考スコア(独自算出の注目度): 12.529220850627622
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-context reasoning requires models to locate, revise, and synthesize evidence distributed across lengthy inputs. Existing long-context RL methods usually reward final answers or static evidence extraction, offering little feedback on how intermediate actions change the model's evidence state. We propose Maven, a reinforcement learning framework with an editable evidence memory. Maven defines an answer-conditioned evidence-state value and rewards action-level state transitions: add actions are credited by marginal gain and hindsight contribution, link actions by evidence synergy, and drop actions by improved answer support after removing misleading evidence. These rewards are assigned to the corresponding action spans in GRPO. Across Llama and Qwen models on LongBench v2, LongReason, and RULER, Maven outperforms outcome-only RL and evidence-identification baselines, producing more sufficient evidence sets and lower distractor retention. Our results show that long-context RL benefits from optimizing stateful evidence navigation rather than one-shot evidence extraction.
- Abstract(参考訳): 長いコンテキスト推論は、長い入力に分散した証拠を見つけ、修正し、合成するモデルを必要とする。
既存の長いコンテキストのRLメソッドは通常最終回答や静的エビデンス抽出に報酬を与え、中間アクションがモデルのエビデンス状態をどのように変えるかについてのフィードバックはほとんどない。
編集可能なエビデンスメモリを備えた強化学習フレームワークであるMavenを提案する。
Mavenは、応答条件付きエビデンス-ステート値を定義し、アクションレベルの状態遷移を報いる。
これらの報酬はGRPOの対応するアクションスパンに割り当てられる。
LongBench v2、LongReason、RULERのLlamaとQwenのモデル全体で、Mavenは結果のみのRLとエビデンス識別ベースラインを上回り、より十分なエビデンスセットを生成し、邪魔者の保持を減らす。
以上の結果から,長期的コンテキストRLは,一発的証拠抽出よりもステートフルなエビデンスナビゲーションを最適化することの利点が示唆された。
関連論文リスト
- Navigating Sparse Evidence: Agentic Visual RAG via Explicit Context Selection and Consolidation [50.92223196290564]
明示的な証拠選択と統合のための統一エージェントループを提案する。
探索中、SCoREはクエリ関連観測とソースポインタのみを保守されたテキスト台帳に保持する。
終了時には、参照された元のイメージを再ロードし、答えの視覚的証拠を統合し、論理的なシーケンスにアレンジする。
論文 参考訳(メタデータ) (2026-09-14T16:11:35Z) - REFACT: Adaptive Fact Restatement for Compact and Faithful Chain-of-Thought Reasoning [46.43518025955049]
大規模言語モデル(LLM)は、複雑なタスクを解決するために、ますます長い形式推論を活用している。
既存の根拠的アプローチは、生成後に引用を付加するか、LCMに推論中に証拠を回収するよう促すかのいずれかである。
我々は,LLMが文脈的接地が必要なタイミングを判断できる適応型ファクト・ステートメント・サイレンス・フレームワークREFACTを提案する。
論文 参考訳(メタデータ) (2026-07-23T01:41:17Z) - Copy Less, Ground More: Overcoming Repetitive Copying in Long-Context Reasoning via Evidence-Aware Reinforcement Learning [42.17614767170884]
そこで本研究では,入力からテキストを推論トレースに広範囲にコピーする手法を提案する。
各プロンプトをタスク関連キーエビデンスと無関係インタプタコンテキストに分離することにより,根本原因が不十分であることを示す。
この診断に触発されたGEARは,キーエビデンスと重複するグラウンドング報酬と無関係な文脈と重複するイントラクタペナルティを付与し,精度を向上する報酬形成手法である。
論文 参考訳(メタデータ) (2026-07-21T17:59:21Z) - ReContext: Recursive Evidence Replay as LLM Harness for Long-Context Reasoning [78.94047086588078]
長文推論のための LLM Harness として再帰的証拠を提案する。
長文推論を改善するための訓練不要推論法である。
128Kのコンテキスト長を持つ8つの長文データセットの実験は、エビデンスの利用を一貫して改善していることを示している。
論文 参考訳(メタデータ) (2026-07-02T17:59:26Z) - Reinforce to Learn, Elect to Reason: A Dual Paradigm for Video Reasoning [17.78591587115095]
Reinforce to Learn, Elect to Reason (RLER) は、信頼できる回答から証拠を得るために学習を分離する二重パラダイムである。
RLERはすべてのベンチマークで最先端を達成し、ベースモデルよりも平均6.3%改善されている。
論文 参考訳(メタデータ) (2026-04-06T03:01:52Z) - Stateful Evidence-Driven Retrieval-Augmented Generation with Iterative Reasoning [7.701766930531068]
Stateful Evidence-Driven RAG with Iterative Reasoningは、質問応答をプログレッシブなエビデンス蓄積プロセスとしてモデル化するフレームワークである。
このフレームワークは、ギャップと競合を特定するためにエビデンス駆動の欠陥分析を行い、クエリを反復的に洗練し、その後の検索をガイドする。
複数の質問応答ベンチマークの実験では、標準的なRAGとマルチステップベースラインよりも一貫した改善が示されている。
論文 参考訳(メタデータ) (2026-03-25T06:57:49Z) - Multi-Sourced, Multi-Agent Evidence Retrieval for Fact-Checking [47.47518672198846]
インターネット上に拡散する誤報は、社会と個人の両方に重大な脅威をもたらす。
これまでの方法は、トレーニングデータから学んだ意味的パターンと社会的コンテキスト的パターンに依存していた。
我々は、証拠のコアリソースとして認証されたオープンナレッジグラフを利用するWKGFCを提案する。
論文 参考訳(メタデータ) (2026-02-27T19:29:01Z) - Evidence-Augmented Policy Optimization with Reward Co-Evolution for Long-Context Reasoning [52.144281362465996]
本稿では,強化学習を長期シナリオに適用するためのEAPO(Evidence-Augmented Policy Optimization)を提案する。
最初にEvidence-Augmented Reasoningパラダイムを確立し、Tree-Structued Evidence Smplingを介して検証する。
次に、報酬モデルがグループ相対エビデンス・リワードを計算する特殊なRLアルゴリズムを導入する。
トレーニングを通して正確な監視を維持するため、適応的リワード・ポリティ共進化機構をさらに取り入れる。
論文 参考訳(メタデータ) (2026-01-15T11:40:57Z) - Rational Synthesizers or Heuristic Followers? Analyzing LLMs in RAG-based Question-Answering [0.0]
GroupQAは15,058件の多種多様な証拠文書と組み合わせて、1,635件の論争を巻き起こしたデータセットである。
グループレベルのエビデンス・アグリゲーション・ダイナミクスを制御実験により特徴づける。
グループベースの回答に対する LLM の説明は不信であることがわかった。
論文 参考訳(メタデータ) (2026-01-08T01:54:21Z) - Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。
LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
論文 参考訳(メタデータ) (2025-11-15T02:50:23Z) - From Relevance to Utility: Evidence Retrieval with Feedback for Fact Verification [118.03466985807331]
我々は、FVの関連性よりも、クレーム検証者が取得した証拠から導出する実用性に焦点を当てる必要があると論じる。
本稿では,エビデンス検索プロセスの最適化に,クレーム検証器からのフィードバックを取り入れたフィードバックベースのエビデンス検索手法(FER)を提案する。
論文 参考訳(メタデータ) (2023-10-18T02:59:38Z) - Distantly-Supervised Evidence Retrieval Enables Question Answering
without Evidence Annotation [19.551623461082617]
オープンドメインの質問応答は、大きなコーパスから取得した証拠に基づいて質問に答える。
本稿では,大規模コーパスからモデルが証拠の発見を学べるかどうかを,モデル学習のための回答ラベルからのみ遠ざかって検討する。
我々は,最新のモデルから証拠を交互に発見し,最も可能性の高い証拠を学習するよう促すことにより,弱いレトリバーよりも反復的に改善する新しいアプローチ(DistDR)を提案する。
論文 参考訳(メタデータ) (2021-10-10T20:01:27Z) - REM-Net: Recursive Erasure Memory Network for Commonsense Evidence
Refinement [130.8875535449478]
REM-Netは、答えを説明できない低品質な証拠を消去することで証拠を洗練するためのモジュールを備えている。
既存の知識ベースから証拠を取得する代わりに、REM-Netは事前訓練された生成モデルを利用して、質問用にカスタマイズされた候補証拠を生成する。
結果はREM-Netの性能を示し、洗練された証拠が説明可能であることを示します。
論文 参考訳(メタデータ) (2020-12-24T10:07:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。