論文の概要: AgenticRag-R1: Agentic Reinforcement Learning with Stack Memory for Multi-Step Reasoning, Retrieval and Memorizing
- arxiv url: http://arxiv.org/abs/2608.29622v1
- Date: Sun, 30 Aug 2026 07:31:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.024113
- Title: AgenticRag-R1: Agentic Reinforcement Learning with Stack Memory for Multi-Step Reasoning, Retrieval and Memorizing
- Title（参考訳）: AgenticRag-R1:マルチステップ推論,検索,記憶のためのスタックメモリによるエージェント強化学習
- Abstract要約: AgenticRag-R1は強化学習フレームワークで、メモリスタックときめ細かいアクション空間を介して推論、検索、メモリを統合する。
実験の結果、AgenticRag-R1は強いベースラインを一貫して上回ることがわかった。
- 参考スコア（独自算出の注目度）: 37.98676093459165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-Augmented Generation (RAG) improves the factuality of large language models (LLMs), yet existing RAG systems often struggle with complex, multi-step reasoning that requires adaptive retrieval and continuous revision of intermediate contexts. Recent reinforcement learning (RL)-based agentic RAG methods partially alleviate this issue, but typically rely on coarse-grained action spaces and trajectory-level rewards, resulting in weak reward assignment and a bias toward short-horizon, stereotyped reasoning template. To address, we propose AgenticRag-R1, a RL framework that deeply integrates reasoning, retrieval, and memory via a memory stack and fine-grained action space, supported by hierarchical action-aware rewards and an information-aware trajectory rejection strategy to enable effective long-horizon learning. Experiments across a diverse set of multi-hop, open-domain, and agentic reasoning benchmarks, spanning multiple backbone model sizes, demonstrate that AgenticRag-R1 consistently outperforms strong baselines. Moreover, AgenticRag-R1 learns more robust, interpretable, and memory-aware reasoning behaviors, highlighting the effect of fine-grained action modeling and information-aware optimization for long-horizon reasoning. Our code is anonymous available at https://github.com/jiangxinke/Harness-RL/tree/AgenticRAG-R1-Whitebox.
- Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の現実性を改善するが、既存のRAGシステムは、適応的な検索と中間文脈の継続的な修正を必要とする複雑な多段階推論に苦慮することが多い。
最近の強化学習(RL)に基づくエージェントRAG法はこの問題を部分的に緩和するが、通常は粗い粒度のアクション空間と軌道レベルの報酬に依存しており、報酬の割り当てが弱く、短水平のステレオタイプ推論テンプレートへのバイアスが生じる。
提案するRLフレームワークであるAgenticRag-R1は,メモリスタックと細粒度アクション空間を介し推論,検索,メモリを深く統合し,階層的な行動認識報酬と情報認識軌道拒否戦略により,効果的な長期学習を実現する。
複数のバックボーンモデルサイズにまたがる、多様なマルチホップ、オープンドメイン、エージェント推論ベンチマークの実験は、AgenticRag-R1が強いベースラインを一貫して上回ることを示した。
さらに、AgenticRag-R1はより堅牢で、解釈可能で、メモリ対応の推論動作を学習し、細粒度アクションモデリングと長距離推論に対する情報認識最適化の効果を強調している。
私たちのコードはhttps://github.com/jiangxinke/Harness-RL/tree/AgenticRAG-R1-Whiteboxで公開されています。
関連論文リスト
- OThink-SRR1: Search, Refine and Reasoning with Reinforced Learning for Large Language Models [27.82040547996176]
OThink-SRR1は、強化学習を通じてトレーニングされた反復的なサーチ-リファイン-推論プロセスで大きなモデルを強化するフレームワークである。
その中核となるRefineステージは、回収された文書を推論する前に簡潔で関連する事実に蒸留する。
4つのマルチホップQAベンチマーク実験により,提案手法はより少ない検索ステップとトークンを用いながら,強いベースラインよりも優れた精度が得られることが示された。
論文 参考訳（メタデータ） (2026-03-27T03:06:29Z) - Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration [49.9937230730202]
本稿では,新たなアクター・リファイナ・コラボレーション・フレームワークであるSearch-R2を提案する。
提案手法は,生成過程をアクターに分解し,最初の推論軌道を生成する。
本稿では,検索-R2がモデルスケール全体にわたって強力なRAGとRLベースのベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-02-03T15:32:09Z) - TreePS-RAG: Tree-based Process Supervision for Reinforcement Learning in Agentic RAG [71.06073770344732]
エージェント検索強化生成(RAG)は、推論と情報検索の多段階的な相互作用として質問応答を定式化する。
エージェントRAGのためのオンラインツリーベースRLフレームワークであるTreePS-RAGについて述べる。
論文 参考訳（メタデータ） (2026-01-11T14:07:30Z) - RAAR: Retrieval Augmented Agentic Reasoning for Cross-Domain Misinformation Detection [31.765619582229146]
RAARは、クロスドメイン誤情報検出のための検索強化エージェント推論フレームワークである。
RAARは、それぞれのサンプルのセマンティクス、感情、書き込みスタイルに沿ったソースドメインのエビデンスを取得する。
RAARは、特殊なマルチエージェントコラボレーションを通じて、検証可能な多段階推論パスを構築する。
論文 参考訳（メタデータ） (2026-01-08T11:43:16Z) - MARAG-R1: Beyond Single Retriever via Reinforcement-Learned Multi-Tool Agentic Retrieval [50.30107119622642]
大規模言語モデル(LLM)は推論と生成において優れているが、本質的には静的事前学習データによって制限されている。
Retrieval-Augmented Generation (RAG)は、LLMを外部知識に基盤を置くことでこの問題に対処する。
MarAG-R1は、LLMが複数の検索機構を動的に調整できる強化学習型マルチツールRAGフレームワークである。
論文 参考訳（メタデータ） (2025-10-31T15:51:39Z) - UR$^2$: Unify RAG and Reasoning through Reinforcement Learning [17.319590573147565]
大規模言語モデル(LLM)は2つの相補的パラダイムを通じて顕著な能力を示してきた: 検索-拡張生成(RAG)と、検証リワード(RLVR)からの強化学習(Reinforcement Learning)である。
我々は、強化学習による検索と推論を統一する一般的なフレームワークUR2(Unified RAG and Reasoning)を提案する。
オープンドメインQA、MMLU-Pro、医学、数学的推論タスクにわたる実験は、UR$2$が既存のRAG法とRL法を大幅に上回ることを示した。
論文 参考訳（メタデータ） (2025-08-08T09:33:20Z) - From Sufficiency to Reflection: Reinforcement-Guided Thinking Quality in Retrieval-Augmented Reasoning for LLMs [13.410543801811992]
本稿では既存のRAG推論モデルを分析し,3つの障害パターンを同定する。
本稿では,思考検索と多次元報酬システムを用いた新しいフレームワークTIRESRAG-R1を提案する。
4つのマルチホップQAデータセットの実験により、TIRESRAG-R1はRAG法よりも優れており、シングルホップタスクに適していることが示された。
論文 参考訳（メタデータ） (2025-07-30T14:29:44Z) - Towards Agentic RAG with Deep Reasoning: A Survey of RAG-Reasoning Systems in LLMs [69.10441885629787]
Retrieval-Augmented Generation (RAG) は、外部知識を注入することによって、Large Language Models (LLM) の事実性を高める。
逆に、純粋に推論指向のアプローチは、しばしば幻覚的あるいは誤った事実を必要とする。
この調査は両鎖を統一的推論-検索の観点から合成する。
論文 参考訳（メタデータ） (2025-07-13T03:29:41Z) - RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning [125.96848846966087]
対話型エージェントとしての大規模言語モデル(LLM)のトレーニングには,ユニークな課題がある。
強化学習は静的タスクの進行を可能にする一方で、マルチターンエージェントRLトレーニングは未探索のままである。
本稿では、軌道レベルのエージェントRLのための一般的なフレームワークであるStarPOを提案し、LLMエージェントのトレーニングと評価のためのモジュールシステムであるRAGENを紹介する。
論文 参考訳（メタデータ） (2025-04-24T17:57:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。