論文の概要: RANGER: Retrieval Agent for Navigating Graphs with Semantic Evaluation Rewards

• arxiv url: http://arxiv.org/abs/2610.28010v1
• Date: Tue, 20 Oct 2026 10:53:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.775607
• Title: RANGER: Retrieval Agent for Navigating Graphs with Semantic Evaluation Rewards
• Title（参考訳）: RANGER:Semantic Evaluation Rewardsでグラフをナビゲートする検索エージェント
• Abstract要約: 本稿では,LLMが訓練中にRLエージェントのメンターとして機能する,密集した意味的な報酬信号を提供することにより,新たなハイブリッドアプローチを提案する。 我々は,この検索エージェントを意味的評価リワード (RANGER) と組み合わせ,完全な問合せパイプラインに統合する。
• 参考スコア（独自算出の注目度）: 20.06460435938129
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The integration of Large Language Models and Reinforcement Learning offers a promising direction for complex sequential decision-making tasks, such as multi-hop question answering over knowledge graphs. While LLMs provide strong semantic understanding and reasoning capabilities, they often struggle with precise, multi-step navigation in structured environments. Conversely, RL agents excel at learning navigation policies but are hindered by the difficulty of designing semantically meaningful reward functions. This paper introduces a novel hybrid approach in which an LLM serves as a mentor to an RL agent during training by providing dense, semantically informed reward signals. The RL agent, built on a Transformer-based policy and trained with Group Relative Policy Optimization, learns to navigate a knowledge graph to retrieve relevant information. The LLM evaluates the semantic relevance of the agent's traversed paths, generating reward signals that align the agent's behavior with the information needs expressed in a query. We integrate this Retrieval Agent for Navigating Graphs with Semantic Evaluation Rewards (RANGER) into a complete question-answering pipeline and evaluate it on the open question answering datasets. Experimental results show that the proposed approach outperforms both a baseline retrieval-augmented system with classical graph search and one using an RL agent trained with heuristic rewards, achieving a significant increase in NLP metrics and LLM-as-a-Judge scores. Our findings demonstrate that deep integration of LLMs into the RL training loop yields more effective and semantically aligned retrieval policies for complex reasoning tasks.
• Abstract（参考訳）: 大規模言語モデルと強化学習の統合は、知識グラフに対するマルチホップ質問応答など、複雑なシーケンシャルな意思決定タスクに有望な方向を提供する。 LLMは強力なセマンティック理解と推論能力を提供するが、構造化環境における正確なマルチステップナビゲーションに苦慮することが多い。 逆に、RLエージェントはナビゲーションポリシーの学習に長けているが、意味的に意味のある報酬関数を設計することの難しさに悩まされている。 本稿では,LLMが訓練中にRLエージェントのメンターとして機能する,密集した意味的な報酬信号を提供することにより,新たなハイブリッドアプローチを提案する。 RLエージェントは、Transformerベースのポリシーに基づいて構築され、Group Relative Policy Optimizationでトレーニングされた、関連する情報を取得するための知識グラフのナビゲートを学ぶ。 LLMはエージェントの横断経路の意味的関連性を評価し、エージェントの振る舞いとクエリで表現された情報とを一致させる報酬信号を生成する。 本稿では,グラフを意味的評価逆行(RANGER)でナビゲートする検索エージェントを,完全な問合せパイプラインに統合し,オープンな問合せデータセット上で評価する。 実験結果から,提案手法は従来のグラフ検索を用いたベースライン検索システムと,ヒューリスティックな報奨を訓練したRLエージェントを併用することにより,NLP測定値とLPM-as-a-Judgeスコアの大幅な向上を実現していることがわかった。 以上の結果から,LLトレーニングループへのLLMの深い統合は,複雑な推論タスクに対してより効率的かつ意味的に整合した検索ポリシーをもたらすことが示唆された。

関連論文リスト

• RACER: Reinforced Agent Collaboration for Explainable Reasoning on Knowledge Graphs [8.620753618563114]
  RACERは知識グラフ上の説明可能な推論のための強化されたエージェントコラボレーションフレームワークである。 レイダーは、セマンティック・アウェア・アクション・プルーニングと教師が指導する強化学習機構を用いて、高品質な推論経路を効率的に抽出する。 レイダーは、最先端のKG強化LDMベースラインよりも5%向上した。
  論文  参考訳（メタデータ） (2026-08-29T13:36:36Z)
• From Experience to Strategy: Empowering LLM Agents with Trainable Graph Memory [48.22750809620306]
  大規模言語モデル(LLM)に基づくエージェントは、自律的なタスク解決において顕著な可能性を示している。 本稿では,エージェント中心型,トレーニング可能な,多層グラフメモリフレームワークを提案する。 コンテクストメモリがLLMの情報活用能力をいかに向上させるかを示す。
  論文  参考訳（メタデータ） (2025-11-11T03:36:33Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• GRIL: Knowledge Graph Retrieval-Integrated Learning with Large Language Models [59.72897499248909]
  本稿では,Large Language Models (LLM) を用いたエンドツーエンド学習のための新しいグラフ検索手法を提案する。 抽出したサブグラフでは, 構造的知識と意味的特徴をそれぞれ軟式トークンと言語化グラフで符号化し, LLMに注入する。 提案手法は、複雑な推論タスクに対する結合グラフ-LLM最適化の強みを検証し、最先端の性能を一貫して達成する。
  論文  参考訳（メタデータ） (2025-09-20T02:38:00Z)
• ReMA: Learning to Meta-think for LLMs with Multi-Agent Reinforcement Learning [53.817538122688944]
  Reinforced Meta-thinking Agents (ReMA) を導入し,Large Language Models (LLMs) の推論からメタ思考行動を求める。 ReMAは、推論プロセスを2つの階層的なエージェントに分解する。戦略上の監視と計画を生成するハイレベルなメタ思考エージェントと、詳細な実行のための低レベルな推論エージェントである。 単ターン実験による実験結果から、ReMAは複雑な推論タスクにおいて単エージェントRLベースラインよりも優れることが示された。
  論文  参考訳（メタデータ） (2025-03-12T16:05:31Z)
• WeKnow-RAG: An Adaptive Approach for Retrieval-Augmented Generation Integrating Web Search and Knowledge Graphs [10.380692079063467]
  本稿では,Web検索と知識グラフを統合したWeKnow-RAGを提案する。 まず,知識グラフの構造化表現と高次ベクトル検索の柔軟性を組み合わせることで,LLM応答の精度と信頼性を向上させる。 提案手法は,情報検索の効率と精度を効果的にバランスさせ,全体の検索プロセスを改善する。
  論文  参考訳（メタデータ） (2024-08-14T15:19:16Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。