論文の概要: GraMRAG: Orchestrating Multi-Agent Multi-Step Reasoning via Graph Memory with Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2609.14066v1
- Date: Sat, 12 Sep 2026 17:28:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.64993
- Title: GraMRAG: Orchestrating Multi-Agent Multi-Step Reasoning via Graph Memory with Reinforcement Learning
- Title（参考訳）: GraMRAG: 強化学習によるグラフメモリによるマルチエージェントマルチステップ推論のオーケストレーション
- Abstract要約: GraMRAGは、動的マルチモーダルメモリグラフを統合するグラフメモリ誘導マルチエージェントRAGフレームワークである。
ReActスタイルのビジュアルツールチェーンでマルチスケールのエンティティトリミングを統一するビジョンテキストブリッジ型推論パラダイムを導入する。
また,エージェント推論を動的指向非巡回グラフとして定式化するマルチモーダルメモリグラフを構築した。
- 参考スコア（独自算出の注目度）: 3.7070385396772916
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although existing multi-agent Retrieval-Augmented Generation (RAG) systems have demonstrated promise on complex multimodal reasoning tasks, they remain fundamentally limited in reasoning depth and memory structure, suffering from inadequate retrieval and state blindness when answering knowledge-intensive questions. To address these limitations, we propose GraMRAG, a graph memory-guided multi-agent RAG framework that integrates a dynamic multimodal memory graph to enable stable, multi-step multimodal reasoning. We introduce a vision-text bridged reasoning paradigm that unifies multi-scale entity cropping with a ReAct-style visual toolchain, enhancing the long-horizon cross-modal reasoning capability. We further construct a multimodal memory graph that formalizes agent reasoning as a dynamic directed acyclic graph (DAG), explicitly modeling action-observation dependencies to mitigate state blindness and suppress redundant retrieval. Moreover, we propose Topology-Aware Policy Optimization (TAPO) that leverages graph topology for critical path identification and targeted node pruning, enabling fine-grained credit assignment across multi-step reasoning trajectories. Extensive experiments on challenging multimodal benchmarks demonstrate that our approach consistently outperforms existing baselines and achieves state-of-the-art performance on complex long-horizon reasoning tasks.
- Abstract（参考訳）: 既存のマルチエージェント検索拡張生成(RAG)システムは、複雑なマルチモーダル推論タスクを約束しているが、知識集約的な質問に答える際に、不適切な検索と状態の盲点に悩まされ、基本的には深度と記憶構造を推論することに制限されている。
このような制約に対処するために,動的マルチモーダルメモリグラフを統合し,安定なマルチモーダル推論を可能にするグラフメモリ誘導マルチエージェントRAGフレームワークであるGraMRAGを提案する。
ReActスタイルのビジュアルツールチェーンとマルチスケールのエンティティトリミングを統一するビジョンテキストブリッジ型推論パラダイムを導入し、長距離クロスモーダル推論能力を向上する。
さらに,エージェント推論を動的指向非循環グラフ (DAG) として定式化するマルチモーダルメモリグラフを構築する。
さらに,グラフトポロジをクリティカルパスの同定やノードプルーニングに活用し,多段階推論トラジェクトリ間のきめ細かなクレジット割り当てを可能にするTopology-Aware Policy Optimization (TAPO)を提案する。
挑戦的なマルチモーダルベンチマークに関する大規模な実験は、我々のアプローチが既存のベースラインを一貫して上回り、複雑なロングホライゾン推論タスクにおける最先端のパフォーマンスを達成することを実証している。
関連論文リスト
- GraphLoom: Reliability-Calibrated Graph Evidence Routing for Multimodal KG-RAG [4.035350563640088]
信頼性校正型マルチモーダル知識グラフRAGフレームワークであるGraphLoomを,コンパクトかつ忠実なエビデンスルーティングのために提案する。
取得したすべての証拠をジェネレータに注入する代わりに、GraphLoomは信頼性に配慮したサブグラフ検索を実行する。
我々は、強力なマルチモーダルRAG、グラフ検索、オープンソースのビジョン言語ベースラインに対して、回答の品質と証拠の忠実さが一貫した向上を示す。
論文 参考訳（メタデータ） (2026-08-15T06:02:23Z) - Insight-V++: Towards Advanced Long-Chain Visual Reasoning with Multimodal Large Language Models [65.4947731385794]
基礎画像中心モデルであるInsight-Vから進化した統合多エージェント視覚推論フレームワークを提案する。
空間的時間的推論を強化し、評価ロバスト性を向上させる2つの新しいアルゴリズムST-GRPOとJ-GRPOを導入する。
LLaVA-NeXTやQwen2.5-VLといったベースモデルの実験は、挑戦的な画像とビデオの推論ベンチマーク間で大きなパフォーマンス向上を示している。
論文 参考訳（メタデータ） (2026-03-18T15:28:07Z) - VimRAG: Navigating Massive Visual Context in Retrieval-Augmented Generation via Multimodal Memory Graph [42.348770377488094]
VimRAGは、テキスト、画像、ビデオにまたがるマルチモーダル検索拡張推論に適したフレームワークである。
軌道レベルの報酬から段階的妥当性を分離するグラフガイド型ポリシー最適化手法を提案する。
実験により、VimRAGは様々なマルチモーダルRAGベンチマークにおける最先端のパフォーマンスを一貫して達成していることが示された。
論文 参考訳（メタデータ） (2026-02-13T09:05:09Z) - DeepImageSearch: Benchmarking Multimodal Agents for Context-Aware Image Retrieval in Visual Histories [52.57197752244638]
本稿では,画像検索を自律探索タスクとして再構成する新しいエージェントパラダイムであるDeepImageSearchを紹介する。
モデルは、暗黙の文脈的手がかりに基づいてターゲットを特定するために、生の視覚履歴に対して多段階の推論を計画し実行しなければならない。
DisBenchは、相互接続された視覚データ上に構築された、挑戦的なベンチマークである。
論文 参考訳（メタデータ） (2026-02-11T12:51:10Z) - Improving Multi-step RAG with Hypergraph-based Memory for Long-Context Complex Relational Modeling [83.29209853451697]
多段階検索強化世代(RAG)は,大規模言語モデル(LLM)の拡張戦略として広く採用されている。
我々はHGMemというハイパーグラフベースのメモリ機構を導入し、複雑な推論とグローバルな理解のためにメモリの概念を動的に表現的構造に拡張する。
提案手法では,ハイパーエッジが異なるメモリ単位に対応するハイパーグラフとして表現され,メモリ内での高次相互作用の進行的形成を可能にする。
論文 参考訳（メタデータ） (2025-12-30T03:13:10Z) - M$^3$Prune: Hierarchical Communication Graph Pruning for Efficient Multi-Modal Multi-Agent Retrieval-Augmented Generation [18.091284320771006]
本稿では,M$3$Prune と呼ばれる新しいマルチモーダルマルチエージェント階層型通信グラフ PRUNing フレームワークを提案する。
当社のフレームワークは,タスクパフォーマンスとトークンオーバーヘッドの最適バランスを達成するために,さまざまなモダリティをまたいだ冗長なエッジを排除します。
本手法はシングルエージェントとロバストマルチエージェントのmRAGシステムにおいて一貫して性能を向上する。
論文 参考訳（メタデータ） (2025-11-25T06:29:13Z) - Agent-ScanKit: Unraveling Memory and Reasoning of Multimodal Agents via Sensitivity Perturbations [34.15274225730601]
制御摂動下でのマルチモーダルエージェントの記憶と推論能力を解明するための textbfAgent-ScanKit を提案する。
その結果,機械的記憶が体系的推論より優れていることが示唆された。
本研究は,実環境におけるマルチモーダルエージェントのロバスト推論モデルの必要性を明らかにするものである。
論文 参考訳（メタデータ） (2025-10-01T04:29:39Z) - GRIL: Knowledge Graph Retrieval-Integrated Learning with Large Language Models [59.72897499248909]
本稿では,Large Language Models (LLM) を用いたエンドツーエンド学習のための新しいグラフ検索手法を提案する。
抽出したサブグラフでは, 構造的知識と意味的特徴をそれぞれ軟式トークンと言語化グラフで符号化し, LLMに注入する。
提案手法は、複雑な推論タスクに対する結合グラフ-LLM最適化の強みを検証し、最先端の性能を一貫して達成する。
論文 参考訳（メタデータ） (2025-09-20T02:38:00Z) - Progressive Multimodal Reasoning via Active Retrieval [64.74746997923967]
多段階多モーダル推論タスクは、大規模言語モデル(MLLM)に重大な課題をもたらす
本稿では,MLLMの推論能力の向上を目的とした汎用フレームワークAR-MCTSを提案する。
我々は,AR-MCTSがサンプリングの多様性と精度を最適化し,信頼性の高いマルチモーダル推論を実現することを示す。
論文 参考訳（メタデータ） (2024-12-19T13:25:39Z) - Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。
我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。
提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
論文 参考訳（メタデータ） (2024-04-24T17:59:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。