論文の概要: Walk Wisely on Graph: Knowledge Graph Reasoning with Dual Agents via Efficient Guidance-Exploration
- arxiv url: http://arxiv.org/abs/2408.01880v1
- Date: Sat, 3 Aug 2024 23:15:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-06 18:01:12.249694
- Title: Walk Wisely on Graph: Knowledge Graph Reasoning with Dual Agents via Efficient Guidance-Exploration
- Title(参考訳): グラフ上でのウォークワイズ:効率的な誘導探索による2元エージェントによる知識グラフ推論
- Authors: Zijian Wang, Bin Wang, Haifeng Jing, Huayu Li, Hongbo Dou,
- Abstract要約: 階層的強化学習(HRL)に基づく二重エージェントを用いたマルチホップ推論モデルを提案する。
FULORAは、二重エージェント間のeFficient GUidance-ExpLORAtionによる上記の推論課題に取り組む。
3つの実単語知識グラフデータセットで実施された実験では、FULORAがRLベースのベースラインより優れていることが示された。
- 参考スコア(独自算出の注目度): 6.137115941053124
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent years, multi-hop reasoning has been widely studied for knowledge graph (KG) reasoning due to its efficacy and interpretability. However, previous multi-hop reasoning approaches are subject to two primary shortcomings. First, agents struggle to learn effective and robust policies at the early phase due to sparse rewards. Second, these approaches often falter on specific datasets like sparse knowledge graphs, where agents are required to traverse lengthy reasoning paths. To address these problems, we propose a multi-hop reasoning model with dual agents based on hierarchical reinforcement learning (HRL), which is named FULORA. FULORA tackles the above reasoning challenges by eFficient GUidance-ExpLORAtion between dual agents. The high-level agent walks on the simplified knowledge graph to provide stage-wise hints for the low-level agent walking on the original knowledge graph. In this framework, the low-level agent optimizes a value function that balances two objectives: (1) maximizing return, and (2) integrating efficient guidance from the high-level agent. Experiments conducted on three real-word knowledge graph datasets demonstrate that FULORA outperforms RL-based baselines, especially in the case of long-distance reasoning.
- Abstract(参考訳): 近年,知識グラフ(KG)に対するマルチホップ推論は,その有効性と解釈可能性から広く研究されている。
しかし、従来のマルチホップ推論アプローチには2つの主要な欠点がある。
まず、エージェントは、まばらな報酬のために、初期段階で効果的で堅牢なポリシーを学ぶのに苦労する。
第二に、これらのアプローチは、エージェントが長い推論パスを横切る必要があるスパースナレッジグラフのような特定のデータセットに干渉することが多い。
これらの問題に対処するために,階層的強化学習(HRL)に基づく二重エージェントを用いたマルチホップ推論モデル FULORA を提案する。
FULORAは、二重エージェント間のeFficient GUidance-ExpLORAtionによる上記の推論課題に取り組む。
高レベルエージェントは、単純化された知識グラフの上を歩き、元の知識グラフの上を歩く低レベルエージェントの段階的なヒントを提供する。
このフレームワークでは,(1)リターンの最大化,(2)高レベルのエージェントからの効率的なガイダンスの統合という,2つの目的のバランスをとる値関数を最適化する。
3つの実単語知識グラフデータセットによる実験により、FULORAは、特に長距離推論の場合、RLベースのベースラインより優れていることが示された。
関連論文リスト
- DARA: Decomposition-Alignment-Reasoning Autonomous Language Agent for Question Answering over Knowledge Graphs [70.54226917774933]
本稿では,DARA(Decomposition Alignment-Reasoning Agent)フレームワークを提案する。
DARAは2つのメカニズムを通じて、質問を形式的なクエリに効果的に解析する。
我々は,DARAがKGQAの最先端列挙およびランク付けに基づく手法に匹敵する性能が得られることを示す。
論文 参考訳(メタデータ) (2024-06-11T09:09:37Z) - Inferring Latent Temporal Sparse Coordination Graph for Multi-Agent Reinforcement Learning [19.386588137176933]
マルチエージェント強化学習(MARL)のための潜時スパース座標グラフ(LTS-CG)を提案する。
このグラフ学習プロセスは、エージェントが今後の観測を予測できる予測・フューチャー(Predict-Future)と、限られたデータから環境コンテキストを徹底的に把握するInfer-Present(Infer-Present)という、2つの革新的な特徴によってさらに強化されている。
StarCraft IIベンチマークの結果はLTS-CGの優れた性能を裏付けるものだった。
論文 参考訳(メタデータ) (2024-03-28T09:20:15Z) - Bigraph Matching Weighted with Learnt Incentive Function for Multi-Robot
Task Allocation [5.248564173595024]
本稿では,マルチロボットタスクアロケーションに対する二部グラフマッチング手法の堅牢性やインセンティブを学習するためのグラフ強化学習フレームワークを開発する。
GRL誘導インセンティブを付加したこの新しい複グラフマッチング手法の性能は,元の複グラフマッチング手法と同等であることがわかった。
論文 参考訳(メタデータ) (2024-03-11T19:55:08Z) - KnowAgent: Knowledge-Augmented Planning for LLM-Based Agents [54.09074527006576]
大規模言語モデル(LLM)は複雑な推論タスクにおいて大きな可能性を証明していますが、より高度な課題に取り組むには不十分です。
この不適切さは、主に言語エージェントのアクション知識が組み込まれていないことに起因する。
我々は、明示的な行動知識を取り入れることで、LLMの計画能力を高めるために設計された新しいアプローチであるKnowAgentを紹介する。
論文 参考訳(メタデータ) (2024-03-05T16:39:12Z) - DetermLR: Augmenting LLM-based Logical Reasoning from Indeterminacy to Determinacy [76.58614128865652]
非決定性から決定性への進化として推論過程を再考する新しい視点であるDetermLRを提案する。
まず、既知の条件を次の2つのタイプに分類する: 決定的および不決定的前提 これは、推論プロセスのオール方向を提供し、不決定的データを段階的決定的洞察に変換する際のLCMを導く。
我々は、利用可能な施設の保存と抽出、推論メモリによる推論パスの自動化、そしてその後の推論ステップに関する歴史的推論の詳細を保存する。
論文 参考訳(メタデータ) (2023-10-28T10:05:51Z) - Ladder-of-Thought: Using Knowledge as Steps to Elevate Stance Detection [73.31406286956535]
姿勢検出タスクにLadder-of-Thought(LoT)を導入する。
LoTは、小さなLMに高品質な外部知識を同化させ、生成した中間的論理を精査するように指示する。
実験では, 姿勢検出タスクにおけるCoTのGPT-3.5よりも16%改善し, 10%向上した。
論文 参考訳(メタデータ) (2023-08-31T14:31:48Z) - RACCER: Towards Reachable and Certain Counterfactual Explanations for
Reinforcement Learning [2.0341936392563063]
本稿では,RLエージェントの動作に対する反実的説明を生成するための,RACCERを提案する。
木探索を用いて、定義された特性に基づいて最も適切なカウンターファクトを見つける。
我々はRACCERを2つのタスクで評価し、また、RL固有の対策がエージェントの行動をよりよく理解するのに役立つことを示す。
論文 参考訳(メタデータ) (2023-03-08T09:47:00Z) - Retrieval-Augmented Reinforcement Learning [63.32076191982944]
過去の経験のデータセットを最適な行動にマップするために、ネットワークをトレーニングします。
検索プロセスは、現在のコンテキストで有用なデータセットから情報を取得するために訓練される。
検索強化R2D2はベースラインR2D2エージェントよりもかなり高速に学習し,より高いスコアを得ることを示す。
論文 参考訳(メタデータ) (2022-02-17T02:44:05Z) - Learning to Walk with Dual Agents for Knowledge Graph Reasoning [20.232810842082674]
マルチホップ推論アプローチは、短い推論パスでのみうまく機能し、パスの長さが増加するとターゲットエンティティを見逃しがちである。
そこで我々は,2つのエージェント(GIANTとDWARF)が共同でKGの上を歩き,協調して回答を検索するように訓練する,二重エージェント強化学習フレームワークを提案する。
提案手法は,クラスタレベルの経路を素早く探索するエージェント(GIANT)の1つを割り当て,別のエージェント(DWARF)にステージワイドヒントを提供することによって,長い経路における推論課題に対処する。
論文 参考訳(メタデータ) (2021-12-23T23:03:24Z) - Agent-Centric Representations for Multi-Agent Reinforcement Learning [12.577354830985012]
完全協調型マルチエージェント強化学習において,対象中心表現が有用であるかどうかを検討する。
具体的には、RLアルゴリズムにエージェント中心の誘導バイアスを組み込む2つの方法を検討する。
これらのアプローチをGoogle Research Football環境およびDeepMind Lab 2D上で評価します。
論文 参考訳(メタデータ) (2021-04-19T15:43:40Z) - Explainability in Deep Reinforcement Learning [68.8204255655161]
説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。
エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
論文 参考訳(メタデータ) (2020-08-15T10:11:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。