論文の概要: GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning

• arxiv url: http://arxiv.org/abs/2405.20139v1
• Date: Thu, 30 May 2024 15:14:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 13:48:54.968215
• Title: GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning
• Title（参考訳）: GNN-RAG:大規模言語モデル推論のためのグラフニューラル検索
• Authors: Costas Mavromatis, George Karypis,
• Abstract要約: 本稿では,LLMの言語理解能力とGNNの推論能力を組み合わせた検索強化世代(RAG)形式の新しい手法であるGNN-RAGを紹介する。 我々のGNN-RAGフレームワークでは、GNNはグラフ情報を抽出するために高密度なサブグラフ推論器として機能する。 実験により、GNN-RAGは2つの広く使用されているKGQAベンチマークで最先端のパフォーマンスを達成することが示された。
• 参考スコア（独自算出の注目度）: 21.057810495833063
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge Graphs (KGs) represent human-crafted factual knowledge in the form of triplets (head, relation, tail), which collectively form a graph. Question Answering over KGs (KGQA) is the task of answering natural questions grounding the reasoning to the information provided by the KG. Large Language Models (LLMs) are the state-of-the-art models for QA tasks due to their remarkable ability to understand natural language. On the other hand, Graph Neural Networks (GNNs) have been widely used for KGQA as they can handle the complex graph information stored in the KG. In this work, we introduce GNN-RAG, a novel method for combining language understanding abilities of LLMs with the reasoning abilities of GNNs in a retrieval-augmented generation (RAG) style. First, a GNN reasons over a dense KG subgraph to retrieve answer candidates for a given question. Second, the shortest paths in the KG that connect question entities and answer candidates are extracted to represent KG reasoning paths. The extracted paths are verbalized and given as input for LLM reasoning with RAG. In our GNN-RAG framework, the GNN acts as a dense subgraph reasoner to extract useful graph information, while the LLM leverages its natural language processing ability for ultimate KGQA. Furthermore, we develop a retrieval augmentation (RA) technique to further boost KGQA performance with GNN-RAG. Experimental results show that GNN-RAG achieves state-of-the-art performance in two widely used KGQA benchmarks (WebQSP and CWQ), outperforming or matching GPT-4 performance with a 7B tuned LLM. In addition, GNN-RAG excels on multi-hop and multi-entity questions outperforming competing approaches by 8.9--15.5% points at answer F1.
• Abstract（参考訳）: 知識グラフ(きゅうグラフ、英: Knowledge Graphs、KG)は、人造の事実知識を三つ子(頭、関係、尾)の形で表し、グラフを構成する。 KGsに関する質問回答(KGQA)は、KGが提供する情報に基づく自然な質問に答えるタスクである。 大規模言語モデル(LLM)は、自然言語を理解する能力に優れたため、QAタスクの最先端モデルである。 一方、グラフニューラルネットワーク(GNN)は、KGに格納された複雑なグラフ情報を処理できるため、KGQAに広く使われている。 本稿では,LLMの言語理解能力とGNNの推論能力とを,検索強化世代(RAG)スタイルで組み合わせた新しい手法であるGNN-RAGを紹介する。 まず、GNNは、与えられた質問に対する回答候補を取得するために、密度の高いKGサブグラフを理由付けます。 第2に、質問エンティティと回答候補を接続するKGの最短経路を抽出し、KG推論経路を表す。 抽出された経路は言語化され、RAGを用いたLLM推論の入力として与えられる。 我々のGNN-RAGフレームワークでは、GNNはグラフ情報を抽出するために高密度なサブグラフ推論器として機能し、LLMはその自然言語処理能力を究極のKGQAに活用する。 さらに、GNN-RAGを用いてKGQA性能をさらに向上させる検索拡張(RA)技術を開発した。 実験結果から, GNN-RAGはWebQSPとCWQの2つのKGQAベンチマークにおいて, 7B 調整 LLM で GPT-4 のパフォーマンスを上回り, 整合性を実現していることがわかった。 さらに、GNN-RAGはマルチホップとマルチエンタリティの質問に優れ、F1で8.9～15.5%の差で競合するアプローチを上回っている。

関連論文リスト

• Decoding on Graphs: Faithful and Sound Reasoning on Knowledge Graphs through Generation of Well-Formed Chains [66.55612528039894]
  知識グラフ(KG)は質問応答(QA)のための信頼できる知識ソースとして機能する。 我々は、LLMとKGの深い相乗効果を促進する新しいフレームワークであるDoG(Decoding on Graphs)を提案する。 様々なKGQAタスクに対して異なるバックグラウンドKGを用いた実験により、DoGが優れた、堅牢なパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:01:40Z)
• Graph-constrained Reasoning: Faithful Reasoning on Knowledge Graphs with Large Language Models [83.28737898989694]
  大規模言語モデル(LLM)は知識ギャップと幻覚のために忠実な推論に苦しむ。 グラフ制約推論(GCR)は、KGにおける構造的知識とLLMにおける非構造的推論を橋渡しする新しいフレームワークである。 GCRは最先端のパフォーマンスを達成し、追加のトレーニングをすることなく、見えないKGに対して強力なゼロショット一般化性を示す。
  論文  参考訳（メタデータ） (2024-10-16T22:55:17Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph [142.42275983201978]
  本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。 また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。 実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-30T07:18:54Z)
• GNN2R: Weakly-Supervised Rationale-Providing Question Answering over Knowledge Graphs [13.496565392976292]
  本稿では,グラフニューラルネットワークを用いた2段階推論モデル(GNN2R)を提案する。 GNN2Rは、最終回答の根拠として最終回答と推論部分グラフの両方を、弱い監督力で効率的に提供することができる。
  論文  参考訳（メタデータ） (2023-12-04T19:58:07Z)
• Logical Message Passing Networks with One-hop Inference on Atomic Formulas [57.47174363091452]
  本稿では,ニューラルネットワーク演算子から知識グラフの埋め込みを分解する,複雑な問合せ応答のためのフレームワークを提案する。 クエリグラフの上に、局所的な原子式上のワンホップ推論とグローバル論理的推論を結びつける論理メッセージパッシングニューラルネットワーク(LMPNN)を提案する。 我々のアプローチは、最先端のニューラルCQAモデルをもたらす。
  論文  参考訳（メタデータ） (2023-01-21T02:34:06Z)
• Toward Subgraph-Guided Knowledge Graph Question Generation with Graph Neural Networks [53.58077686470096]
  知識グラフ(KG)質問生成(QG)は,KGから自然言語質問を生成することを目的とする。 本研究は,KGサブグラフから質問を生成し,回答をターゲットとする,より現実的な環境に焦点を当てる。
  論文  参考訳（メタデータ） (2020-04-13T15:43:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。