論文の概要: GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning

• arxiv url: http://arxiv.org/abs/2405.20139v1
• Date: Thu, 30 May 2024 15:14:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 13:48:54.968215
• Title: GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning
• Title（参考訳）: GNN-RAG:大規模言語モデル推論のためのグラフニューラル検索
• Authors: Costas Mavromatis, George Karypis,
• Abstract要約: 本稿では,LLMの言語理解能力とGNNの推論能力を組み合わせた検索強化世代(RAG)形式の新しい手法であるGNN-RAGを紹介する。 我々のGNN-RAGフレームワークでは、GNNはグラフ情報を抽出するために高密度なサブグラフ推論器として機能する。 実験により、GNN-RAGは2つの広く使用されているKGQAベンチマークで最先端のパフォーマンスを達成することが示された。
• 参考スコア（独自算出の注目度）: 21.057810495833063
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge Graphs (KGs) represent human-crafted factual knowledge in the form of triplets (head, relation, tail), which collectively form a graph. Question Answering over KGs (KGQA) is the task of answering natural questions grounding the reasoning to the information provided by the KG. Large Language Models (LLMs) are the state-of-the-art models for QA tasks due to their remarkable ability to understand natural language. On the other hand, Graph Neural Networks (GNNs) have been widely used for KGQA as they can handle the complex graph information stored in the KG. In this work, we introduce GNN-RAG, a novel method for combining language understanding abilities of LLMs with the reasoning abilities of GNNs in a retrieval-augmented generation (RAG) style. First, a GNN reasons over a dense KG subgraph to retrieve answer candidates for a given question. Second, the shortest paths in the KG that connect question entities and answer candidates are extracted to represent KG reasoning paths. The extracted paths are verbalized and given as input for LLM reasoning with RAG. In our GNN-RAG framework, the GNN acts as a dense subgraph reasoner to extract useful graph information, while the LLM leverages its natural language processing ability for ultimate KGQA. Furthermore, we develop a retrieval augmentation (RA) technique to further boost KGQA performance with GNN-RAG. Experimental results show that GNN-RAG achieves state-of-the-art performance in two widely used KGQA benchmarks (WebQSP and CWQ), outperforming or matching GPT-4 performance with a 7B tuned LLM. In addition, GNN-RAG excels on multi-hop and multi-entity questions outperforming competing approaches by 8.9--15.5% points at answer F1.
• Abstract（参考訳）: 知識グラフ(きゅうグラフ、英: Knowledge Graphs、KG)は、人造の事実知識を三つ子(頭、関係、尾)の形で表し、グラフを構成する。 KGsに関する質問回答(KGQA)は、KGが提供する情報に基づく自然な質問に答えるタスクである。 大規模言語モデル(LLM)は、自然言語を理解する能力に優れたため、QAタスクの最先端モデルである。 一方、グラフニューラルネットワーク(GNN)は、KGに格納された複雑なグラフ情報を処理できるため、KGQAに広く使われている。 本稿では,LLMの言語理解能力とGNNの推論能力とを,検索強化世代(RAG)スタイルで組み合わせた新しい手法であるGNN-RAGを紹介する。 まず、GNNは、与えられた質問に対する回答候補を取得するために、密度の高いKGサブグラフを理由付けます。 第2に、質問エンティティと回答候補を接続するKGの最短経路を抽出し、KG推論経路を表す。 抽出された経路は言語化され、RAGを用いたLLM推論の入力として与えられる。 我々のGNN-RAGフレームワークでは、GNNはグラフ情報を抽出するために高密度なサブグラフ推論器として機能し、LLMはその自然言語処理能力を究極のKGQAに活用する。 さらに、GNN-RAGを用いてKGQA性能をさらに向上させる検索拡張(RA)技術を開発した。 実験結果から, GNN-RAGはWebQSPとCWQの2つのKGQAベンチマークにおいて, 7B 調整 LLM で GPT-4 のパフォーマンスを上回り, 整合性を実現していることがわかった。 さらに、GNN-RAGはマルチホップとマルチエンタリティの質問に優れ、F1で8.9～15.5%の差で競合するアプローチを上回っている。

関連論文リスト

• LOGIN: A Large Language Model Consulted Graph Neural Network Training Framework [30.54068909225463]
  我々は,GNN設計プロセスの合理化とLarge Language Models(LLM)の利点を活用して,下流タスクにおけるGNNの性能向上を目指す。 我々は,LLMs-as-Consultants(LLMs-as-Consultants)という新たなパラダイムを策定し,LLMとGNNを対話的に統合する。 両グラフのノード分類におけるLOGINの有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2024-05-22T18:17:20Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [90.30473970040362]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成できる、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 具体的には、LLMをKGを探索するエージェントとして扱うだけでなく、KGとして扱い、探索したサブグラフに基づいて新たな事実を生成する選択生成探索フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph [142.42275983201978]
  本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。 また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。 実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-30T07:18:54Z)
• GNN2R: Weakly-Supervised Rationale-Providing Question Answering over Knowledge Graphs [13.496565392976292]
  本稿では,グラフニューラルネットワークを用いた2段階推論モデル(GNN2R)を提案する。 GNN2Rは、最終回答の根拠として最終回答と推論部分グラフの両方を、弱い監督力で効率的に提供することができる。
  論文  参考訳（メタデータ） (2023-12-04T19:58:07Z)
• Logical Message Passing Networks with One-hop Inference on Atomic Formulas [57.47174363091452]
  本稿では,ニューラルネットワーク演算子から知識グラフの埋め込みを分解する,複雑な問合せ応答のためのフレームワークを提案する。 クエリグラフの上に、局所的な原子式上のワンホップ推論とグローバル論理的推論を結びつける論理メッセージパッシングニューラルネットワーク(LMPNN)を提案する。 我々のアプローチは、最先端のニューラルCQAモデルをもたらす。
  論文  参考訳（メタデータ） (2023-01-21T02:34:06Z)
• JointLK: Joint Reasoning with Language Models and Knowledge Graphs for Commonsense Question Answering [3.7948783125888363]
  質問応答のための既存のKG拡張モデルは主に知識グラフ(KG)をモデル化するための精巧なグラフニューラルネットワーク(GNN)の設計に焦点を当てている。 本稿では,LMとGNNの結合推論と動的KGs刈り込み機構により,上記の制約を解く新しいモデルであるJointLKを提案する。 CommonsenseQA と OpenBookQA のデータセットで得られた結果は,我々のモーダルフュージョンとナレッジ・プルーニングの手法が推論に関連性のある知識をうまく活用できることを実証している。
  論文  参考訳（メタデータ） (2021-12-06T01:46:46Z)
• QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering [122.84513233992422]
  学習済み言語モデル(LM)と知識グラフ(KG)の知識を用いて質問に答える問題に対処する新しいモデルであるQA-GNNを提案する。 既存のLMとLM+KGモデルに対する改善と、解釈可能で構造化された推論を行う能力を示しています。
  論文  参考訳（メタデータ） (2021-04-13T17:32:51Z)
• XGNN: Towards Model-Level Explanations of Graph Neural Networks [113.51160387804484]
  グラフニューラルネットワーク(GNN)は、隣の情報を集約して組み合わせることでノードの特徴を学習する。 GNNはブラックボックスとして扱われ、人間の知的な説明が欠けている。 我々はモデルレベルでGNNを解釈する新しい手法 XGNN を提案する。
  論文  参考訳（メタデータ） (2020-06-03T23:52:43Z)
• Toward Subgraph-Guided Knowledge Graph Question Generation with Graph Neural Networks [53.58077686470096]
  知識グラフ(KG)質問生成(QG)は,KGから自然言語質問を生成することを目的とする。 本研究は,KGサブグラフから質問を生成し,回答をターゲットとする,より現実的な環境に焦点を当てる。
  論文  参考訳（メタデータ） (2020-04-13T15:43:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。