論文の概要: Graph Neural Network Enhanced Retrieval for Question Answering of LLMs
- arxiv url: http://arxiv.org/abs/2406.06572v1
- Date: Mon, 3 Jun 2024 17:07:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-17 00:04:06.908162
- Title: Graph Neural Network Enhanced Retrieval for Question Answering of LLMs
- Title（参考訳）: グラフニューラルネットワークによるLLMの問合せ検索
- Authors: Zijian Li, Qingyan Guo, Jiawei Shao, Lei Song, Jiang Bian, Jun Zhang, Rui Wang,
- Abstract要約: 本稿では,経路間の関連性を考慮し,GNN-Retと呼ばれる新しい検索手法を提案する。
グラフニューラルネットワーク(GNN)を使用して、パス間の関係を利用して、サポートパスの検索を改善する。
我々は,RGNN-Retと呼ばれるリカレントグラフニューラルネットワーク(RGNN)を用いて,マルチホップ推論問題に対処する手法を拡張した。
- 参考スコア（独自算出の注目度）: 19.24603296717601
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval augmented generation has revolutionized large language model (LLM) outputs by providing factual supports. Nevertheless, it struggles to capture all the necessary knowledge for complex reasoning questions. Existing retrieval methods typically divide reference documents into passages, treating them in isolation. These passages, however, are often interrelated, such as passages that are contiguous or share the same keywords. Therefore, recognizing the relatedness is crucial for enhancing the retrieval process. In this paper, we propose a novel retrieval method, called GNN-Ret, which leverages graph neural networks (GNNs) to enhance retrieval by considering the relatedness between passages. Specifically, we first construct a graph of passages by connecting passages that are structure-related and keyword-related. A graph neural network (GNN) is then leveraged to exploit the relationships between passages and improve the retrieval of supporting passages. Furthermore, we extend our method to handle multi-hop reasoning questions using a recurrent graph neural network (RGNN), named RGNN-Ret. At each step, RGNN-Ret integrates the graphs of passages from previous steps, thereby enhancing the retrieval of supporting passages. Extensive experiments on benchmark datasets demonstrate that GNN-Ret achieves higher accuracy for question answering with a single query of LLMs than strong baselines that require multiple queries, and RGNN-Ret further improves accuracy and achieves state-of-the-art performance, with up to 10.4% accuracy improvement on the 2WikiMQA dataset.
- Abstract（参考訳）: 検索拡張生成は、ファクトサポートを提供することで、大規模言語モデル(LLM)の出力に革命をもたらした。
それにもかかわらず、複雑な推論問題に必要な知識をすべて捉えるのに苦労している。
既存の検索方法は通常、参照文書を通路に分割し、それらを分離して扱う。
しかし、これらの節はしばしば相互に関連しており、例えば連続した節や同じキーワードを共有している節などである。
したがって、検索プロセスの強化には関連性を認識することが不可欠である。
本稿では,グラフニューラルネットワーク(GNN)を利用した新しい検索手法GNN-Retを提案する。
具体的には、まず、構造に関連がありキーワードに関連のある通路を接続することで、通路のグラフを構築する。
グラフニューラルネットワーク(GNN)を使用して、パス間の関係を利用して、サポートパスの検索を改善する。
さらに、リカレントグラフニューラルネットワーク(RGNN-Ret)を用いて、マルチホップ推論問題に対処する手法を拡張した。
各ステップにおいて、RGNN-Retは、前のステップからのパスのグラフを統合し、サポートパスの検索を強化する。
ベンチマークデータセットに対する大規模な実験により、GNN-Retは複数のクエリを必要とする強いベースラインよりも単一のLLMクエリによる質問応答の精度が高く、RGNN-Retはさらに精度を改善し、最先端のパフォーマンスを実現し、2WikiMQAデータセットでは最大10.4%の精度向上を実現している。
関連論文リスト
- Renormalized Graph Neural Networks [4.200261123369236]
グラフニューラルネットワーク(GNN)は、特にグラフとして表される場合、複雑なデータの研究に欠かせないものとなっている。
本稿では,グラフ関連タスクにおけるGNNの性能向上に正規化群理論を適用した新しい手法を提案する。
論文 参考訳（メタデータ） (2023-06-01T14:16:43Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - Relation Embedding based Graph Neural Networks for Handling
Heterogeneous Graph [58.99478502486377]
我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。
具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
論文 参考訳（メタデータ） (2022-09-23T05:24:18Z) - Long Range Graph Benchmark [32.317725340138104]
単にワンホップメッセージパッシングに頼るMP-GNNは、既存のグラフベンチマークでよく使われる。
ベースラインのGNNとGraph Transformerネットワークの両方をベンチマークし、長距離依存をキャプチャするモデルがこれらのタスクにおいて著しく優れていることを検証した。
論文 参考訳（メタデータ） (2022-06-16T13:33:22Z) - Automatic Relation-aware Graph Network Proliferation [182.30735195376792]
GNNを効率的に検索するためのARGNP(Automatic Relation-Aware Graph Network Proliferation)を提案する。
これらの操作は階層的なノード/リレーショナル情報を抽出し、グラフ上のメッセージパッシングのための異方的ガイダンスを提供する。
4つのグラフ学習タスクのための6つのデータセットの実験により、我々の手法によって生成されたGNNは、現在最先端の手作りおよび検索に基づくGNNよりも優れていることが示された。
論文 参考訳（メタデータ） (2022-05-31T10:38:04Z) - KG-FiD: Infusing Knowledge Graph in Fusion-in-Decoder for Open-Domain
Question Answering [68.00631278030627]
検索した通路間の構造的関係を知識グラフで利用することにより,ノイズのある通路をフィルタする新しい手法KG-FiDを提案する。
我々は,KG-FiDが解答一致スコアの最大1.5%向上し,計算コストの40%程度でFiDに匹敵する性能が得られることを示した。
論文 参考訳（メタデータ） (2021-10-08T18:39:59Z) - MrGCN: Mirror Graph Convolution Network for Relation Extraction with
Long-Term Dependencies [32.27755470353054]
関係抽出では、豊富な構文的手がかりを含む依存木がテキストの長期依存を捉えるのに広く使われている。
関係抽出に適したプールアンプール構造を持つGNNモデルであるミラーグラフ畳み込みネットワーク(MrGCN)を提案する。
2つのデータセットを用いた実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2021-01-01T00:52:53Z) - Analyzing the Performance of Graph Neural Networks with Pipe Parallelism [2.269587850533721]
ノードやエッジの分類やリンクの予測といったタスクで大きな成功を収めたグラフニューラルネットワーク(GNN)に注目した。
グラフ技術の進歩には,大規模ネットワーク処理のための新たなアプローチが必要である。
私たちは、ディープラーニングコミュニティで成功したと知られている既存のツールとフレームワークを使用して、GNNを並列化する方法を研究します。
論文 参考訳（メタデータ） (2020-12-20T04:20:38Z) - Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。
複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。
本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
論文 参考訳（メタデータ） (2020-06-26T17:03:06Z) - Learning to Hash with Graph Neural Networks for Recommender Systems [103.82479899868191]
グラフ表現学習は、大規模に高品質な候補探索をサポートすることに多くの注目を集めている。
ユーザ・イテム相互作用ネットワークにおけるオブジェクトの埋め込みベクトルの学習の有効性にもかかわらず、連続的な埋め込み空間におけるユーザの好みを推測する計算コストは膨大である。
連続的かつ離散的なコードとを協調的に学習するための,単純かつ効果的な離散表現学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-03-04T06:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。