論文の概要: GRAG: Graph Retrieval-Augmented Generation
- arxiv url: http://arxiv.org/abs/2405.16506v2
- Date: Mon, 21 Oct 2024 00:55:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:11:41.650526
- Title: GRAG: Graph Retrieval-Augmented Generation
- Title(参考訳): GRAG: グラフ検索拡張世代
- Authors: Yuntong Hu, Zhihan Lei, Zheng Zhang, Bo Pan, Chen Ling, Liang Zhao,
- Abstract要約: Graph Retrieval-Augmented Generation (GRAG)は、テキストサブグラフを取得する際の根本的な課題に取り組む。
本稿では,線形時間で最適な部分グラフ構造を検索する新たな分割・対数戦略を提案する。
提案手法は現状のRAG法を著しく上回っている。
- 参考スコア(独自算出の注目度): 14.98084919101233
- License:
- Abstract: Naive Retrieval-Augmented Generation (RAG) focuses on individual documents during retrieval and, as a result, falls short in handling networked documents which are very popular in many applications such as citation graphs, social media, and knowledge graphs. To overcome this limitation, we introduce Graph Retrieval-Augmented Generation (GRAG), which tackles the fundamental challenges in retrieving textual subgraphs and integrating the joint textual and topological information into Large Language Models (LLMs) to enhance its generation. To enable efficient textual subgraph retrieval, we propose a novel divide-and-conquer strategy that retrieves the optimal subgraph structure in linear time. To achieve graph context-aware generation, incorporate textual graphs into LLMs through two complementary views-the text view and the graph view-enabling LLMs to more effectively comprehend and utilize the graph context. Extensive experiments on graph reasoning benchmarks demonstrate that in scenarios requiring multi-hop reasoning on textual graphs, our GRAG approach significantly outperforms current state-of-the-art RAG methods.
- Abstract(参考訳): Naive Retrieval-Augmented Generation (RAG)は、検索中に個々のドキュメントに焦点を当て、結果として、引用グラフ、ソーシャルメディア、知識グラフなど、多くのアプリケーションで非常に人気があるネットワーク化されたドキュメントを扱うのに不足している。
この制限を克服するため,グラフ検索拡張生成(GRAG)を導入し,テキストサブグラフを検索し,共同でテキストとトポロジ情報を大言語モデル(LLM)に統合することで,その生成を向上する。
効率的なテキストサブグラフ検索を実現するために,線形時間で最適なサブグラフ構造を検索する新たな分割・参照方式を提案する。
グラフコンテキスト認識を実現するために、テキストビューとグラフビュー起動LLMの2つの相補的なビューを通じて、テキストグラフをLLMに組み込んで、グラフコンテキストをより効果的に理解し、活用する。
グラフ推論ベンチマークの大規模な実験により、テキストグラフ上でのマルチホップ推論を必要とするシナリオにおいて、GRAGアプローチは現在の最先端RAG手法よりも大幅に優れていることが示された。
関連論文リスト
- A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。
我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。
GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文 参考訳(メタデータ) (2024-06-19T22:30:08Z) - Intruding with Words: Towards Understanding Graph Injection Attacks at the Text Level [21.003091265006102]
グラフニューラルネットワーク(GNN)は、様々なアプリケーションにまたがるが、敵の攻撃に弱いままである。
本稿では,テキストレベルでのグラフインジェクションアタック(GIA)の探索の先駆者となる。
埋め込みレベルで見過ごされた要素であるテキストの解釈可能性(英語版)が、攻撃強度において重要な役割を担っていることを示す。
論文 参考訳(メタデータ) (2024-05-26T02:12:02Z) - G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。
一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。
G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
論文 参考訳(メタデータ) (2024-02-12T13:13:04Z) - GRENADE: Graph-Centric Language Model for Self-Supervised Representation
Learning on Text-Attributed Graphs [22.282756544376493]
テキスト分散グラフ上での自己教師型表現学習の問題を解決するために,新しいグラフ中心言語モデルGRENADEを開発した。
GRENADEは、事前訓練された言語モデルとグラフニューラルネットワークの両方の相乗効果を利用して、2つの専門的な自己教師付き学習アルゴリズムを最適化する。
提案したグラフ中心の自己教師型学習アルゴリズムは、GRENADEが情報的テキスト意味論だけでなく、テキスト対応グラフの構造的コンテキスト情報を取得するのに有効である。
論文 参考訳(メタデータ) (2023-10-23T17:18:35Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳(メタデータ) (2023-08-03T07:00:04Z) - Explanation Graph Generation via Generative Pre-training over Synthetic
Graphs [6.25568933262682]
説明グラフの生成は,ユーザの入力に応じて説明グラフを作成することを目的とした重要なタスクである。
現在の研究では、ラベル付きグラフで注釈付けされた小さな下流データセット上で、テキストベースの事前学習言語モデルを微調整するのが一般的である。
本稿では,説明グラフ生成タスクのための新しい事前学習フレームワークEG3Pを提案する。
論文 参考訳(メタデータ) (2023-06-01T13:20:22Z) - State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。
グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。
ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
論文 参考訳(メタデータ) (2023-01-14T09:15:49Z) - Promoting Graph Awareness in Linearized Graph-to-Text Generation [72.83863719868364]
局所グラフ構造を符号化する線形化モデルの能力を検討する。
本研究は,モデルの暗黙のグラフ符号化の品質を高めるための解法である。
これらの消音足場は、低リソース設定における下流生成の大幅な改善につながることが分かりました。
論文 参考訳(メタデータ) (2020-12-31T18:17:57Z) - Structure-Augmented Text Representation Learning for Efficient Knowledge
Graph Completion [53.31911669146451]
人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。
これらのグラフは通常不完全であり、自動補完を促す。
グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。
テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
論文 参考訳(メタデータ) (2020-04-30T13:50:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。