論文の概要: Think-on-Graph 2.0: Deep and Faithful Large Language Model Reasoning with Knowledge-guided Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2407.10805v4
• Date: Tue, 8 Oct 2024 13:19:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 21:32:38.055338
• Title: Think-on-Graph 2.0: Deep and Faithful Large Language Model Reasoning with Knowledge-guided Retrieval Augmented Generation
• Title（参考訳）: Think-on-Graph 2.0:知識誘導型検索生成による深層かつ忠実な大規模言語モデル推論
• Authors: Shengjie Ma, Chengjin Xu, Xuhui Jiang, Muzhi Li, Huaren Qu, Cehao Yang, Jiaxin Mao, Jian Guo,
• Abstract要約: Think-on-Graph 2.0 (ToG-2) は、構造化されていない知識ソースと構造化されていない知識ソースの両方から情報を反復的に取得するハイブリッドRAGフレームワークである。 ToG-2は、グラフ検索とコンテキスト検索の交互に、質問に関連する詳細な手がかりを検索する。 GPT-3.5を用いて、7つの知識集約データセットのうち6つにおいて、ToG-2が最先端(SOTA)性能を達成することを示す。
• 参考スコア（独自算出の注目度）: 14.448198170932226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented generation (RAG) has enhanced large language models (LLMs) by using knowledge retrieval to address knowledge gaps. However, existing RAG approaches often fail to ensure the depth and completeness of the information retrieved, which is essential for complex reasoning tasks. In this work, we present Think-on-Graph 2.0 (ToG-2), a hybrid RAG framework that iteratively retrieves information from both unstructured and structured knowledge sources in a tightly integrated manner. Specifically, ToG-2 leverages knowledge graphs (KGs) to connect documents via entities, facilitating deep and knowledge-guided context retrieval. Simultaneously, it uses documents as entity contexts to enable precise and efficient graph retrieval. ToG-2 alternates between graph retrieval and context retrieval to search for in-depth clues relevant to the question, enabling LLMs to generate accurate answers. We conduct a series of experiments to demonstrate the following advantages of ToG-2: (1) ToG-2 tightly integrates context retrieval and graph retrieval, enhancing context retrieval through the KG while enabling reliable graph retrieval based on contexts; (2) it achieves deep and faithful reasoning in LLMs through an iterative knowledge retrieval process that integrates contexts and the KG; and (3) ToG-2 is training-free and compatible with various LLMs as a plug-and-play solution. Extensive experiments show that ToG-2 achieves state-of-the-art (SOTA) performance on 6 out of 7 knowledge-intensive datasets with GPT-3.5, and can elevate the performance of smaller models (e.g., LLAMA-2-13B) to the level of GPT-3.5's direct reasoning.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG)は、知識検索を用いて知識ギャップに対処することで、大規模言語モデル(LLM)を強化した。 しかしながら、既存のRAGアプローチは、取得した情報の深さと完全性を保証するのに失敗することが多い。 本稿では、構造化されていない知識ソースと構造化されていない知識ソースの両方から情報を密に統合して反復的に取得するハイブリッドRAGフレームワークThink-on-Graph 2.0(ToG-2)を提案する。 具体的には、知識グラフ(KG)を活用して、エンティティを介してドキュメントを接続し、深い知識を導いたコンテキストの検索を容易にする。 同時に、ドキュメントをエンティティコンテキストとして使用して、正確で効率的なグラフ検索を可能にする。 ToG-2は、グラフ検索とコンテキスト検索の交互に、質問に関連する深い手がかりを検索し、LCMが正確な回答を生成できるようにする。 ToG-2は、文脈検索とグラフ検索を緊密に統合し、文脈に基づいて信頼性の高いグラフ検索を可能にしながら、KGによるコンテキスト検索を強化し、(2)コンテキストとKGを統合する反復的知識検索プロセスを通じて、LLMの深い忠実な推論を実現し、(3)ToG-2は、プラグアンドプレイソリューションとして、様々なLCMとトレーニングフリーで互換性がある。 GPT-3.5を用いた7つの知識集約データセットのうち6つにおいて、ToG-2は最先端(SOTA)のパフォーマンスを達成し、より小さなモデル(例えば、LAMA-2-13B)の性能をGPT-3.5の直接的な推論のレベルまで高めることができる。

関連論文リスト

• GFM-RAG: Graph Foundation Model for Retrieval Augmented Generation [84.41557981816077]
  本稿では,新しいグラフ基盤モデル (GFM) である GFM-RAG について紹介する。 GFM-RAGは、複雑なクエリ-知識関係をキャプチャするグラフ構造を理由とする、革新的なグラフニューラルネットワークによって実現されている。 効率とニューラルスケーリング法則との整合性を維持しつつ、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-02-03T07:04:29Z)
• CG-RAG: Research Question Answering by Citation Graph Retrieval-Augmented LLMs [9.718354494802002]
  CG-RAG(Contextualized Graph Retrieval-Augmented Generation)は、グラフ構造に疎密な検索信号を統合する新しいフレームワークである。 まず、引用グラフの文脈グラフ表現を提案し、文書内および文書間の明示的および暗黙的な接続を効果的にキャプチャする。 次にLexical-Semantic Graph Retrieval(LeSeGR)を提案する。 第3に,検索したグラフ構造化情報を利用した文脈認識生成手法を提案する。
  論文  参考訳（メタデータ） (2025-01-25T04:18:08Z)
• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• SimGRAG: Leveraging Similar Subgraphs for Knowledge Graphs Driven Retrieval-Augmented Generation [6.568733377722896]
  そこで我々はSimGRAG(Simisal Graph Enhanced Retrieval-Augmented Generation)法を提案する。 クエリテキストとナレッジグラフの整合性という課題に効果的に対処する。 SimGRAGは、質問応答と事実検証において最先端のKG駆動RAG法より優れている。
  論文  参考訳（メタデータ） (2024-12-17T15:40:08Z)
• G-RAG: Knowledge Expansion in Material Science [0.0]
  Graph RAGはグラフデータベースを統合して、検索プロセスを強化する。 文書のより詳細な表現を実現するために,エージェントベースの解析手法を実装した。
  論文  参考訳（メタデータ） (2024-11-21T21:22:58Z)
• Don't Forget to Connect! Improving RAG with Graph-based Reranking [26.433218248189867]
  本稿では,グラフニューラルネットワーク(GNN)に基づくリランカであるG-RAGについて紹介する。 提案手法は,文書と意味情報の相互接続(抽象表現平均グラフ)を組み合わせ,RAGの文脈インフォームドローダを提供する。 G-RAGは計算フットプリントを小さくしながら最先端のアプローチより優れている。
  論文  参考訳（メタデータ） (2024-05-28T17:56:46Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• GraphAdapter: Tuning Vision-Language Models With Dual Knowledge Graph [63.81641578763094]
  適応型効率的な伝達学習(ETL)は視覚言語モデル(VLM)のチューニングにおいて優れた性能を示した 本稿では,2つのモーダリティ構造知識を明示的にモデル化し,テキストアダプティブを実行する,GraphAdapterと呼ばれる効果的なアダプタスタイルチューニング戦略を提案する。 特に、二重知識グラフは、2つのサブグラフ、すなわちテキスト知識のサブグラフと視覚知識のサブグラフで成り立っており、ノードとエッジはそれぞれ2つのモダリティのセマンティクス/クラスとそれらの相関を表す。
  論文  参考訳（メタデータ） (2023-09-24T12:56:40Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• Text-Augmented Open Knowledge Graph Completion via Pre-Trained Language Models [53.09723678623779]
  本稿では,高品質なクエリプロンプトを自動的に生成し,大規模テキストコーパスからサポート情報を取得するためのTAGREALを提案する。 その結果、TAGREALは2つのベンチマークデータセット上で最先端のパフォーマンスを達成することがわかった。 TAGREALは、限られたトレーニングデータであっても、既存の埋め込みベース、グラフベース、およびPLMベースの手法よりも優れた性能を有することが判明した。
  論文  参考訳（メタデータ） (2023-05-24T22:09:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。