論文の概要: Think-on-Graph 2.0: Deep and Faithful Large Language Model Reasoning with Knowledge-guided Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2407.10805v6
• Date: Mon, 09 Dec 2024 03:39:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:51:22.792671
• Title: Think-on-Graph 2.0: Deep and Faithful Large Language Model Reasoning with Knowledge-guided Retrieval Augmented Generation
• Title（参考訳）: Think-on-Graph 2.0:知識誘導型検索生成による深層かつ忠実な大規模言語モデル推論
• Authors: Shengjie Ma, Chengjin Xu, Xuhui Jiang, Muzhi Li, Huaren Qu, Cehao Yang, Jiaxin Mao, Jian Guo,
• Abstract要約: Think-on-Graph 2.0 (ToG-2) は、構造化されていない知識ソースと構造化されていない知識ソースの両方から情報を反復的に取得するハイブリッドRAGフレームワークである。 ToG-2は、グラフ検索とコンテキスト検索の交互に、質問に関連する詳細な手がかりを検索する。 GPT-3.5で7つの知識集約データセットのうち6つで、全体的なSOTA(State-of-the-art)のパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 14.448198170932226
• License:
• Abstract: Retrieval-augmented generation (RAG) has improved large language models (LLMs) by using knowledge retrieval to overcome knowledge deficiencies. However, current RAG methods often fall short of ensuring the depth and completeness of retrieved information, which is necessary for complex reasoning tasks. In this work, we introduce Think-on-Graph 2.0 (ToG-2), a hybrid RAG framework that iteratively retrieves information from both unstructured and structured knowledge sources in a tight-coupling manner. Specifically, ToG-2 leverages knowledge graphs (KGs) to link documents via entities, facilitating deep and knowledge-guided context retrieval. Simultaneously, it utilizes documents as entity contexts to achieve precise and efficient graph retrieval. ToG-2 alternates between graph retrieval and context retrieval to search for in-depth clues relevant to the question, enabling LLMs to generate answers. We conduct a series of well-designed experiments to highlight the following advantages of ToG-2: 1) ToG-2 tightly couples the processes of context retrieval and graph retrieval, deepening context retrieval via the KG while enabling reliable graph retrieval based on contexts; 2) it achieves deep and faithful reasoning in LLMs through an iterative knowledge retrieval process of collaboration between contexts and the KG; and 3) ToG-2 is training-free and plug-and-play compatible with various LLMs. Extensive experiments demonstrate that ToG-2 achieves overall state-of-the-art (SOTA) performance on 6 out of 7 knowledge-intensive datasets with GPT-3.5, and can elevate the performance of smaller models (e.g., LLAMA-2-13B) to the level of GPT-3.5's direct reasoning. The source code is available on https://github.com/IDEA-FinAI/ToG-2.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG)は、知識検索を用いて知識不足を克服し、大規模言語モデル(LLM)を改善した。 しかしながら、現在のRAG法は、複雑な推論タスクに必要な、検索された情報の深さと完全性を保証するには不十分であることが多い。 本稿では、構造化されていない知識ソースと構造化されていない知識ソースの両方から情報を密結合で反復的に取得するハイブリッドRAGフレームワークであるThink-on-Graph 2.0(ToG-2)を紹介する。 具体的には、知識グラフ(KGs)を活用して、エンティティを介してドキュメントをリンクし、深い知識を導いたコンテキストの検索を容易にする。 同時に、文書をエンティティコンテキストとして利用して、正確かつ効率的なグラフ検索を実現する。 ToG-2は、グラフ検索とコンテキスト検索の交互に、質問に関連する深い手がかりを検索し、LLMが回答を生成する。 私たちは、ToG-2の次の利点を強調するために、よく設計された一連の実験を行います。 1)ToG-2は、コンテキスト検索とグラフ検索のプロセスを密に結合し、コンテキストに基づいた信頼性の高いグラフ検索を可能にしながら、KGによるコンテキスト検索をより深めている。 2)文脈とKGの協調による反復的知識検索プロセスを通じて,LLMにおける深い,忠実な推論を実現する。 3)ToG-2はトレーニングフリーで、様々なLLMとプラグアンドプレイ互換である。 広範囲な実験により、ToG-2は7つの知識集約データセットのうち6つでSOTA(State-of-the-art)のパフォーマンスを達成し、より小さなモデル(例:LAMA-2-13B)の性能をGPT-3.5の直接的推論のレベルまで高めることができた。 ソースコードはhttps://github.com/IDEA-FinAI/ToG-2で公開されている。

関連論文リスト

• GFM-RAG: Graph Foundation Model for Retrieval Augmented Generation [84.41557981816077]
  本稿では,新しいグラフ基盤モデル (GFM) である GFM-RAG について紹介する。 GFM-RAGは、複雑なクエリ-知識関係をキャプチャするグラフ構造を理由とする、革新的なグラフニューラルネットワークによって実現されている。 効率とニューラルスケーリング法則との整合性を維持しつつ、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-02-03T07:04:29Z)
• CG-RAG: Research Question Answering by Citation Graph Retrieval-Augmented LLMs [9.718354494802002]
  CG-RAG(Contextualized Graph Retrieval-Augmented Generation)は、グラフ構造に疎密な検索信号を統合する新しいフレームワークである。 まず、引用グラフの文脈グラフ表現を提案し、文書内および文書間の明示的および暗黙的な接続を効果的にキャプチャする。 次にLexical-Semantic Graph Retrieval(LeSeGR)を提案する。 第3に,検索したグラフ構造化情報を利用した文脈認識生成手法を提案する。
  論文  参考訳（メタデータ） (2025-01-25T04:18:08Z)
• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• SimGRAG: Leveraging Similar Subgraphs for Knowledge Graphs Driven Retrieval-Augmented Generation [6.568733377722896]
  そこで我々はSimGRAG(Simisal Graph Enhanced Retrieval-Augmented Generation)法を提案する。 クエリテキストとナレッジグラフの整合性という課題に効果的に対処する。 SimGRAGは、質問応答と事実検証において最先端のKG駆動RAG法より優れている。
  論文  参考訳（メタデータ） (2024-12-17T15:40:08Z)
• G-RAG: Knowledge Expansion in Material Science [0.0]
  Graph RAGはグラフデータベースを統合して、検索プロセスを強化する。 文書のより詳細な表現を実現するために,エージェントベースの解析手法を実装した。
  論文  参考訳（メタデータ） (2024-11-21T21:22:58Z)
• Don't Forget to Connect! Improving RAG with Graph-based Reranking [26.433218248189867]
  本稿では,グラフニューラルネットワーク(GNN)に基づくリランカであるG-RAGについて紹介する。 提案手法は,文書と意味情報の相互接続(抽象表現平均グラフ)を組み合わせ,RAGの文脈インフォームドローダを提供する。 G-RAGは計算フットプリントを小さくしながら最先端のアプローチより優れている。
  論文  参考訳（メタデータ） (2024-05-28T17:56:46Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• GraphAdapter: Tuning Vision-Language Models With Dual Knowledge Graph [63.81641578763094]
  適応型効率的な伝達学習(ETL)は視覚言語モデル(VLM)のチューニングにおいて優れた性能を示した 本稿では,2つのモーダリティ構造知識を明示的にモデル化し,テキストアダプティブを実行する,GraphAdapterと呼ばれる効果的なアダプタスタイルチューニング戦略を提案する。 特に、二重知識グラフは、2つのサブグラフ、すなわちテキスト知識のサブグラフと視覚知識のサブグラフで成り立っており、ノードとエッジはそれぞれ2つのモダリティのセマンティクス/クラスとそれらの相関を表す。
  論文  参考訳（メタデータ） (2023-09-24T12:56:40Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• Text-Augmented Open Knowledge Graph Completion via Pre-Trained Language Models [53.09723678623779]
  本稿では,高品質なクエリプロンプトを自動的に生成し,大規模テキストコーパスからサポート情報を取得するためのTAGREALを提案する。 その結果、TAGREALは2つのベンチマークデータセット上で最先端のパフォーマンスを達成することがわかった。 TAGREALは、限られたトレーニングデータであっても、既存の埋め込みベース、グラフベース、およびPLMベースの手法よりも優れた性能を有することが判明した。
  論文  参考訳（メタデータ） (2023-05-24T22:09:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。