論文の概要: Think-on-Graph 2.0: Deep and Faithful Large Language Model Reasoning with Knowledge-guided Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2407.10805v6
• Date: Mon, 09 Dec 2024 03:39:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:51:22.792671
• Title: Think-on-Graph 2.0: Deep and Faithful Large Language Model Reasoning with Knowledge-guided Retrieval Augmented Generation
• Title（参考訳）: Think-on-Graph 2.0:知識誘導型検索生成による深層かつ忠実な大規模言語モデル推論
• Authors: Shengjie Ma, Chengjin Xu, Xuhui Jiang, Muzhi Li, Huaren Qu, Cehao Yang, Jiaxin Mao, Jian Guo,
• Abstract要約: Think-on-Graph 2.0 (ToG-2) は、構造化されていない知識ソースと構造化されていない知識ソースの両方から情報を反復的に取得するハイブリッドRAGフレームワークである。 ToG-2は、グラフ検索とコンテキスト検索の交互に、質問に関連する詳細な手がかりを検索する。 GPT-3.5で7つの知識集約データセットのうち6つで、全体的なSOTA(State-of-the-art)のパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 14.448198170932226
• License:
• Abstract: Retrieval-augmented generation (RAG) has improved large language models (LLMs) by using knowledge retrieval to overcome knowledge deficiencies. However, current RAG methods often fall short of ensuring the depth and completeness of retrieved information, which is necessary for complex reasoning tasks. In this work, we introduce Think-on-Graph 2.0 (ToG-2), a hybrid RAG framework that iteratively retrieves information from both unstructured and structured knowledge sources in a tight-coupling manner. Specifically, ToG-2 leverages knowledge graphs (KGs) to link documents via entities, facilitating deep and knowledge-guided context retrieval. Simultaneously, it utilizes documents as entity contexts to achieve precise and efficient graph retrieval. ToG-2 alternates between graph retrieval and context retrieval to search for in-depth clues relevant to the question, enabling LLMs to generate answers. We conduct a series of well-designed experiments to highlight the following advantages of ToG-2: 1) ToG-2 tightly couples the processes of context retrieval and graph retrieval, deepening context retrieval via the KG while enabling reliable graph retrieval based on contexts; 2) it achieves deep and faithful reasoning in LLMs through an iterative knowledge retrieval process of collaboration between contexts and the KG; and 3) ToG-2 is training-free and plug-and-play compatible with various LLMs. Extensive experiments demonstrate that ToG-2 achieves overall state-of-the-art (SOTA) performance on 6 out of 7 knowledge-intensive datasets with GPT-3.5, and can elevate the performance of smaller models (e.g., LLAMA-2-13B) to the level of GPT-3.5's direct reasoning. The source code is available on https://github.com/IDEA-FinAI/ToG-2.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG)は、知識検索を用いて知識不足を克服し、大規模言語モデル(LLM)を改善した。 しかしながら、現在のRAG法は、複雑な推論タスクに必要な、検索された情報の深さと完全性を保証するには不十分であることが多い。 本稿では、構造化されていない知識ソースと構造化されていない知識ソースの両方から情報を密結合で反復的に取得するハイブリッドRAGフレームワークであるThink-on-Graph 2.0(ToG-2)を紹介する。 具体的には、知識グラフ(KGs)を活用して、エンティティを介してドキュメントをリンクし、深い知識を導いたコンテキストの検索を容易にする。 同時に、文書をエンティティコンテキストとして利用して、正確かつ効率的なグラフ検索を実現する。 ToG-2は、グラフ検索とコンテキスト検索の交互に、質問に関連する深い手がかりを検索し、LLMが回答を生成する。 私たちは、ToG-2の次の利点を強調するために、よく設計された一連の実験を行います。 1)ToG-2は、コンテキスト検索とグラフ検索のプロセスを密に結合し、コンテキストに基づいた信頼性の高いグラフ検索を可能にしながら、KGによるコンテキスト検索をより深めている。 2)文脈とKGの協調による反復的知識検索プロセスを通じて,LLMにおける深い,忠実な推論を実現する。 3)ToG-2はトレーニングフリーで、様々なLLMとプラグアンドプレイ互換である。 広範囲な実験により、ToG-2は7つの知識集約データセットのうち6つでSOTA(State-of-the-art)のパフォーマンスを達成し、より小さなモデル(例:LAMA-2-13B)の性能をGPT-3.5の直接的推論のレベルまで高めることができた。 ソースコードはhttps://github.com/IDEA-FinAI/ToG-2で公開されている。

関連論文リスト

• G-RAG: Knowledge Expansion in Material Science [0.0]
  Graph RAGはグラフデータベースを統合して、検索プロセスを強化する。 文書のより詳細な表現を実現するために,エージェントベースの解析手法を実装した。
  論文  参考訳（メタデータ） (2024-11-21T21:22:58Z)
• Paths-over-Graph: Knowledge Graph Empowered Large Language Model Reasoning [19.442426875488675]
  我々は,KGから知識推論経路を統合することで,Large Language Models(LLM)推論を強化する新しい手法であるPaths-over-Graph(PoG)を提案する。 PoGは3段階の動的マルチホップパス探索を通じて、マルチホップとマルチエンタリティの問題に取り組む。 実験では、GPT-3.5-TurboのPoGは、GPT-4のToGを最大23.9%上回った。
  論文  参考訳（メタデータ） (2024-10-18T06:57:19Z)
• iText2KG: Incremental Knowledge Graphs Construction Using Large Language Models [0.7165255458140439]
  iText2KGは、後処理なしで漸進的にトピックに依存しない知識グラフを構築する方法である。 提案手法は,3つのシナリオにまたがるベースライン手法と比較して,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-05T06:49:14Z)
• Debate on Graph: a Flexible and Reliable Reasoning Framework for Large Language Models [33.662269036173456]
  大規模言語モデル(LLM)は、関連する知識の欠如により、現実世界の応用において幻覚に悩まされることがある。 KGQA(Knowledge Graph Question Answering)は、統合のための重要な手掛かりとなる。 LLMの対話型学習機能を活用してグラフ上での推論と議論を行う対話型KGQAフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-05T01:11:58Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• CorpusLM: Towards a Unified Language Model on Corpus for Knowledge-Intensive Tasks [20.390672895839757]
  Retrieval-augmented Generation (RAG) は、事実精度を高めるための一般的なソリューションとして登場した。 従来の検索モジュールは、大きなドキュメントインデックスと生成タスクとの切り離しに依存していることが多い。 生成検索,クローズドブック生成,RAGを統合した統一言語モデルである textbfCorpusLM を提案する。
  論文  参考訳（メタデータ） (2024-02-02T06:44:22Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• GraphAdapter: Tuning Vision-Language Models With Dual Knowledge Graph [63.81641578763094]
  適応型効率的な伝達学習(ETL)は視覚言語モデル(VLM)のチューニングにおいて優れた性能を示した 本稿では,2つのモーダリティ構造知識を明示的にモデル化し,テキストアダプティブを実行する,GraphAdapterと呼ばれる効果的なアダプタスタイルチューニング戦略を提案する。 特に、二重知識グラフは、2つのサブグラフ、すなわちテキスト知識のサブグラフと視覚知識のサブグラフで成り立っており、ノードとエッジはそれぞれ2つのモダリティのセマンティクス/クラスとそれらの相関を表す。
  論文  参考訳（メタデータ） (2023-09-24T12:56:40Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• Text-Augmented Open Knowledge Graph Completion via Pre-Trained Language Models [53.09723678623779]
  本稿では,高品質なクエリプロンプトを自動的に生成し,大規模テキストコーパスからサポート情報を取得するためのTAGREALを提案する。 その結果、TAGREALは2つのベンチマークデータセット上で最先端のパフォーマンスを達成することがわかった。 TAGREALは、限られたトレーニングデータであっても、既存の埋め込みベース、グラフベース、およびPLMベースの手法よりも優れた性能を有することが判明した。
  論文  参考訳（メタデータ） (2023-05-24T22:09:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。