Fugu-MT 論文翻訳(概要): Think-on-Graph 2.0: Deep and Faithful Large Language Model Reasoning with Knowledge-guided Retrieval Augmented Generation

論文の概要: Think-on-Graph 2.0: Deep and Faithful Large Language Model Reasoning with Knowledge-guided Retrieval Augmented Generation

arxiv url: http://arxiv.org/abs/2407.10805v5
Date: Tue, 8 Oct 2024 13:19:41 GMT
ステータス: 処理完了
システム内更新日: 2024-11-08 21:32:38.052312
Title: Think-on-Graph 2.0: Deep and Faithful Large Language Model Reasoning with Knowledge-guided Retrieval Augmented Generation
Title（参考訳）: Think-on-Graph 2.0:知識誘導型検索生成による深層かつ忠実な大規模言語モデル推論
Authors: Shengjie Ma, Chengjin Xu, Xuhui Jiang, Muzhi Li, Huaren Qu, Cehao Yang, Jiaxin Mao, Jian Guo,
Abstract要約: Think-on-Graph 2.0 (ToG-2) は、構造化されていない知識ソースと構造化されていない知識ソースの両方から情報を反復的に取得するハイブリッドRAGフレームワークである。 ToG-2は、グラフ検索とコンテキスト検索の交互に、質問に関連する詳細な手がかりを検索する。 GPT-3.5を用いて、7つの知識集約データセットのうち6つにおいて、ToG-2が最先端(SOTA)性能を達成することを示す。
参考スコア（独自算出の注目度）: 14.448198170932226
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Retrieval-augmented generation (RAG) has enhanced large language models (LLMs) by using knowledge retrieval to address knowledge gaps. However, existing RAG approaches often fail to ensure the depth and completeness of the information retrieved, which is essential for complex reasoning tasks. In this work, we present Think-on-Graph 2.0 (ToG-2), a hybrid RAG framework that iteratively retrieves information from both unstructured and structured knowledge sources in a tightly integrated manner. Specifically, ToG-2 leverages knowledge graphs (KGs) to connect documents via entities, facilitating deep and knowledge-guided context retrieval. Simultaneously, it uses documents as entity contexts to enable precise and efficient graph retrieval. ToG-2 alternates between graph retrieval and context retrieval to search for in-depth clues relevant to the question, enabling LLMs to generate accurate answers. We conduct a series of experiments to demonstrate the following advantages of ToG-2: (1) ToG-2 tightly integrates context retrieval and graph retrieval, enhancing context retrieval through the KG while enabling reliable graph retrieval based on contexts; (2) it achieves deep and faithful reasoning in LLMs through an iterative knowledge retrieval process that integrates contexts and the KG; and (3) ToG-2 is training-free and compatible with various LLMs as a plug-and-play solution. Extensive experiments show that ToG-2 achieves state-of-the-art (SOTA) performance on 6 out of 7 knowledge-intensive datasets with GPT-3.5, and can elevate the performance of smaller models (e.g., LLAMA-2-13B) to the level of GPT-3.5's direct reasoning.
Abstract（参考訳）: Retrieval-augmented Generation (RAG)は、知識検索を用いて知識ギャップに対処することで、大規模言語モデル(LLM)を強化した。しかしながら、既存のRAGアプローチは、取得した情報の深さと完全性を保証するのに失敗することが多い。本稿では、構造化されていない知識ソースと構造化されていない知識ソースの両方から情報を密に統合して反復的に取得するハイブリッドRAGフレームワークThink-on-Graph 2.0(ToG-2)を提案する。具体的には、知識グラフ(KG)を活用して、エンティティを介してドキュメントを接続し、深い知識を導いたコンテキストの検索を容易にする。同時に、ドキュメントをエンティティコンテキストとして使用して、正確で効率的なグラフ検索を可能にする。 ToG-2は、グラフ検索とコンテキスト検索の交互に、質問に関連する深い手がかりを検索し、LCMが正確な回答を生成できるようにする。 ToG-2は、文脈検索とグラフ検索を緊密に統合し、文脈に基づいて信頼性の高いグラフ検索を可能にしながら、KGによるコンテキスト検索を強化し、(2)コンテキストとKGを統合する反復的知識検索プロセスを通じて、LLMの深い忠実な推論を実現し、(3)ToG-2は、プラグアンドプレイソリューションとして、様々なLCMとトレーニングフリーで互換性がある。 GPT-3.5を用いた7つの知識集約データセットのうち6つにおいて、ToG-2は最先端(SOTA)のパフォーマンスを達成し、より小さなモデル(例えば、LAMA-2-13B)の性能をGPT-3.5の直接的な推論のレベルまで高めることができる。

関連論文リスト

G-RAG: Knowledge Expansion in Material Science [0.0]
Graph RAGはグラフデータベースを統合して、検索プロセスを強化する。文書のより詳細な表現を実現するために,エージェントベースの解析手法を実装した。
論文参考訳（メタデータ） (2024-11-21T21:22:58Z)
Paths-over-Graph: Knowledge Graph Empowered Large Language Model Reasoning [19.442426875488675]
我々は,KGから知識推論経路を統合することで,Large Language Models(LLM)推論を強化する新しい手法であるPaths-over-Graph(PoG)を提案する。 PoGは3段階の動的マルチホップパス探索を通じて、マルチホップとマルチエンタリティの問題に取り組む。実験では、GPT-3.5-TurboのPoGは、GPT-4のToGを最大23.9%上回った。
論文参考訳（メタデータ） (2024-10-18T06:57:19Z)
iText2KG: Incremental Knowledge Graphs Construction Using Large Language Models [0.7165255458140439]
iText2KGは、後処理なしで漸進的にトピックに依存しない知識グラフを構築する方法である。提案手法は,3つのシナリオにまたがるベースライン手法と比較して,優れた性能を示す。
論文参考訳（メタデータ） (2024-09-05T06:49:14Z)
Debate on Graph: a Flexible and Reliable Reasoning Framework for Large Language Models [33.662269036173456]
大規模言語モデル(LLM)は、関連する知識の欠如により、現実世界の応用において幻覚に悩まされることがある。 KGQA(Knowledge Graph Question Answering)は、統合のための重要な手掛かりとなる。 LLMの対話型学習機能を活用してグラフ上での推論と議論を行う対話型KGQAフレームワークを提案する。
論文参考訳（メタデータ） (2024-09-05T01:11:58Z)
Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
論文参考訳（メタデータ） (2024-04-23T04:47:22Z)
CorpusLM: Towards a Unified Language Model on Corpus for Knowledge-Intensive Tasks [20.390672895839757]
Retrieval-augmented Generation (RAG) は、事実精度を高めるための一般的なソリューションとして登場した。従来の検索モジュールは、大きなドキュメントインデックスと生成タスクとの切り離しに依存していることが多い。生成検索,クローズドブック生成,RAGを統合した統一言語モデルである textbfCorpusLM を提案する。
論文参考訳（メタデータ） (2024-02-02T06:44:22Z)
Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文参考訳（メタデータ） (2024-01-28T08:56:49Z)
DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文参考訳（メタデータ） (2023-10-31T04:37:57Z)
GraphAdapter: Tuning Vision-Language Models With Dual Knowledge Graph [63.81641578763094]
適応型効率的な伝達学習(ETL)は視覚言語モデル(VLM)のチューニングにおいて優れた性能を示した本稿では,2つのモーダリティ構造知識を明示的にモデル化し,テキストアダプティブを実行する,GraphAdapterと呼ばれる効果的なアダプタスタイルチューニング戦略を提案する。特に、二重知識グラフは、2つのサブグラフ、すなわちテキスト知識のサブグラフと視覚知識のサブグラフで成り立っており、ノードとエッジはそれぞれ2つのモダリティのセマンティクス/クラスとそれらの相関を表す。
論文参考訳（メタデータ） (2023-09-24T12:56:40Z)
Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。提案手法は、確立されたTAGデータセットの最先端結果を実現する。本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文参考訳（メタデータ） (2023-05-31T03:18:03Z)
Text-Augmented Open Knowledge Graph Completion via Pre-Trained Language Models [53.09723678623779]
本稿では,高品質なクエリプロンプトを自動的に生成し,大規模テキストコーパスからサポート情報を取得するためのTAGREALを提案する。その結果、TAGREALは2つのベンチマークデータセット上で最先端のパフォーマンスを達成することがわかった。 TAGREALは、限られたトレーニングデータであっても、既存の埋め込みベース、グラフベース、およびPLMベースの手法よりも優れた性能を有することが判明した。
論文参考訳（メタデータ） (2023-05-24T22:09:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。