論文の概要: Fast Think-on-Graph: Wider, Deeper and Faster Reasoning of Large Language Model on Knowledge Graph

• arxiv url: http://arxiv.org/abs/2501.14300v1
• Date: Fri, 24 Jan 2025 07:47:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:58:52.230342
• Title: Fast Think-on-Graph: Wider, Deeper and Faster Reasoning of Large Language Model on Knowledge Graph
• Title（参考訳）: Fast Think-on-Graph:知識グラフによる大規模言語モデルのより広義、より深く、より高速な推論
• Authors: Xujian Liang, Zhaoquan Gu,
• Abstract要約: Fast Think-on-Graph (FastToG)は、知識グラフ(KG)内の「コミュニティによるコミュニティ思考を可能にする革新的なパラダイム」である。 FastToGでは、より深い相関キャプチャと、2段階のコミュニティプルーニングにコミュニティ検出を採用している。 実験により,FastToGの有効性,精度の向上,推論の高速化,説明性の向上が示された。
• 参考スコア（独自算出の注目度）: 5.024246884109506
• License:
• Abstract: Graph Retrieval Augmented Generation (GRAG) is a novel paradigm that takes the naive RAG system a step further by integrating graph information, such as knowledge graph (KGs), into large-scale language models (LLMs) to mitigate hallucination. However, existing GRAG still encounter limitations: 1) simple paradigms usually fail with the complex problems due to the narrow and shallow correlations capture from KGs 2) methods of strong coupling with KGs tend to be high computation cost and time consuming if the graph is dense. In this paper, we propose the Fast Think-on-Graph (FastToG), an innovative paradigm for enabling LLMs to think ``community by community" within KGs. To do this, FastToG employs community detection for deeper correlation capture and two stages community pruning - coarse and fine pruning for faster retrieval. Furthermore, we also develop two Community-to-Text methods to convert the graph structure of communities into textual form for better understanding by LLMs. Experimental results demonstrate the effectiveness of FastToG, showcasing higher accuracy, faster reasoning, and better explainability compared to the previous works.
• Abstract（参考訳）: Graph Retrieval Augmented Generation (GRAG) は、知識グラフ (KG) などのグラフ情報を大規模言語モデル (LLM) に統合して幻覚を緩和する新しいパラダイムである。 しかし、既存のGRAGはまだ制限に直面しています。 1) 単純なパラダイムは、通常、KGからの狭小相関と浅小相関により、複雑な問題で失敗する。 2) KGsとの強い結合法は,グラフが密度の高い場合,高い計算コストと時間を要する傾向にある。 本稿では,高速シンク・オン・グラフ (FastToG) を提案する。 これを実現するために、FastToGでは、より深い相関キャプチャのためのコミュニティ検出と、より高速な検索のために粗いと細かなプルーニングという2つのステージのコミュニティプルーニングを採用している。 さらに,コミュニティのグラフ構造をテキスト形式に変換する2つのコミュニティ・トゥ・テキスト手法を開発し,LLMによる理解を深める。 実験により,FastToGの有効性,精度の向上,推論の高速化,説明性の向上が示された。

関連論文リスト

• Debate on Graph: a Flexible and Reliable Reasoning Framework for Large Language Models [33.662269036173456]
  大規模言語モデル(LLM)は、関連する知識の欠如により、現実世界の応用において幻覚に悩まされることがある。 KGQA(Knowledge Graph Question Answering)は、統合のための重要な手掛かりとなる。 LLMの対話型学習機能を活用してグラフ上での推論と議論を行う対話型KGQAフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-05T01:11:58Z)
• Think-on-Graph 2.0: Deep and Faithful Large Language Model Reasoning with Knowledge-guided Retrieval Augmented Generation [14.448198170932226]
  Think-on-Graph 2.0 (ToG-2) は、構造化されていない知識ソースと構造化されていない知識ソースの両方から情報を反復的に取得するハイブリッドRAGフレームワークである。 ToG-2は、グラフ検索とコンテキスト検索の交互に、質問に関連する詳細な手がかりを検索する。 GPT-3.5で7つの知識集約データセットのうち6つで、全体的なSOTA(State-of-the-art)のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-07-15T15:20:40Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• EXGC: Bridging Efficiency and Explainability in Graph Condensation [30.60535282372542]
  グラフ凝縮(GCond)は、大規模な実データセットをより簡潔で情報に富んだ合成グラフに蒸留するために導入された。 アクセラレーションの努力にもかかわらず、既存のGCondメソッドは主に効率、特に拡張Webデータグラフに適応する。 本稿では,効率を著しく向上し,説明可能性の注入が可能な,効率的かつeXplainable Graph Condensation法を提案する。
  論文  参考訳（メタデータ） (2024-02-05T06:03:38Z)
• Efficient Tuning and Inference for Large Language Models on Textual Graphs [29.54120519469645]
  ENGINE は LLM エンコーダを用いたテキストグラフのパラメータおよびメモリ効率の高い微調整法である。 テキストグラフの実験は、最良のモデル性能を達成することによって、我々の手法の有効性を実証する。 キャッシュと動的アーリーエグジットの2つのバリエーションを導入し、トレーニングと推論速度をさらに向上させる。
  論文  参考訳（メタデータ） (2024-01-28T05:12:09Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• Explainable Sparse Knowledge Graph Completion via High-order Graph Reasoning Network [111.67744771462873]
  本稿では,スパース知識グラフ(KG)のための新しい説明可能なモデルを提案する。 高次推論をグラフ畳み込みネットワーク、すなわちHoGRNに結合する。 情報不足を緩和する一般化能力を向上させるだけでなく、解釈可能性も向上する。
  論文  参考訳（メタデータ） (2022-07-14T10:16:56Z)
• Training Free Graph Neural Networks for Graph Matching [103.45755859119035]
  TFGMは、グラフニューラルネットワーク(GNN)ベースのグラフマッチングのパフォーマンスをトレーニングなしで向上するフレームワークである。 TFGMをさまざまなGNNに適用することは、ベースラインよりも有望な改善を示している。
  論文  参考訳（メタデータ） (2022-01-14T09:04:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。