論文の概要: GFM-RAG: Graph Foundation Model for Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2502.01113v1
• Date: Mon, 03 Feb 2025 07:04:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:05:11.598402
• Title: GFM-RAG: Graph Foundation Model for Retrieval Augmented Generation
• Title（参考訳）: GFM-RAG:検索拡張生成のためのグラフ基盤モデル
• Authors: Linhao Luo, Zicheng Zhao, Gholamreza Haffari, Dinh Phung, Chen Gong, Shirui Pan,
• Abstract要約: 本稿では,新しいグラフ基盤モデル (GFM) である GFM-RAG について紹介する。 GFM-RAGは、複雑なクエリ-知識関係をキャプチャするグラフ構造を理由とする、革新的なグラフニューラルネットワークによって実現されている。 効率とニューラルスケーリング法則との整合性を維持しつつ、最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 84.41557981816077
• License:
• Abstract: Retrieval-augmented generation (RAG) has proven effective in integrating knowledge into large language models (LLMs). However, conventional RAGs struggle to capture complex relationships between pieces of knowledge, limiting their performance in intricate reasoning that requires integrating knowledge from multiple sources. Recently, graph-enhanced retrieval augmented generation (GraphRAG) builds graph structure to explicitly model these relationships, enabling more effective and efficient retrievers. Nevertheless, its performance is still hindered by the noise and incompleteness within the graph structure. To address this, we introduce GFM-RAG, a novel graph foundation model (GFM) for retrieval augmented generation. GFM-RAG is powered by an innovative graph neural network that reasons over graph structure to capture complex query-knowledge relationships. The GFM with 8M parameters undergoes a two-stage training process on large-scale datasets, comprising 60 knowledge graphs with over 14M triples and 700k documents. This results in impressive performance and generalizability for GFM-RAG, making it the first graph foundation model applicable to unseen datasets for retrieval without any fine-tuning required. Extensive experiments on three multi-hop QA datasets and seven domain-specific RAG datasets demonstrate that GFM-RAG achieves state-of-the-art performance while maintaining efficiency and alignment with neural scaling laws, highlighting its potential for further improvement.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)に知識を統合するのに有効であることが証明されている。 しかし、従来のRAGは知識の断片間の複雑な関係を捉えるのに苦労し、複数の情報源からの知識の統合を必要とする複雑な推論のパフォーマンスを制限する。 近年,グラフ強化検索拡張生成(GraphRAG)は,これらの関係を明示的にモデル化するグラフ構造を構築し,より効率的かつ効率的な検索を可能にする。 それでも、その性能はグラフ構造内のノイズと不完全さによって妨げられている。 そこで我々は,新しいグラフ基盤モデル (GFM) である GFM-RAG を導入する。 GFM-RAGは、複雑なクエリ-知識関係をキャプチャするグラフ構造を理由とする、革新的なグラフニューラルネットワークによって実現されている。 8Mパラメータを持つGFMは、大規模データセット上で2段階のトレーニングプロセスを実行し、1400万トリプル以上の60の知識グラフと700万のドキュメントで構成されている。 これにより, GFM-RAGの性能と一般化性が向上し, 微調整の必要なく, 検索対象の未確認データセットに適用可能なグラフ基盤モデルとなった。 3つのマルチホップQAデータセットと7つのドメイン固有のRAGデータセットに関する大規模な実験は、GAM-RAGが効率性とニューラルスケーリング法則との整合性を維持しながら最先端のパフォーマンスを達成することを示し、さらなる改善の可能性を強調している。

関連論文リスト

• Graph Foundation Models for Recommendation: A Comprehensive Survey [55.70529188101446]
  大規模言語モデル(LLM)は自然言語を処理し、理解するために設計されており、どちらも非常に効果的で広く採用されている。 最近の研究はグラフ基礎モデル(GFM)に焦点を当てている。 GFM は GNN と LLM の強みを統合し,複雑な RS 問題をより効率的にモデル化する。
  論文  参考訳（メタデータ） (2025-02-12T12:13:51Z)
• Retrieval-Augmented Generation with Graphs (GraphRAG) [84.29507404866257]
  Retrieval-augmented Generation (RAG) は、追加情報を取得することによって下流タスクの実行を向上させる強力な技術である。 グラフは、その固有の「エッジで接続されたノード」の性質により、巨大な異種情報と関係情報を符号化する。 従来のRAGとは異なり、多種多様な形式とドメイン固有の関係知識のようなグラフ構造化データのユニークさは、異なるドメインでGraphRAGを設計する際、ユニークで重要な課題を生じさせる。
  論文  参考訳（メタデータ） (2024-12-31T06:59:35Z)
• LangGFM: A Large Language Model Alone Can be a Powerful Graph Foundation Model [27.047809869136458]
  グラフ基礎モデル(GFM)が最近注目を集めている。 現在の研究は、グラフ学習タスクの特定のサブセットに焦点を当てる傾向がある。 GFMBenchは26のデータセットからなる体系的で包括的なベンチマークである。 また,大規模言語モデルに完全に依存する新しいGFMであるLangGFMを紹介する。
  論文  参考訳（メタデータ） (2024-10-19T03:27:19Z)
• Efficient Topology-aware Data Augmentation for High-Degree Graph Neural Networks [2.7523980737007414]
  高次グラフ(HDG)上のグラフニューラルネットワーク(GNN)のための効率的かつ効果的なフロントマウントデータ拡張フレームワークであるTADを提案する。 内部では、(i)構造埋め込みによる機能拡張と(ii)トポロジと属性対応グラフのスパース化という、2つの重要なモジュールが含まれている。 TADAは、ノード分類の観点から8つの実ホモ親和性/ヘテロ親和性HDG上でのメインストリームGNNモデルの予測性能を大幅に改善する。
  論文  参考訳（メタデータ） (2024-06-08T14:14:19Z)
• Position: Graph Foundation Models are Already Here [53.737868336014735]
  グラフ基礎モデル(GFM)は、グラフ領域において重要な研究トピックとして浮上している。 グラフ語彙の提唱によるGFM開発のための新しい視点」を提案する。 この観点は、将来のGFM設計を、ニューラルネットワークのスケーリング法則に従って前進させる可能性がある。
  論文  参考訳（メタデータ） (2024-02-03T17:24:36Z)
• LUKE-Graph: A Transformer-based Approach with Gated Relational Graph Attention for Cloze-style Reading Comprehension [13.173307471333619]
  本稿では,文書内のエンティティ間の直感的な関係に基づく異種グラフ構築モデルLUKE-Graphを提案する。 次に、アテンション読み込み(RGAT)を用いて、事前学習したLUKEモデルによって符号化されたグラフの推論情報と文脈表現を融合する。 実験結果から,LUKE-Graphはコモンセンス推論による最先端性能を実現することが示された。
  論文  参考訳（メタデータ） (2023-03-12T14:31:44Z)
• An Empirical Study of Retrieval-enhanced Graph Neural Networks [48.99347386689936]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習に有効なツールである。 本稿では,グラフニューラルネットワークモデルの選択に非依存な GraphRETRIEVAL という検索強化方式を提案する。 我々は13のデータセットに対して包括的な実験を行い、GRAPHRETRIEVALが既存のGNNよりも大幅に改善されていることを観察した。
  論文  参考訳（メタデータ） (2022-06-01T09:59:09Z)
• Lightweight, Dynamic Graph Convolutional Networks for AMR-to-Text Generation [56.73834525802723]
  軽量な動的グラフ畳み込みネットワーク (LDGCN) を提案する。 LDGCNは入力グラフから高次情報を合成することにより、よりリッチな非局所的な相互作用をキャプチャする。 我々は,グループグラフの畳み込みと重み付き畳み込みに基づく2つの新しいパラメータ保存戦略を開発し,メモリ使用量とモデル複雑性を低減する。
  論文  参考訳（メタデータ） (2020-10-09T06:03:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。