論文の概要: Can Large Language Models Act as Ensembler for Multi-GNNs?

• arxiv url: http://arxiv.org/abs/2410.16822v1
• Date: Tue, 22 Oct 2024 08:48:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:25:19.664860
• Title: Can Large Language Models Act as Ensembler for Multi-GNNs?
• Title（参考訳）: 大規模言語モデルはマルチGNNのアンサンブラとして機能するか?
• Authors: Hanqi Duan, Yao Cheng, Jianxiang Yu, Xiang Li,
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習するための強力なモデルとして登場した。 GNNは、リッチテキストノード属性の固有の意味理解能力に欠けており、アプリケーションにおけるその有効性を制限している。 本研究は、意味情報と構造情報を統合するための堅牢で優れたソリューションを提供することにより、テキストによるグラフアンサンブル学習を推進している。
• 参考スコア（独自算出の注目度）: 6.387816922598151
• License:
• Abstract: Graph Neural Networks (GNNs) have emerged as powerful models for learning from graph-structured data. However, GNNs lack the inherent semantic understanding capability of rich textual nodesattributes, limiting their effectiveness in applications. On the other hand, we empirically observe that for existing GNN models, no one can consistently outperforms others across diverse datasets. In this paper, we study whether LLMs can act as an ensembler for multi-GNNs and propose the LensGNN model. The model first aligns multiple GNNs, mapping the representations of different GNNs into the same space. Then, through LoRA fine-tuning, it aligns the space between the GNN and the LLM, injecting graph tokens and textual information into LLMs. This allows LensGNN to integrate multiple GNNs and leverage LLM's strengths, resulting in better performance. Experimental results show that LensGNN outperforms existing models. This research advances text-attributed graph ensemble learning by providing a robust, superior solution for integrating semantic and structural information. We provide our code and data here: https://anonymous.4open.science/r/EnsemGNN-E267/.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習するための強力なモデルとして登場した。 しかし、GNNはリッチテキストノード属性の固有の意味理解能力に欠けており、アプリケーションにおけるその有効性を制限している。 一方,既存のGNNモデルでは,さまざまなデータセットにまたがって他のモデルよりも優れた性能を発揮できないことが実証的に観察されている。 本稿では,LLMがマルチGNNのアンサンブラとして機能するかどうかについて検討し,LensGNNモデルを提案する。 モデルはまず複数のGNNを整列させ、異なるGNNの表現を同じ空間にマッピングする。 そして、LoRAの微調整により、GNNとLLMの間の空間を整列し、グラフトークンとテキスト情報をLLMに注入する。 これにより、LensGNNは複数のGNNを統合し、LLMの強みを活用することができ、パフォーマンスが向上する。 実験の結果,LensGNNは既存モデルよりも優れていた。 本研究は、意味情報と構造情報を統合するための堅牢で優れたソリューションを提供することにより、テキストによるグラフアンサンブル学習を推進している。 https://anonymous.4open.science/r/EnsemGNN-E267/

関連論文リスト

• GL-Fusion: Rethinking the Combination of Graph Neural Network and Large Language model [63.774726052837266]
  グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)を深く統合した新しいアーキテクチャを導入する。 本稿では,(1)GNNのメッセージパッシング機能を直接LLMのトランスフォーマー層に組み込む構造対応トランスフォーマー,(2)グラフノードとエッジから圧縮されていない全テキストを処理するグラフテキストクロスアテンション,(3)GNN-LLMツインプレクタ,(3)GNN-LLMツインプレクタ,3)GNNのスケーラブルなワンパス予測とともに,LLMの柔軟な自己回帰生成を実現する。
  論文  参考訳（メタデータ） (2024-12-08T05:49:58Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• LOGIN: A Large Language Model Consulted Graph Neural Network Training Framework [30.54068909225463]
  我々は,GNN設計プロセスの合理化とLarge Language Models(LLM)の利点を活用して,下流タスクにおけるGNNの性能向上を目指す。 我々は,LLMs-as-Consultants(LLMs-as-Consultants)という新たなパラダイムを策定し,LLMとGNNを対話的に統合する。 両グラフのノード分類におけるLOGINの有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2024-05-22T18:17:20Z)
• Label-free Node Classification on Graphs with Large Language Models (LLMS) [46.937442239949256]
  本研究では,Large Language Models パイプライン LLM-GNN を用いたグラフ上でのラベルなしノード分類を導入する。 制限を緩和しながら、GNNとLLMの長所を反復する。 特に、LLM-GNNは1ドル未満の大規模データセットで74.9%の精度を達成できる。
  論文  参考訳（メタデータ） (2023-10-07T03:14:11Z)
• Graph Ladling: Shockingly Simple Parallel GNN Training without Intermediate Communication [100.51884192970499]
  GNNは、グラフを学習するニューラルネットワークの強力なファミリーである。 GNNのスケーリングは、肥大化または拡大によって、不健康な勾配、過度なスムースメント、情報のスカッシングといった問題に悩まされる。 本稿では,現在のGNNの深層化や拡張ではなく,GNNに適したモデルスープをデータ中心の視点で表現することを提案する。
  論文  参考訳（メタデータ） (2023-06-18T03:33:46Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Efficient and effective training of language and graph neural network models [36.00479096375565]
  我々は,大規模言語モデルとグラフニューラルネットワークを協調的に学習する,効率的な言語モデルGNN(LM-GNN)を提案する。 本フレームワークの有効性は、BERTモデルの段階的微調整をまず異種グラフ情報に適用し、次にGNNモデルを用いて達成する。 我々は,LM-GNNフレームワークを異なるデータセットの性能で評価し,提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-06-22T00:23:37Z)
• GNN-LM: Language Modeling based on Global Contexts via GNN [32.52117529283929]
  GNN-LMは、トレーニングコーパス全体において、同様のコンテキストを参照できるようにすることで、バニラニューラル言語モデル(LM)を拡張します。 GNN-LMはWikiText-103で14.8の最先端のパープレクシリティを実現している。
  論文  参考訳（メタデータ） (2021-10-17T07:18:21Z)
• FedGraphNN: A Federated Learning System and Benchmark for Graph Neural Networks [68.64678614325193]
  グラフニューラルネットワーク(GNN)の研究は、グラフ構造データから表現を学ぶGNNの能力のおかげで急速に成長しています。 GNNトレーニングのための大量の実世界のグラフデータを集中させることは、ユーザ側のプライバシー上の懸念から禁じられている。 GNNベースのFL研究を促進するためのオープンリサーチフェデレーション学習システムとベンチマークであるFedGraphNNを紹介します。
  論文  参考訳（メタデータ） (2021-04-14T22:11:35Z)
• XGNN: Towards Model-Level Explanations of Graph Neural Networks [113.51160387804484]
  グラフニューラルネットワーク(GNN)は、隣の情報を集約して組み合わせることでノードの特徴を学習する。 GNNはブラックボックスとして扱われ、人間の知的な説明が欠けている。 我々はモデルレベルでGNNを解釈する新しい手法 XGNN を提案する。
  論文  参考訳（メタデータ） (2020-06-03T23:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。