論文の概要: Can Large Language Models Act as Ensembler for Multi-GNNs?

• arxiv url: http://arxiv.org/abs/2410.16822v1
• Date: Tue, 22 Oct 2024 08:48:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:25:19.664860
• Title: Can Large Language Models Act as Ensembler for Multi-GNNs?
• Title（参考訳）: 大規模言語モデルはマルチGNNのアンサンブラとして機能するか?
• Authors: Hanqi Duan, Yao Cheng, Jianxiang Yu, Xiang Li,
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習するための強力なモデルとして登場した。 GNNは、リッチテキストノード属性の固有の意味理解能力に欠けており、アプリケーションにおけるその有効性を制限している。 本研究は、意味情報と構造情報を統合するための堅牢で優れたソリューションを提供することにより、テキストによるグラフアンサンブル学習を推進している。
• 参考スコア（独自算出の注目度）: 6.387816922598151
• License:
• Abstract: Graph Neural Networks (GNNs) have emerged as powerful models for learning from graph-structured data. However, GNNs lack the inherent semantic understanding capability of rich textual nodesattributes, limiting their effectiveness in applications. On the other hand, we empirically observe that for existing GNN models, no one can consistently outperforms others across diverse datasets. In this paper, we study whether LLMs can act as an ensembler for multi-GNNs and propose the LensGNN model. The model first aligns multiple GNNs, mapping the representations of different GNNs into the same space. Then, through LoRA fine-tuning, it aligns the space between the GNN and the LLM, injecting graph tokens and textual information into LLMs. This allows LensGNN to integrate multiple GNNs and leverage LLM's strengths, resulting in better performance. Experimental results show that LensGNN outperforms existing models. This research advances text-attributed graph ensemble learning by providing a robust, superior solution for integrating semantic and structural information. We provide our code and data here: https://anonymous.4open.science/r/EnsemGNN-E267/.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習するための強力なモデルとして登場した。 しかし、GNNはリッチテキストノード属性の固有の意味理解能力に欠けており、アプリケーションにおけるその有効性を制限している。 一方,既存のGNNモデルでは,さまざまなデータセットにまたがって他のモデルよりも優れた性能を発揮できないことが実証的に観察されている。 本稿では,LLMがマルチGNNのアンサンブラとして機能するかどうかについて検討し,LensGNNモデルを提案する。 モデルはまず複数のGNNを整列させ、異なるGNNの表現を同じ空間にマッピングする。 そして、LoRAの微調整により、GNNとLLMの間の空間を整列し、グラフトークンとテキスト情報をLLMに注入する。 これにより、LensGNNは複数のGNNを統合し、LLMの強みを活用することができ、パフォーマンスが向上する。 実験の結果,LensGNNは既存モデルよりも優れていた。 本研究は、意味情報と構造情報を統合するための堅牢で優れたソリューションを提供することにより、テキストによるグラフアンサンブル学習を推進している。 https://anonymous.4open.science/r/EnsemGNN-E267/

関連論文リスト

• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• LOGIN: A Large Language Model Consulted Graph Neural Network Training Framework [30.54068909225463]
  我々は,GNN設計プロセスの合理化とLarge Language Models(LLM)の利点を活用して,下流タスクにおけるGNNの性能向上を目指す。 我々は,LLMs-as-Consultants(LLMs-as-Consultants)という新たなパラダイムを策定し,LLMとGNNを対話的に統合する。 両グラフのノード分類におけるLOGINの有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2024-05-22T18:17:20Z)
• E2GNN: Efficient Graph Neural Network Ensembles for Semi-Supervised Classification [30.55931541782854]
  本研究では、グラフニューラルネットワーク(GNN)のアンサンブル学習を、人気のある半教師付き環境下で研究する。 ラベル付きノードとラベルなしノードの両方を活用することで,複数のGNNを学習可能な方法で組み立てる,効率的なアンサンブル学習者を提案する。 さまざまなGNNバックボーンと8つのベンチマークデータセットにまたがる、トランスダクティブとインダクティブ両方の設定に関する包括的な実験は、E2GNNの優位性を実証している。
  論文  参考訳（メタデータ） (2024-05-06T12:11:46Z)
• Label-free Node Classification on Graphs with Large Language Models (LLMS) [46.937442239949256]
  本研究では,Large Language Models パイプライン LLM-GNN を用いたグラフ上でのラベルなしノード分類を導入する。 制限を緩和しながら、GNNとLLMの長所を反復する。 特に、LLM-GNNは1ドル未満の大規模データセットで74.9%の精度を達成できる。
  論文  参考訳（メタデータ） (2023-10-07T03:14:11Z)
• Graph Ladling: Shockingly Simple Parallel GNN Training without Intermediate Communication [100.51884192970499]
  GNNは、グラフを学習するニューラルネットワークの強力なファミリーである。 GNNのスケーリングは、肥大化または拡大によって、不健康な勾配、過度なスムースメント、情報のスカッシングといった問題に悩まされる。 本稿では,現在のGNNの深層化や拡張ではなく,GNNに適したモデルスープをデータ中心の視点で表現することを提案する。
  論文  参考訳（メタデータ） (2023-06-18T03:33:46Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• AKE-GNN: Effective Graph Learning with Adaptive Knowledge Exchange [14.919474099848816]
  グラフニューラルネットワーク(GNN)はすでに様々なグラフマイニングタスクで広く使われている。 近年の研究では、十分に訓練されたGNNにおける学習重量(チャネル)が非常に冗長であり、GNNの性能が制限されていることが明らかになっている。 本稿では,Aaptive Knowledge Exchange 戦略を実行する新しい GNN 学習フレームワーク AKE-GNN を紹介する。
  論文  参考訳（メタデータ） (2021-06-10T02:00:26Z)
• FedGraphNN: A Federated Learning System and Benchmark for Graph Neural Networks [68.64678614325193]
  グラフニューラルネットワーク(GNN)の研究は、グラフ構造データから表現を学ぶGNNの能力のおかげで急速に成長しています。 GNNトレーニングのための大量の実世界のグラフデータを集中させることは、ユーザ側のプライバシー上の懸念から禁じられている。 GNNベースのFL研究を促進するためのオープンリサーチフェデレーション学習システムとベンチマークであるFedGraphNNを紹介します。
  論文  参考訳（メタデータ） (2021-04-14T22:11:35Z)
• XGNN: Towards Model-Level Explanations of Graph Neural Networks [113.51160387804484]
  グラフニューラルネットワーク(GNN)は、隣の情報を集約して組み合わせることでノードの特徴を学習する。 GNNはブラックボックスとして扱われ、人間の知的な説明が欠けている。 我々はモデルレベルでGNNを解釈する新しい手法 XGNN を提案する。
  論文  参考訳（メタデータ） (2020-06-03T23:52:43Z)
• Efficient Probabilistic Logic Reasoning with Graph Neural Networks [63.099999467118245]
  マルコフ論理ネットワーク(MLN)は、多くの知識グラフ問題に対処するために用いられる。 MLNの推論は計算集約的であり、MLNの産業規模での応用は非常に困難である。 本稿では,表現力とモデルの単純さとのバランスのよいグラフニューラルネット(GNN)モデルであるExpressGNNを提案する。
  論文  参考訳（メタデータ） (2020-01-29T23:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。