論文の概要: LOGIN: A Large Language Model Consulted Graph Neural Network Training Framework

• arxiv url: http://arxiv.org/abs/2405.13902v2
• Date: Thu, 6 Jun 2024 08:29:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 20:23:24.007752
• Title: LOGIN: A Large Language Model Consulted Graph Neural Network Training Framework
• Title（参考訳）: LOGIN: 大規模言語モデルによるグラフニューラルネットワークトレーニングフレームワーク
• Authors: Yiran Qiao, Xiang Ao, Yang Liu, Jiarong Xu, Xiaoqian Sun, Qing He,
• Abstract要約: 我々は,GNN設計プロセスの合理化とLarge Language Models(LLM)の利点を活用して,下流タスクにおけるGNNの性能向上を目指す。 我々は,LLMs-as-Consultants(LLMs-as-Consultants)という新たなパラダイムを策定し,LLMとGNNを対話的に統合する。 両グラフのノード分類におけるLOGINの有効性を実証的に評価した。
• 参考スコア（独自算出の注目度）: 30.54068909225463
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent prevailing works on graph machine learning typically follow a similar methodology that involves designing advanced variants of graph neural networks (GNNs) to maintain the superior performance of GNNs on different graphs. In this paper, we aim to streamline the GNN design process and leverage the advantages of Large Language Models (LLMs) to improve the performance of GNNs on downstream tasks. We formulate a new paradigm, coined "LLMs-as-Consultants," which integrates LLMs with GNNs in an interactive manner. A framework named LOGIN (LLM Consulted GNN training) is instantiated, empowering the interactive utilization of LLMs within the GNN training process. First, we attentively craft concise prompts for spotted nodes, carrying comprehensive semantic and topological information, and serving as input to LLMs. Second, we refine GNNs by devising a complementary coping mechanism that utilizes the responses from LLMs, depending on their correctness. We empirically evaluate the effectiveness of LOGIN on node classification tasks across both homophilic and heterophilic graphs. The results illustrate that even basic GNN architectures, when employed within the proposed LLMs-as-Consultants paradigm, can achieve comparable performance to advanced GNNs with intricate designs. Our codes are available at https://github.com/QiaoYRan/LOGIN.
• Abstract（参考訳）: グラフ機械学習に関する最近の一般的な研究は、グラフニューラルネットワーク(GNN)の高度な変種を設計して、異なるグラフ上でのGNNの優れたパフォーマンスを維持することを含む、同様の方法論に従うのが一般的である。 本稿では,GNN設計プロセスの合理化と,Large Language Models(LLM)の利点を活用して,下流タスクにおけるGNNの性能向上を図ることを目的とする。 我々は,LLMs-as-Consultants(LLMs-as-Consultants)という新たなパラダイムを策定し,LLMとGNNを対話的に統合する。 LOGIN(LLM Consulted GNN Training)と呼ばれるフレームワークがインスタンス化され、GNNトレーニングプロセス内でLLMのインタラクティブな利用が促進される。 まず、発見ノードの簡潔なプロンプトを作成し、包括的意味情報やトポロジ情報を持ち込み、LLMへの入力として機能する。 第2に、LLMからの応答を正しさに応じて活用する補完的な対応機構を考案し、GNNを洗練させる。 両グラフのノード分類におけるLOGINの有効性を実証的に評価した。 提案するLLM-as-Consultantsパラダイムで採用されている基本GNNアーキテクチャでさえ、複雑な設計を持つ高度なGNNと同等の性能を達成できることを示す。 私たちのコードはhttps://github.com/QiaoYRan/LOGIN.comで公開されています。

関連論文リスト

• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Information Flow in Graph Neural Networks: A Clinical Triage Use Case [49.86931948849343]
  グラフニューラルネットワーク(GNN)は、マルチモーダルグラフとマルチリレーショナルグラフを処理する能力によって、医療やその他の領域で人気を集めている。 GNNにおける埋め込み情報のフローが知識グラフ(KG)におけるリンクの予測に与える影響について検討する。 以上の結果から,ドメイン知識をGNN接続に組み込むことで,KGと同じ接続を使用する場合や,制約のない埋め込み伝搬を行う場合よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-09-12T09:18:12Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Characterizing the Efficiency of Graph Neural Network Frameworks with a Magnifying Glass [10.839902229218577]
  グラフニューラルネットワーク(GNN)は、さまざまなグラフ関連学習タスクの成功により、大きな注目を集めている。 近年のGNNは,大規模グラフ上でのGNNのミニバッチトレーニングのために,異なるグラフサンプリング手法を用いて開発されている。 グリーンコンピューティングの観点から、フレームワークがどの程度"エコフレンドリー"であるかは不明だ。
  論文  参考訳（メタデータ） (2022-11-06T04:22:19Z)
• Efficient and effective training of language and graph neural network models [36.00479096375565]
  我々は,大規模言語モデルとグラフニューラルネットワークを協調的に学習する,効率的な言語モデルGNN(LM-GNN)を提案する。 本フレームワークの有効性は、BERTモデルの段階的微調整をまず異種グラフ情報に適用し、次にGNNモデルを用いて達成する。 我々は,LM-GNNフレームワークを異なるデータセットの性能で評価し,提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-06-22T00:23:37Z)
• GNN-LM: Language Modeling based on Global Contexts via GNN [32.52117529283929]
  GNN-LMは、トレーニングコーパス全体において、同様のコンテキストを参照できるようにすることで、バニラニューラル言語モデル(LM)を拡張します。 GNN-LMはWikiText-103で14.8の最先端のパープレクシリティを実現している。
  論文  参考訳（メタデータ） (2021-10-17T07:18:21Z)
• Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth [57.10183643449905]
  グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。 GNNのダイナミクスを深部スキップ最適化により研究する。 本研究は,GNNの成功に対する最初の理論的支援を提供する。
  論文  参考訳（メタデータ） (2021-05-10T17:59:01Z)
• Learning to Execute Programs with Instruction Pointer Attention Graph Neural Networks [55.98291376393561]
  グラフニューラルネットワーク(GNN)は、ソフトウェアエンジニアリングタスクを学習するための強力なツールとして登場した。 リカレントニューラルネットワーク(RNN)は、長いシーケンシャルな推論の連鎖に適しているが、プログラム構造を自然に組み込んでいるわけではない。 本稿では,新しいGNNアーキテクチャ,IPA-GNN(Instruction Pointer Attention Graph Neural Networks)を導入する。
  論文  参考訳（メタデータ） (2020-10-23T19:12:30Z)
• A Collective Learning Framework to Boost GNN Expressiveness [25.394456460032625]
  教師付きおよび半教師付き設定におけるグラフニューラルネットワーク(GNN)を用いた帰納ノード分類の課題を考察する。 本稿では,既存のGNNの表現力を高めるための一般集団学習手法を提案する。 実世界の5つのネットワークデータセットの性能評価を行い、ノード分類精度が一貫した顕著な改善を示した。
  論文  参考訳（メタデータ） (2020-03-26T22:07:28Z)
• Efficient Probabilistic Logic Reasoning with Graph Neural Networks [63.099999467118245]
  マルコフ論理ネットワーク(MLN)は、多くの知識グラフ問題に対処するために用いられる。 MLNの推論は計算集約的であり、MLNの産業規模での応用は非常に困難である。 本稿では,表現力とモデルの単純さとのバランスのよいグラフニューラルネット(GNN)モデルであるExpressGNNを提案する。
  論文  参考訳（メタデータ） (2020-01-29T23:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。