論文の概要: Exploring the Potential of Large Language Models for Heterophilic Graphs
- arxiv url: http://arxiv.org/abs/2408.14134v2
- Date: Mon, 21 Oct 2024 15:59:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 17:02:26.893213
- Title: Exploring the Potential of Large Language Models for Heterophilic Graphs
- Title(参考訳): ヘテロ親和性グラフのための大規模言語モデルの可能性を探る
- Authors: Yuxia Wu, Shujie Li, Yuan Fang, Chuan Shi,
- Abstract要約: 大規模言語モデル(LLM)を用いた異種グラフモデリングのための2段階フレームワークを提案する。
第1段階では、LLMを微調整して、ノードのテキスト内容に基づいて、同好および異好のエッジをより正確に識別する。
第2段階では,ノードの特徴,構造,ヘテロ親和性,ホモ親和性といった特徴に基づいて,異なるエッジタイプに対するGNNのメッセージ伝搬を適応的に管理する。
- 参考スコア(独自算出の注目度): 38.79574338268997
- License:
- Abstract: Large language models (LLMs) have presented significant opportunities to enhance various machine learning applications, including graph neural networks (GNNs). By leveraging the vast open-world knowledge within LLMs, we can more effectively interpret and utilize textual data to better characterize heterophilic graphs, where neighboring nodes often have different labels. However, existing approaches for heterophilic graphs overlook the rich textual data associated with nodes, which could unlock deeper insights into their heterophilic contexts. In this work, we explore the potential of LLMs for modeling heterophilic graphs and propose a novel two-stage framework: LLM-enhanced edge discriminator and LLM-guided edge reweighting. In the first stage, we fine-tune the LLM to better identify homophilic and heterophilic edges based on the textual content of their nodes. In the second stage, we adaptively manage message propagation in GNNs for different edge types based on node features, structures, and heterophilic or homophilic characteristics. To cope with the computational demands when deploying LLMs in practical scenarios, we further explore model distillation techniques to fine-tune smaller, more efficient models that maintain competitive performance. Extensive experiments validate the effectiveness of our framework, demonstrating the feasibility of using LLMs to enhance node classification on heterophilic graphs.
- Abstract(参考訳): 大規模言語モデル(LLM)は、グラフニューラルネットワーク(GNN)など、さまざまな機械学習アプリケーションを強化する重要な機会を提供する。
LLM内の膨大なオープンワールド知識を活用することで、テキストデータをより効果的に解釈して、近隣ノードがしばしば異なるラベルを持つヘテロ親和性グラフのキャラクタリゼーションを改善することができる。
しかし、ヘテロ親和性グラフに対する既存のアプローチは、ノードに関連するリッチなテキストデータを見落とし、ヘテロ親和性のあるコンテキストに関する深い洞察を解き放つ可能性がある。
本研究では、異種グラフをモデル化するためのLLMの可能性を探り、LLM強化エッジ判別器とLLM誘導エッジ再重み付けという、2段階の新たなフレームワークを提案する。
第1段階では、LLMを微調整して、ノードのテキスト内容に基づいて、同好および異好のエッジをより正確に識別する。
第2段階では,ノードの特徴,構造,ヘテロ親和性,ホモ親和性といった特徴に基づいて,異なるエッジタイプに対するGNNのメッセージ伝搬を適応的に管理する。
実用シナリオにおけるLCMの展開における計算要求に対処するため,より小型で効率のよいモデルを微調整し,競争性能を維持するための蒸留技術について検討する。
本フレームワークの有効性を検証し,LLMを用いて異種グラフ上のノード分類を強化することの実現可能性を示す。
関連論文リスト
- All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。
E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
論文 参考訳(メタデータ) (2024-07-20T22:09:42Z) - Enhancing Data-Limited Graph Neural Networks by Actively Distilling Knowledge from Large Language Models [30.867447814409623]
大規模言語モデル(LLM)とグラフニューラルネットワーク(GNN)を統合した新しいアプローチを提案する。
我々のモデルでは,ラベル付きデータによるノード分類精度を著しく向上し,最先端のベースラインをかなりのマージンで超えた。
論文 参考訳(メタデータ) (2024-07-19T02:34:10Z) - Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。
GPEFT - グラフ表現学習のための新しい手法。
グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。
我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2024-04-28T18:36:59Z) - Learn from Heterophily: Heterophilous Information-enhanced Graph Neural Network [4.078409998614025]
論理的に異なるラベルを持つノードは意味論的意味に基づいて接続される傾向があるが、グラフニューラルネットワーク(GNN)は、しばしば最適以下の性能を示す。
ヘテロフィリーに固有の意味情報をグラフ学習において効果的に活用できることを示す。
ノード分布を利用して異種情報を統合する新しいグラフ構造を構築する革新的な手法であるHiGNNを提案する。
論文 参考訳(メタデータ) (2024-03-26T03:29:42Z) - Similarity-based Neighbor Selection for Graph LLMs [43.176381523196426]
類似性に基づく近隣選択(SNS)について紹介する。
SNSは、選択した隣人の品質を改善し、グラフ表現を改善し、オーバースカッシングやヘテロフィリーといった問題を緩和する。
インダクティブでトレーニングのないアプローチとして、SNSは従来のGNN手法よりも優れた一般化とスケーラビリティを示している。
論文 参考訳(メタデータ) (2024-02-06T05:29:05Z) - Breaking the Entanglement of Homophily and Heterophily in
Semi-supervised Node Classification [25.831508778029097]
統計的観点から,ノードプロファイルとトポロジの関係を定量化するAMUDを提案する。
また、AMUDのための新しい有向グラフ学習パラダイムとしてADPAを提案する。
論文 参考訳(メタデータ) (2023-12-07T07:54:11Z) - Exploring the Potential of Large Language Models (LLMs) in Learning on
Graphs [59.74814230246034]
大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。
LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
論文 参考訳(メタデータ) (2023-07-07T05:31:31Z) - LSGNN: Towards General Graph Neural Network in Node Classification by
Local Similarity [59.41119013018377]
本稿では,ローカル類似性(LocalSim)を用いて,プラグイン・アンド・プレイモジュールとしても機能するノードレベルの重み付き融合を学習する。
そこで本研究では,より情報性の高いマルチホップ情報を抽出するための,新規かつ効率的な初期残留差分接続(IRDC)を提案する。
提案手法,すなわちローカル類似グラフニューラルネットワーク(LSGNN)は,ホモ親和性グラフとヘテロ親和性グラフの両方において,同等あるいは優れた最先端性能を提供できる。
論文 参考訳(メタデータ) (2023-05-07T09:06:11Z) - Exploiting Neighbor Effect: Conv-Agnostic GNNs Framework for Graphs with
Heterophily [58.76759997223951]
我々はフォン・ノイマンエントロピーに基づく新しい計量を提案し、GNNのヘテロフィリー問題を再検討する。
また、異種データセット上でのほとんどのGNNの性能を高めるために、Conv-Agnostic GNNフレームワーク(CAGNN)を提案する。
論文 参考訳(メタデータ) (2022-03-19T14:26:43Z) - Graph Neural Networks for Graphs with Heterophily: A Survey [98.45621222357397]
異種グラフに対するグラフニューラルネットワーク(GNN)の総合的なレビューを提供する。
具体的には,既存の異好性GNNモデルを本質的に支配する系統分類法を提案する。
グラフヘテロフィリーと様々なグラフ研究領域の相関を議論し、より効果的なGNNの開発を促進することを目的とした。
論文 参考訳(メタデータ) (2022-02-14T23:07:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。