論文の概要: Exploring the Potential of Large Language Models for Heterophilic Graphs

• arxiv url: http://arxiv.org/abs/2408.14134v2
• Date: Mon, 21 Oct 2024 15:59:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 05:04:12.130420
• Title: Exploring the Potential of Large Language Models for Heterophilic Graphs
• Title（参考訳）: ヘテロ親和性グラフのための大規模言語モデルの可能性を探る
• Authors: Yuxia Wu, Shujie Li, Yuan Fang, Chuan Shi,
• Abstract要約: 大規模言語モデル(LLM)を用いた異種グラフモデリングのための2段階フレームワークを提案する。 第1段階では、LLMを微調整して、ノードのテキスト内容に基づいて、同好および異好のエッジをより正確に識別する。 第2段階では,ノードの特徴,構造,ヘテロ親和性,ホモ親和性といった特徴に基づいて,異なるエッジタイプに対するGNNのメッセージ伝搬を適応的に管理する。
• 参考スコア（独自算出の注目度）: 38.79574338268997
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have presented significant opportunities to enhance various machine learning applications, including graph neural networks (GNNs). By leveraging the vast open-world knowledge within LLMs, we can more effectively interpret and utilize textual data to better characterize heterophilic graphs, where neighboring nodes often have different labels. However, existing approaches for heterophilic graphs overlook the rich textual data associated with nodes, which could unlock deeper insights into their heterophilic contexts. In this work, we explore the potential of LLMs for modeling heterophilic graphs and propose a novel two-stage framework: LLM-enhanced edge discriminator and LLM-guided edge reweighting. In the first stage, we fine-tune the LLM to better identify homophilic and heterophilic edges based on the textual content of their nodes. In the second stage, we adaptively manage message propagation in GNNs for different edge types based on node features, structures, and heterophilic or homophilic characteristics. To cope with the computational demands when deploying LLMs in practical scenarios, we further explore model distillation techniques to fine-tune smaller, more efficient models that maintain competitive performance. Extensive experiments validate the effectiveness of our framework, demonstrating the feasibility of using LLMs to enhance node classification on heterophilic graphs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、グラフニューラルネットワーク(GNN)など、さまざまな機械学習アプリケーションを強化する重要な機会を提供する。 LLM内の膨大なオープンワールド知識を活用することで、テキストデータをより効果的に解釈して、近隣ノードがしばしば異なるラベルを持つヘテロ親和性グラフのキャラクタリゼーションを改善することができる。 しかし、ヘテロ親和性グラフに対する既存のアプローチは、ノードに関連するリッチなテキストデータを見落とし、ヘテロ親和性のあるコンテキストに関する深い洞察を解き放つ可能性がある。 本研究では、異種グラフをモデル化するためのLLMの可能性を探り、LLM強化エッジ判別器とLLM誘導エッジ再重み付けという、2段階の新たなフレームワークを提案する。 第1段階では、LLMを微調整して、ノードのテキスト内容に基づいて、同好および異好のエッジをより正確に識別する。 第2段階では,ノードの特徴,構造,ヘテロ親和性,ホモ親和性といった特徴に基づいて,異なるエッジタイプに対するGNNのメッセージ伝搬を適応的に管理する。 実用シナリオにおけるLCMの展開における計算要求に対処するため,より小型で効率のよいモデルを微調整し,競争性能を維持するための蒸留技術について検討する。 本フレームワークの有効性を検証し,LLMを用いて異種グラフ上のノード分類を強化することの実現可能性を示す。

関連論文リスト

• Language Models are Graph Learners [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Enhancing Graph Neural Networks with Limited Labeled Data by Actively Distilling Knowledge from Large Language Models [30.867447814409623]
  グラフニューラルネットワーク(GNN)は、グラフの基本課題であるノード分類において優れた能力を持つ。 本稿では,Large Language Models(LLM)とGNNを統合する新しい手法を提案する。 我々のモデルでは,ラベル付きデータによるノード分類精度を著しく向上し,最先端のベースラインをかなりのマージンで超えた。
  論文  参考訳（メタデータ） (2024-07-19T02:34:10Z)
• Dr.E Bridges Graphs with Large Language Models through Words [12.22063024099311]
  本稿では,LLMグラフアライメントのためのエンドツーエンドのモダリティアライメントフレームワークについて紹介する。 提案手法は LLM とのトークンレベルアライメントを容易にするために設計されており,グラフの内在的な '' を理解可能な自然言語に効果的に翻訳することができる。
  論文  参考訳（メタデータ） (2024-06-19T16:43:56Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Exploring the Potential of Large Language Models in Graph Generation [51.046188600990014]
  グラフ生成は、与えられたプロパティを持つグラフを生成するために、大きな言語モデル(LLM)を必要とする。 本稿では,LLMのグラフ生成能力について,系統的なタスク設計と実験による検討を行う。 評価の結果,LLM,特にGPT-4は,グラフ生成タスクに予備的能力を示すことがわかった。
  論文  参考訳（メタデータ） (2024-03-21T12:37:54Z)
• Large Language Models as Topological Structure Enhancers for Text-Attributed Graphs [4.487720716313697]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野に革命をもたらした。 本研究では,LLMの情報検索とテキスト生成機能を活用して,ノード分類設定の下でのテキスト分散グラフ(TAG)のトポロジ構造を洗練・強化する方法について検討する。
  論文  参考訳（メタデータ） (2023-11-24T07:53:48Z)
• Disentangled Representation Learning with Large Language Models for Text-Attributed Graphs [57.052160123387104]
  本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。 提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。 実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-10-27T14:00:04Z)
• Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
  大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
  論文  参考訳（メタデータ） (2023-07-07T05:31:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。