論文の概要: Similarity-based Neighbor Selection for Graph LLMs

• arxiv url: http://arxiv.org/abs/2402.03720v1
• Date: Tue, 6 Feb 2024 05:29:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 16:34:02.771045
• Title: Similarity-based Neighbor Selection for Graph LLMs
• Title（参考訳）: グラフLLMの類似性に基づく近傍選択
• Authors: Rui Li, Jiwei Li, Jiawei Han, Guoyin Wang
• Abstract要約: 類似性に基づく近隣選択(SNS)について紹介する。 SNSは、選択した隣人の品質を改善し、グラフ表現を改善し、オーバースカッシングやヘテロフィリーといった問題を緩和する。 インダクティブでトレーニングのないアプローチとして、SNSは従来のGNN手法よりも優れた一般化とスケーラビリティを示している。
• 参考スコア（独自算出の注目度）: 43.176381523196426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-attributed graphs (TAGs) present unique challenges for direct processing by Language Learning Models (LLMs), yet their extensive commonsense knowledge and robust reasoning capabilities offer great promise for node classification in TAGs. Prior research in this field has grappled with issues such as over-squashing, heterophily, and ineffective graph information integration, further compounded by inconsistencies in dataset partitioning and underutilization of advanced LLMs. To address these challenges, we introduce Similarity-based Neighbor Selection (SNS). Using SimCSE and advanced neighbor selection techniques, SNS effectively improves the quality of selected neighbors, thereby improving graph representation and alleviating issues like over-squashing and heterophily. Besides, as an inductive and training-free approach, SNS demonstrates superior generalization and scalability over traditional GNN methods. Our comprehensive experiments, adhering to standard dataset partitioning practices, demonstrate that SNS, through simple prompt interactions with LLMs, consistently outperforms vanilla GNNs and achieves state-of-the-art results on datasets like PubMed in node classification, showcasing LLMs' potential in graph structure understanding. Our research further underscores the significance of graph structure integration in LLM applications and identifies key factors for their success in node classification. Code is available at https://github.com/ruili33/SNS.
• Abstract（参考訳）: テキスト分散グラフ(TAGs)は、言語学習モデル(LLMs)による直接処理に特有の課題を提示するが、その広範な常識知識と頑健な推論能力は、TAGsにおけるノード分類に大きな可能性を秘めている。 この分野での以前の研究は、データセット分割の不整合と高度なLCMの非活用によってさらに複雑化され、オーバー・スクワッシング、ヘテロフィリー、非効率的なグラフ情報統合といった問題に悩まされてきた。 これらの課題に対処するために,類似性に基づく近傍選択 (sns) を導入する。 SNSはSimCSEと高度な隣人選別技術を用いて、選択した隣人の品質を効果的に改善し、グラフ表現を改善し、オーバースカッシングやヘテロフィリーといった問題を緩和する。 さらに、インダクティブでトレーニングのないアプローチとして、SNSは従来のGNN手法よりも優れた一般化とスケーラビリティを示している。 我々の総合的な実験は、標準データセット分割のプラクティスに固執し、SNSは、LLMとの単純な迅速な相互作用を通じて、バニラGNNを一貫して上回り、ノード分類におけるPubMedのようなデータセットの最先端結果、グラフ構造理解におけるLLMの可能性を示す。 本研究は,LLMアプリケーションにおけるグラフ構造統合の重要性をさらに強調し,ノード分類の成功要因を明らかにした。 コードはhttps://github.com/ruili33/SNSで入手できる。

関連論文リスト

• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Enhancing Data-Limited Graph Neural Networks by Actively Distilling Knowledge from Large Language Models [30.867447814409623]
  大規模言語モデル(LLM)とグラフニューラルネットワーク(GNN)を統合した新しいアプローチを提案する。 我々のモデルでは,ラベル付きデータによるノード分類精度を著しく向上し,最先端のベースラインをかなりのマージンで超えた。
  論文  参考訳（メタデータ） (2024-07-19T02:34:10Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Breaking the Entanglement of Homophily and Heterophily in Semi-supervised Node Classification [25.831508778029097]
  統計的観点から,ノードプロファイルとトポロジの関係を定量化するAMUDを提案する。 また、AMUDのための新しい有向グラフ学習パラダイムとしてADPAを提案する。
  論文  参考訳（メタデータ） (2023-12-07T07:54:11Z)
• Large Language Models as Topological Structure Enhancers for Text-Attributed Graphs [4.487720716313697]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野に革命をもたらした。 本研究では,LLMの情報検索とテキスト生成機能を活用して,ノード分類設定の下でのテキスト分散グラフ(TAG)のトポロジ構造を洗練・強化する方法について検討する。
  論文  参考訳（メタデータ） (2023-11-24T07:53:48Z)
• Mitigating Semantic Confusion from Hostile Neighborhood for Graph Active Learning [38.5372139056485]
  Graph Active Learning(GAL)は、グラフニューラルネットワーク(GNN)のパフォーマンスを最大化するためのアノテーションのための、グラフで最も情報に富むノードを見つけることを目的としている。 Gal戦略は、特にグラフがノイズの多い場合、選択したトレーニングセットに意味的な混乱をもたらす可能性がある。 本稿では,意味的混乱を緩和するために,グラフのためのセマンティック・アウェア・アクティブ・ラーニング・フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-17T07:06:54Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• Higher-Order Attribute-Enhancing Heterogeneous Graph Neural Networks [67.25782890241496]
  異種ネットワーク表現学習のための高次属性強化グラフニューラルネットワーク(HAEGNN)を提案する。 HAEGNNは、リッチで異質なセマンティクスのためのメタパスとメタグラフを同時に組み込む。 ノード分類、ノードクラスタリング、可視化における最先端の手法よりも優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-04-16T04:56:38Z)
• When Contrastive Learning Meets Active Learning: A Novel Graph Active Learning Paradigm with Self-Supervision [19.938379604834743]
  本稿では,グラフニューラルネットワーク(GNN)の性能を最大化するための最も情報性の高いノードを発見することを目的とした,グラフ上のアクティブラーニング(AL)について検討する。 比較学習(CL)の成功に触発され,グラフALをCLとシームレスに統合する新しいパラダイムを提案する。 5つの公開データセットに対する包括的かつ不確定な実験は、我々の手法が最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-30T06:20:07Z)
• Contrastive and Generative Graph Convolutional Networks for Graph-based Semi-Supervised Learning [64.98816284854067]
  グラフベースのSemi-Supervised Learning (SSL)は、少数のラベル付きデータのラベルをグラフ経由で残りの巨大なラベル付きデータに転送することを目的としている。 本稿では,データ類似性とグラフ構造を両立させ,監視信号の強化を図るため,新しいGCNベースのSSLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-15T13:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。