論文の概要: Can LLMs Convert Graphs to Text-Attributed Graphs?

• arxiv url: http://arxiv.org/abs/2412.10136v1
• Date: Fri, 13 Dec 2024 13:32:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:04:24.677798
• Title: Can LLMs Convert Graphs to Text-Attributed Graphs?
• Title（参考訳）: LLMはグラフをテキスト分散グラフに変換することができるか?
• Authors: Zehong Wang, Sidney Liu, Zheyuan Zhang, Tianyi Ma, Chuxu Zhang, Yanfang Ye,
• Abstract要約: 本研究では,大規模言語モデル(LLM)を活用し,既存のグラフをテキスト対応グラフに自動的に変換するTopology-Aware Node description Synthesis (TANS)を提案する。 我々は,テキストリッチ,テキストリミテッド,テキストフリーのグラフ上でTANSを評価し,単一のGNNが多様なグラフをまたいで操作できることを実証した。
• 参考スコア（独自算出の注目度）: 35.53046810556242
• License:
• Abstract: Graphs are ubiquitous data structures found in numerous real-world applications, such as drug discovery, recommender systems, and social network analysis. Graph neural networks (GNNs) have become a popular tool to learn node embeddings through message passing on these structures. However, a significant challenge arises when applying GNNs to multiple graphs with different feature spaces, as existing GNN architectures are not designed for cross-graph feature alignment. To address this, recent approaches introduce text-attributed graphs, where each node is associated with a textual description, enabling the use of a shared textual encoder to project nodes from different graphs into a unified feature space. While promising, this method relies heavily on the availability of text-attributed data, which can be difficult to obtain in practice. To bridge this gap, we propose a novel method named Topology-Aware Node description Synthesis (TANS), which leverages large language models (LLMs) to automatically convert existing graphs into text-attributed graphs. The key idea is to integrate topological information with each node's properties, enhancing the LLMs' ability to explain how graph topology influences node semantics. We evaluate our TANS on text-rich, text-limited, and text-free graphs, demonstrating that it enables a single GNN to operate across diverse graphs. Notably, on text-free graphs, our method significantly outperforms existing approaches that manually design node features, showcasing the potential of LLMs for preprocessing graph-structured data, even in the absence of textual information. The code and data are available at https://github.com/Zehong-Wang/TANS.
• Abstract（参考訳）: グラフは、ドラッグ発見、レコメンダシステム、ソーシャルネットワーク分析など、多くの現実世界のアプリケーションで見られるユビキタスなデータ構造である。 グラフニューラルネットワーク(GNN)は、これらの構造上のメッセージパッシングを通じてノードの埋め込みを学習する一般的なツールとなっている。 しかし、既存のGNNアーキテクチャはクロスグラフ機能アライメントのために設計されていないため、異なる特徴空間を持つ複数のグラフにGNNを適用する際に大きな課題が生じる。 これを解決するために、近年のアプローチでは、各ノードがテキスト記述に関連付けられているテキスト分散グラフを導入し、共有テキストエンコーダを使用して異なるグラフから統一された機能空間にノードを投影する。 有望ではあるが,本手法はテキスト配信データの利用に大きく依存しており,実際に入手することは困難である。 このギャップを埋めるために,大規模言語モデル(LLM)を利用して既存のグラフをテキスト対応グラフに変換する,Topology-Aware Node description Synthesis (TANS) という新しい手法を提案する。 鍵となる考え方は、トポロジ情報を各ノードのプロパティと統合し、グラフトポロジがノードのセマンティクスにどのように影響するかを説明するLLMの能力を強化することである。 我々は,テキストリッチ,テキストリミテッド,テキストフリーのグラフ上でTANSを評価し,単一のGNNが多様なグラフをまたいで操作できることを実証した。 特に,テキストのないグラフでは,ノードの特徴を手動で設計する既存の手法よりも優れており,テキスト情報がない場合でも,グラフ構造化データの事前処理を行うLLMの可能性を示している。 コードとデータはhttps://github.com/Zehong-Wang/TANSで公開されている。

関連論文リスト

• Node Level Graph Autoencoder: Unified Pretraining for Textual Graph Learning [45.70767623846523]
  我々は,Node Level Graph AutoEncoder (NodeGAE) という,教師なしの新たな学習オートエンコーダフレームワークを提案する。 我々は、自動エンコーダのバックボーンとして言語モデルを使用し、テキスト再構成を事前訓練する。 本手法は,学習過程における単純さを維持し,多種多様なテキストグラフや下流タスクの一般化性を示す。
  論文  参考訳（メタデータ） (2024-08-09T14:57:53Z)
• GAugLLM: Improving Graph Contrastive Learning for Text-Attributed Graphs with Large Language Models [33.3678293782131]
  本研究は,テキスト分散グラフ(TAG)の自己教師付きグラフ学習に関する研究である。 言語指導によるビュージェネレーションの改善を目指しています。 これは、リッチなセマンティック情報を持つグラフ構造を補完する、実際のアプリケーションにおけるテキスト属性の出現によって引き起こされる。
  論文  参考訳（メタデータ） (2024-06-17T17:49:19Z)
• Hierarchical Compression of Text-Rich Graphs via Large Language Models [63.75293588479027]
  テキストリッチグラフは、eコマースや学術グラフのようなデータマイニングの文脈で広く使われている。 本稿では,LLMの能力とテキストリッチグラフの構造を整合させる新しい手法であるHiComを紹介する。 HiComは、Eコマースと引用グラフのノード分類において、GNNとLLMのバックボーンよりも優れている。
  論文  参考訳（メタデータ） (2024-06-13T07:24:46Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• OpenGraph: Towards Open Graph Foundation Models [20.401374302429627]
  グラフニューラルネットワーク(GNN)は、構造情報を符号化するための有望な技術として登場した。 主な課題は、異なる性質を持つグラフデータを一般化することの難しさである。 この課題に対処するために,OpenGraphと呼ばれる新しいグラフ基盤モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-02T08:05:03Z)
• GraphEdit: Large Language Models for Graph Structure Learning [62.618818029177355]
  グラフ構造学習(GSL)は、グラフ構造データ中のノード間の固有の依存関係と相互作用をキャプチャすることに焦点を当てている。 既存のGSL法は、監督信号として明示的なグラフ構造情報に大きく依存している。 グラフ構造化データの複雑なノード関係を学習するために,大規模言語モデル(LLM)を利用したグラフ編集を提案する。
  論文  参考訳（メタデータ） (2024-02-23T08:29:42Z)
• G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
  現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。 一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
  論文  参考訳（メタデータ） (2024-02-12T13:13:04Z)
• ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and Text Embeddings [20.25180279903009]
  テキスト分散グラフ(TAG)におけるテキストとノードの分離表現を共同学習するためのContrastive Graph-Text Pretraining(ConGraT)を提案する。 提案手法は言語モデル(LM)とグラフニューラルネットワーク(GNN)を訓練し,CLIPにインスパイアされたバッチワイドコントラスト学習目標を用いて,それらの表現を共通の潜在空間に整列させる。 実験により、ConGraTは、ノードとテキストのカテゴリ分類、リンク予測、言語モデリングなど、さまざまな下流タスクのベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-23T17:53:30Z)
• A Robust Stacking Framework for Training Deep Graph Models with Multifaceted Node Features [61.92791503017341]
  数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。 IID(non-graph)データをGNNに簡単に組み込むことはできない。 本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-16T22:46:33Z)
• Learning on Attribute-Missing Graphs [66.76561524848304]
  部分ノードのみの属性が利用できるグラフがあり、他の属性が完全に欠落している可能性がある。 一般的なGNNを含む既存のグラフ学習手法では、満足な学習性能が得られない。 我々は,属性欠落グラフのための構造属性変換器(SAT)と呼ばれる新しい分布マッチングベースGNNを開発した。
  論文  参考訳（メタデータ） (2020-11-03T11:09:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。