論文の概要: Can LLMs Convert Graphs to Text-Attributed Graphs?

• arxiv url: http://arxiv.org/abs/2412.10136v1
• Date: Fri, 13 Dec 2024 13:32:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:04:24.677798
• Title: Can LLMs Convert Graphs to Text-Attributed Graphs?
• Title（参考訳）: LLMはグラフをテキスト分散グラフに変換することができるか?
• Authors: Zehong Wang, Sidney Liu, Zheyuan Zhang, Tianyi Ma, Chuxu Zhang, Yanfang Ye,
• Abstract要約: 本研究では,大規模言語モデル(LLM)を活用し,既存のグラフをテキスト対応グラフに自動的に変換するTopology-Aware Node description Synthesis (TANS)を提案する。 我々は,テキストリッチ,テキストリミテッド,テキストフリーのグラフ上でTANSを評価し,単一のGNNが多様なグラフをまたいで操作できることを実証した。
• 参考スコア（独自算出の注目度）: 35.53046810556242
• License:
• Abstract: Graphs are ubiquitous data structures found in numerous real-world applications, such as drug discovery, recommender systems, and social network analysis. Graph neural networks (GNNs) have become a popular tool to learn node embeddings through message passing on these structures. However, a significant challenge arises when applying GNNs to multiple graphs with different feature spaces, as existing GNN architectures are not designed for cross-graph feature alignment. To address this, recent approaches introduce text-attributed graphs, where each node is associated with a textual description, enabling the use of a shared textual encoder to project nodes from different graphs into a unified feature space. While promising, this method relies heavily on the availability of text-attributed data, which can be difficult to obtain in practice. To bridge this gap, we propose a novel method named Topology-Aware Node description Synthesis (TANS), which leverages large language models (LLMs) to automatically convert existing graphs into text-attributed graphs. The key idea is to integrate topological information with each node's properties, enhancing the LLMs' ability to explain how graph topology influences node semantics. We evaluate our TANS on text-rich, text-limited, and text-free graphs, demonstrating that it enables a single GNN to operate across diverse graphs. Notably, on text-free graphs, our method significantly outperforms existing approaches that manually design node features, showcasing the potential of LLMs for preprocessing graph-structured data, even in the absence of textual information. The code and data are available at https://github.com/Zehong-Wang/TANS.
• Abstract（参考訳）: グラフは、ドラッグ発見、レコメンダシステム、ソーシャルネットワーク分析など、多くの現実世界のアプリケーションで見られるユビキタスなデータ構造である。 グラフニューラルネットワーク(GNN)は、これらの構造上のメッセージパッシングを通じてノードの埋め込みを学習する一般的なツールとなっている。 しかし、既存のGNNアーキテクチャはクロスグラフ機能アライメントのために設計されていないため、異なる特徴空間を持つ複数のグラフにGNNを適用する際に大きな課題が生じる。 これを解決するために、近年のアプローチでは、各ノードがテキスト記述に関連付けられているテキスト分散グラフを導入し、共有テキストエンコーダを使用して異なるグラフから統一された機能空間にノードを投影する。 有望ではあるが,本手法はテキスト配信データの利用に大きく依存しており,実際に入手することは困難である。 このギャップを埋めるために,大規模言語モデル(LLM)を利用して既存のグラフをテキスト対応グラフに変換する,Topology-Aware Node description Synthesis (TANS) という新しい手法を提案する。 鍵となる考え方は、トポロジ情報を各ノードのプロパティと統合し、グラフトポロジがノードのセマンティクスにどのように影響するかを説明するLLMの能力を強化することである。 我々は,テキストリッチ,テキストリミテッド,テキストフリーのグラフ上でTANSを評価し,単一のGNNが多様なグラフをまたいで操作できることを実証した。 特に,テキストのないグラフでは,ノードの特徴を手動で設計する既存の手法よりも優れており,テキスト情報がない場合でも,グラフ構造化データの事前処理を行うLLMの可能性を示している。 コードとデータはhttps://github.com/Zehong-Wang/TANSで公開されている。

関連論文リスト

• Query-Aware Learnable Graph Pooling Tokens as Prompt for Large Language Models [3.9489815622117566]
  Learnable Graph Pooling Token (LGPT)は、フレキシブルで効率的なグラフ表現を可能にする。 提案手法は,大規模言語モデルを訓練することなく,GraphQAベンチマークで4.13%の性能向上を実現している。
  論文  参考訳（メタデータ） (2025-01-29T10:35:41Z)
• Node Level Graph Autoencoder: Unified Pretraining for Textual Graph Learning [45.70767623846523]
  我々は,Node Level Graph AutoEncoder (NodeGAE) という,教師なしの新たな学習オートエンコーダフレームワークを提案する。 我々は、自動エンコーダのバックボーンとして言語モデルを使用し、テキスト再構成を事前訓練する。 本手法は,学習過程における単純さを維持し,多種多様なテキストグラフや下流タスクの一般化性を示す。
  論文  参考訳（メタデータ） (2024-08-09T14:57:53Z)
• Hierarchical Compression of Text-Rich Graphs via Large Language Models [63.75293588479027]
  テキストリッチグラフは、eコマースや学術グラフのようなデータマイニングの文脈で広く使われている。 本稿では,LLMの能力とテキストリッチグラフの構造を整合させる新しい手法であるHiComを紹介する。 HiComは、Eコマースと引用グラフのノード分類において、GNNとLLMのバックボーンよりも優れている。
  論文  参考訳（メタデータ） (2024-06-13T07:24:46Z)
• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs [60.71360240206726]
  大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて幻覚に悩まされる。 既存の研究は、外部知識コーパスから取得した個々のテキスト単位でLLMを拡張することを提案する。 本稿では,グラフを反復的に推論することで,LLMをグラフで拡張するためのGraph Chain-of-thinkt (Graph-CoT) というフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-10T15:41:53Z)
• G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
  現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。 一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
  論文  参考訳（メタデータ） (2024-02-12T13:13:04Z)
• Large Language Models on Graphs: A Comprehensive Survey [77.16803297418201]
  グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。 まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。 本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
  論文  参考訳（メタデータ） (2023-12-05T14:14:27Z)
• GraphText: Graph Reasoning in Text Space [32.00258972022153]
  GraphTextはグラフを自然言語に変換するフレームワークである。 GraphTextは、教師付きトレーニングされたグラフニューラルネットワークのパフォーマンスに匹敵する、あるいは超えることができる。 インタラクティブなグラフ推論の道を開くことで、人間とLLMの両方が自然言語を使ってシームレスにモデルと通信できるようになる。
  論文  参考訳（メタデータ） (2023-10-02T11:03:57Z)
• ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and Text Embeddings [20.25180279903009]
  テキスト分散グラフ(TAG)におけるテキストとノードの分離表現を共同学習するためのContrastive Graph-Text Pretraining(ConGraT)を提案する。 提案手法は言語モデル(LM)とグラフニューラルネットワーク(GNN)を訓練し,CLIPにインスパイアされたバッチワイドコントラスト学習目標を用いて,それらの表現を共通の潜在空間に整列させる。 実験により、ConGraTは、ノードとテキストのカテゴリ分類、リンク予測、言語モデリングなど、さまざまな下流タスクのベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-23T17:53:30Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。