Fugu-MT 論文翻訳(概要): Can LLMs Convert Graphs to Text-Attributed Graphs?

論文の概要: Can LLMs Convert Graphs to Text-Attributed Graphs?

arxiv url: http://arxiv.org/abs/2412.10136v1
Date: Fri, 13 Dec 2024 13:32:59 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-16 15:37:48.980408
Title: Can LLMs Convert Graphs to Text-Attributed Graphs?
Title（参考訳）: LLMはグラフをテキスト分散グラフに変換することができるか?
Authors: Zehong Wang, Sidney Liu, Zheyuan Zhang, Tianyi Ma, Chuxu Zhang, Yanfang Ye,
Abstract要約: 本研究では,大規模言語モデル(LLM)を活用し,既存のグラフをテキスト対応グラフに自動的に変換するTopology-Aware Node description Synthesis (TANS)を提案する。我々は,テキストリッチ,テキストリミテッド,テキストフリーのグラフ上でTANSを評価し,単一のGNNが多様なグラフをまたいで操作できることを実証した。
参考スコア（独自算出の注目度）: 35.53046810556242
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Graphs are ubiquitous data structures found in numerous real-world applications, such as drug discovery, recommender systems, and social network analysis. Graph neural networks (GNNs) have become a popular tool to learn node embeddings through message passing on these structures. However, a significant challenge arises when applying GNNs to multiple graphs with different feature spaces, as existing GNN architectures are not designed for cross-graph feature alignment. To address this, recent approaches introduce text-attributed graphs, where each node is associated with a textual description, enabling the use of a shared textual encoder to project nodes from different graphs into a unified feature space. While promising, this method relies heavily on the availability of text-attributed data, which can be difficult to obtain in practice. To bridge this gap, we propose a novel method named Topology-Aware Node description Synthesis (TANS), which leverages large language models (LLMs) to automatically convert existing graphs into text-attributed graphs. The key idea is to integrate topological information with each node's properties, enhancing the LLMs' ability to explain how graph topology influences node semantics. We evaluate our TANS on text-rich, text-limited, and text-free graphs, demonstrating that it enables a single GNN to operate across diverse graphs. Notably, on text-free graphs, our method significantly outperforms existing approaches that manually design node features, showcasing the potential of LLMs for preprocessing graph-structured data, even in the absence of textual information. The code and data are available at https://github.com/Zehong-Wang/TANS.
Abstract（参考訳）: グラフは、ドラッグ発見、レコメンダシステム、ソーシャルネットワーク分析など、多くの現実世界のアプリケーションで見られるユビキタスなデータ構造である。グラフニューラルネットワーク(GNN)は、これらの構造上のメッセージパッシングを通じてノードの埋め込みを学習する一般的なツールとなっている。しかし、既存のGNNアーキテクチャはクロスグラフ機能アライメントのために設計されていないため、異なる特徴空間を持つ複数のグラフにGNNを適用する際に大きな課題が生じる。これを解決するために、近年のアプローチでは、各ノードがテキスト記述に関連付けられているテキスト分散グラフを導入し、共有テキストエンコーダを使用して異なるグラフから統一された機能空間にノードを投影する。有望ではあるが,本手法はテキスト配信データの利用に大きく依存しており,実際に入手することは困難である。このギャップを埋めるために,大規模言語モデル(LLM)を利用して既存のグラフをテキスト対応グラフに変換する,Topology-Aware Node description Synthesis (TANS) という新しい手法を提案する。鍵となる考え方は、トポロジ情報を各ノードのプロパティと統合し、グラフトポロジがノードのセマンティクスにどのように影響するかを説明するLLMの能力を強化することである。我々は,テキストリッチ,テキストリミテッド,テキストフリーのグラフ上でTANSを評価し,単一のGNNが多様なグラフをまたいで操作できることを実証した。特に,テキストのないグラフでは,ノードの特徴を手動で設計する既存の手法よりも優れており,テキスト情報がない場合でも,グラフ構造化データの事前処理を行うLLMの可能性を示している。コードとデータはhttps://github.com/Zehong-Wang/TANSで公開されている。

関連論文リスト

LLM as GNN: Graph Vocabulary Learning for Text-Attributed Graph Foundation Models [54.82915844507371]
Text-Attributed Graphs (TAG) は、現実のシナリオにおいてユビキタスである。大規模言語モデル(LLMs)とグラフニューラルネットワーク(GNNs)をTAGsに統合する努力にもかかわらず、既存のアプローチは分離されたアーキテクチャに悩まされている。本稿では,グラフ語彙学習に基づくTAGのための汎用GFMであるPromptGFMを提案する。
論文参考訳（メタデータ） (2025-03-05T09:45:22Z)
Query-Aware Learnable Graph Pooling Tokens as Prompt for Large Language Models [3.9489815622117566]
Learnable Graph Pooling Token (LGPT)は、フレキシブルで効率的なグラフ表現を可能にする。提案手法は,大規模言語モデルを訓練することなく,GraphQAベンチマークで4.13%の性能向上を実現している。
論文参考訳（メタデータ） (2025-01-29T10:35:41Z)
Node Level Graph Autoencoder: Unified Pretraining for Textual Graph Learning [45.70767623846523]
我々は,Node Level Graph AutoEncoder (NodeGAE) という,教師なしの新たな学習オートエンコーダフレームワークを提案する。我々は、自動エンコーダのバックボーンとして言語モデルを使用し、テキスト再構成を事前訓練する。本手法は,学習過程における単純さを維持し,多種多様なテキストグラフや下流タスクの一般化性を示す。
論文参考訳（メタデータ） (2024-08-09T14:57:53Z)
GAugLLM: Improving Graph Contrastive Learning for Text-Attributed Graphs with Large Language Models [33.3678293782131]
本研究は,テキスト分散グラフ(TAG)の自己教師付きグラフ学習に関する研究である。言語指導によるビュージェネレーションの改善を目指しています。これは、リッチなセマンティック情報を持つグラフ構造を補完する、実際のアプリケーションにおけるテキスト属性の出現によって引き起こされる。
論文参考訳（メタデータ） (2024-06-17T17:49:19Z)
Hierarchical Compression of Text-Rich Graphs via Large Language Models [63.75293588479027]
テキストリッチグラフは、eコマースや学術グラフのようなデータマイニングの文脈で広く使われている。本稿では,LLMの能力とテキストリッチグラフの構造を整合させる新しい手法であるHiComを紹介する。 HiComは、Eコマースと引用グラフのノード分類において、GNNとLLMのバックボーンよりも優れている。
論文参考訳（メタデータ） (2024-06-13T07:24:46Z)
Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文参考訳（メタデータ） (2024-04-28T18:36:59Z)
Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs [60.71360240206726]
大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて幻覚に悩まされる。既存の研究は、外部知識コーパスから取得した個々のテキスト単位でLLMを拡張することを提案する。本稿では,グラフを反復的に推論することで,LLMをグラフで拡張するためのGraph Chain-of-thinkt (Graph-CoT) というフレームワークを提案する。
論文参考訳（メタデータ） (2024-04-10T15:41:53Z)
G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
論文参考訳（メタデータ） (2024-02-12T13:13:04Z)
Large Language Models on Graphs: A Comprehensive Survey [77.16803297418201]
グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
論文参考訳（メタデータ） (2023-12-05T14:14:27Z)
Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。提案手法は、確立されたTAGデータセットの最先端結果を実現する。本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文参考訳（メタデータ） (2023-05-31T03:18:03Z)
ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and Text Embeddings [20.25180279903009]
テキスト分散グラフ(TAG)におけるテキストとノードの分離表現を共同学習するためのContrastive Graph-Text Pretraining(ConGraT)を提案する。提案手法は言語モデル(LM)とグラフニューラルネットワーク(GNN)を訓練し,CLIPにインスパイアされたバッチワイドコントラスト学習目標を用いて,それらの表現を共通の潜在空間に整列させる。実験により、ConGraTは、ノードとテキストのカテゴリ分類、リンク予測、言語モデリングなど、さまざまな下流タスクのベースラインよりも優れていることが示された。
論文参考訳（メタデータ） (2023-05-23T17:53:30Z)
Learning on Attribute-Missing Graphs [66.76561524848304]
部分ノードのみの属性が利用できるグラフがあり、他の属性が完全に欠落している可能性がある。一般的なGNNを含む既存のグラフ学習手法では、満足な学習性能が得られない。我々は,属性欠落グラフのための構造属性変換器(SAT)と呼ばれる新しい分布マッチングベースGNNを開発した。
論文参考訳（メタデータ） (2020-11-03T11:09:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。