論文の概要: LATEX-GCL: Large Language Models (LLMs)-Based Data Augmentation for Text-Attributed Graph Contrastive Learning

• arxiv url: http://arxiv.org/abs/2409.01145v1
• Date: Mon, 2 Sep 2024 10:30:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 07:13:03.213379
• Title: LATEX-GCL: Large Language Models (LLMs)-Based Data Augmentation for Text-Attributed Graph Contrastive Learning
• Title（参考訳）: LATEX-GCL:Large Language Models (LLMs)-based data Augmentation for Text-Attributed Graph Contrastive Learning
• Authors: Haoran Yang, Xiangyu Zhao, Sirui Huang, Qing Li, Guandong Xu,
• Abstract要約: Text-Attributed Graphs (TAG)で学ぶためのGCLはまだ検討されていない。 GCLをTAGに適用するための簡単な戦略は、テキスト属性を言語モデルを通じて機能埋め込みにエンコードすることだ。 本稿では,LATEX-GCLという新しいGCLフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 35.69403361648343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Contrastive Learning (GCL) is a potent paradigm for self-supervised graph learning that has attracted attention across various application scenarios. However, GCL for learning on Text-Attributed Graphs (TAGs) has yet to be explored. Because conventional augmentation techniques like feature embedding masking cannot directly process textual attributes on TAGs. A naive strategy for applying GCL to TAGs is to encode the textual attributes into feature embeddings via a language model and then feed the embeddings into the following GCL module for processing. Such a strategy faces three key challenges: I) failure to avoid information loss, II) semantic loss during the text encoding phase, and III) implicit augmentation constraints that lead to uncontrollable and incomprehensible results. In this paper, we propose a novel GCL framework named LATEX-GCL to utilize Large Language Models (LLMs) to produce textual augmentations and LLMs' powerful natural language processing (NLP) abilities to address the three limitations aforementioned to pave the way for applying GCL to TAG tasks. Extensive experiments on four high-quality TAG datasets illustrate the superiority of the proposed LATEX-GCL method. The source codes and datasets are released to ease the reproducibility, which can be accessed via this link: https://anonymous.4open.science/r/LATEX-GCL-0712.
• Abstract（参考訳）: Graph Contrastive Learning(GCL)は、自己教師付きグラフ学習の強力なパラダイムであり、さまざまなアプリケーションシナリオに注目されている。 しかし、テキスト分散グラフ(TAG)について学ぶためのGCLはまだ検討されていない。 機能埋め込みマスキングのような従来の拡張技術では、TAGのテキスト属性を直接処理することはできない。 GCLをTAGに適用するための簡単な戦略は、テキスト属性を言語モデルを介して機能埋め込みにエンコードし、次に処理するために次のGCLモジュールに埋め込むことである。 このような戦略は3つの大きな課題に直面している。 (I) 情報損失を回避するための失敗 (II) テキストエンコーディングフェーズにおける意味的損失 (III) 暗黙的な拡張制約(英語版)は制御不能で理解不能な結果をもたらす。 本稿では,LATEX-GCLと呼ばれる新しいGCLフレームワークを提案する。LATEX-GCL(Large Language Models, LLM)を用いてテキスト拡張とLLMの強力な自然言語処理能力を利用して,前述の3つの制限に対処し,TAGタスクにGCLを適用する方法について検討する。 4つの高品質なTAGデータセットに対する大規模な実験は、提案したLATEX-GCL法の優位性を示している。 ソースコードとデータセットは再現性を容易にするためにリリースされており、このリンクからアクセスすることができる。

関連論文リスト

• Large Language Model-based Augmentation for Imbalanced Node Classification on Text-Attributed Graphs [13.42259312243504]
  LA-TAG (LLM-based Augmentation on Text-Attributed Graphs) と呼ばれる新しい手法を提案する。 グラフ内の既存のノードテキストに基づいて合成テキストを生成するように、Large Language Modelsに促す。 合成テキスト分散ノードをグラフに統合するために,テキストベースのリンク予測器を導入する。
  論文  参考訳（メタデータ） (2024-10-22T10:36:15Z)
• GraphCLIP: Enhancing Transferability in Graph Foundation Models for Text-Attributed Graphs [27.169892145194638]
  GraphCLIPは、強力なクロスドメインゼロ/フェーショット転送可能性を持つグラフ基盤モデルを学習するためのフレームワークである。 LLMの助けを借りて、大規模グラフ-土木ペアデータを生成し、キュレートする。 数ショットの学習では,事前学習目標に沿った新しいグラフプロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-14T09:40:52Z)
• Hierarchical Compression of Text-Rich Graphs via Large Language Models [63.75293588479027]
  テキストリッチグラフは、eコマースや学術グラフのようなデータマイニングの文脈で広く使われている。 本稿では,LLMの能力とテキストリッチグラフの構造を整合させる新しい手法であるHiComを紹介する。 HiComは、Eコマースと引用グラフのノード分類において、GNNとLLMのバックボーンよりも優れている。
  論文  参考訳（メタデータ） (2024-06-13T07:24:46Z)
• LLaGA: Large Language and Graph Assistant [73.71990472543027]
  大規模言語とグラフアシスタント(LLaGA)は、グラフ構造化データの複雑さを扱う革新的なモデルである。 LLaGAは汎用性、一般化性、解釈性に優れており、異なるデータセットやタスク間で一貫して動作する。 実験の結果,LLaGAは4つのデータセットと3つのタスクに1つの単一モデルを用いて優れた性能を提供することがわかった。
  論文  参考訳（メタデータ） (2024-02-13T02:03:26Z)
• Large Language Models on Graphs: A Comprehensive Survey [77.16803297418201]
  グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。 まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。 本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
  論文  参考訳（メタデータ） (2023-12-05T14:14:27Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• MA-GCL: Model Augmentation Tricks for Graph Contrastive Learning [41.963242524220654]
  グラフコントラスト学習(GCL)のための3つの簡易実装モデル拡張手法を提案する。 具体的には,GCLに対して,非対称,ランダム,シャッフルという,実装が容易なモデル拡張トリックを3つ提示する。 実験の結果,MA-GCLはノード分類ベンチマークで最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2022-12-14T05:04:10Z)
• Unifying Graph Contrastive Learning with Flexible Contextual Scopes [57.86762576319638]
  フレキシブルコンテキストスコープを用いたグラフコントラスト学習(略してUGCL)という自己教師型学習手法を提案する。 本アルゴリズムは,隣接行列のパワーを制御し,コンテキストスコープによるフレキシブルな文脈表現を構築する。 局所的スコープと文脈的スコープの両方の表現に基づいて、distLはグラフ表現学習のための非常に単純な対照的な損失関数を最適化する。
  論文  参考訳（メタデータ） (2022-10-17T07:16:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。