Fugu-MT 論文翻訳(概要): GAugLLM: Improving Graph Contrastive Learning for Text-Attributed Graphs with Large Language Models

論文の概要: GAugLLM: Improving Graph Contrastive Learning for Text-Attributed Graphs with Large Language Models

arxiv url: http://arxiv.org/abs/2406.11945v1
Date: Mon, 17 Jun 2024 17:49:19 GMT
ステータス: 処理完了
システム内更新日: 2024-06-20 00:36:26.317722
Title: GAugLLM: Improving Graph Contrastive Learning for Text-Attributed Graphs with Large Language Models
Title（参考訳）: GAugLLM:大規模言語モデルによるテキスト分散グラフのグラフコントラスト学習の改善
Authors: Yi Fang, Dongzhe Fan, Daochen Zha, Qiaoyu Tan,
Abstract要約: 本研究は,テキスト分散グラフ(TAG)の自己教師付きグラフ学習に関する研究である。言語指導によるビュージェネレーションの改善を目指しています。これは、リッチなセマンティック情報を持つグラフ構造を補完する、実際のアプリケーションにおけるテキスト属性の出現によって引き起こされる。
参考スコア（独自算出の注目度）: 33.3678293782131
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: This work studies self-supervised graph learning for text-attributed graphs (TAGs) where nodes are represented by textual attributes. Unlike traditional graph contrastive methods that perturb the numerical feature space and alter the graph's topological structure, we aim to improve view generation through language supervision. This is driven by the prevalence of textual attributes in real applications, which complement graph structures with rich semantic information. However, this presents challenges because of two major reasons. First, text attributes often vary in length and quality, making it difficulty to perturb raw text descriptions without altering their original semantic meanings. Second, although text attributes complement graph structures, they are not inherently well-aligned. To bridge the gap, we introduce GAugLLM, a novel framework for augmenting TAGs. It leverages advanced large language models like Mistral to enhance self-supervised graph learning. Specifically, we introduce a mixture-of-prompt-expert technique to generate augmented node features. This approach adaptively maps multiple prompt experts, each of which modifies raw text attributes using prompt engineering, into numerical feature space. Additionally, we devise a collaborative edge modifier to leverage structural and textual commonalities, enhancing edge augmentation by examining or building connections between nodes. Empirical results across five benchmark datasets spanning various domains underscore our framework's ability to enhance the performance of leading contrastive methods as a plug-in tool. Notably, we observe that the augmented features and graph structure can also enhance the performance of standard generative methods, as well as popular graph neural networks. The open-sourced implementation of our GAugLLM is available at Github.
Abstract（参考訳）: 本研究は,ノードがテキスト属性で表されるテキスト分散グラフ(TAG)の自己教師型グラフ学習について研究する。数値的な特徴空間を摂動させ、グラフの位相構造を変化させる従来のグラフコントラスト法とは異なり、言語指導を通してビュー生成を改善することを目的としている。これは、リッチなセマンティック情報を持つグラフ構造を補完する、実際のアプリケーションにおけるテキスト属性の出現によって引き起こされる。しかし、これは2つの大きな理由から課題を提起する。第一に、テキストの属性は長さと品質が多様であり、本来の意味を変えることなく、生のテキスト記述を摂動させることが困難である。第二に、テキスト属性はグラフ構造を補完するが、本質的には整合性はない。ギャップを埋めるために,TAGを増強する新しいフレームワークであるGAugLLMを紹介する。 Mistralのような先進的な大規模言語モデルを活用して、自己教師付きグラフ学習を強化する。具体的には、拡張ノード特徴を生成するための混合プロンプト-エキスパート手法を提案する。提案手法は,複数のプロンプトの専門家に適応的に対応して,プロンプトエンジニアリングを用いた原文属性を数値的特徴空間にマッピングする。さらに、構造的およびテキスト的共通性を活用するための協調的なエッジ修飾器を考案し、ノード間の接続を検査または構築することでエッジ拡張を強化する。さまざまなドメインにまたがる5つのベンチマークデータセットに対する実証的な結果から、プラグインツールとして主要なコントラストメソッドのパフォーマンスを向上させるフレームワークの能力が明らかになりました。特に,拡張機能とグラフ構造により,一般的なグラフニューラルネットワークと同様に,標準生成手法の性能向上が期待できる。 GAugLLMのオープンソース実装はGithubで公開されています。

関連論文リスト

Node Level Graph Autoencoder: Unified Pretraining for Textual Graph Learning [45.70767623846523]
我々は,Node Level Graph AutoEncoder (NodeGAE) という,教師なしの新たな学習オートエンコーダフレームワークを提案する。我々は、自動エンコーダのバックボーンとして言語モデルを使用し、テキスト再構成を事前訓練する。本手法は,学習過程における単純さを維持し,多種多様なテキストグラフや下流タスクの一般化性を示す。
論文参考訳（メタデータ） (2024-08-09T14:57:53Z)
A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文参考訳（メタデータ） (2024-06-19T22:30:08Z)
Bridging Local Details and Global Context in Text-Attributed Graphs [62.522550655068336]
GraphBridgeは、コンテキストテキスト情報を活用することで、ローカルおよびグローバルな視点をブリッジするフレームワークである。提案手法は最先端性能を実現し,グラフ対応トークン削減モジュールは効率を大幅に向上し,スケーラビリティの問題を解消する。
論文参考訳（メタデータ） (2024-06-18T13:35:25Z)
TAGA: Text-Attributed Graph Self-Supervised Learning by Synergizing Graph and Text Mutual Transformations [15.873944819608434]
Text-Attributed Graphs (TAG)は、自然言語記述によるグラフ構造を強化する。本稿では,TAGの構造的・意味的次元を統合した,新たな自己教師型学習フレームワークであるText-And-Graph Multi-View Alignment(TAGA)を紹介する。本フレームワークは,8つの実世界のデータセットを対象としたゼロショットおよび少数ショットシナリオにおいて,強力なパフォーマンスを示す。
論文参考訳（メタデータ） (2024-05-27T03:40:16Z)
G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
論文参考訳（メタデータ） (2024-02-12T13:13:04Z)
Learning Multiplex Representations on Text-Attributed Graphs with One Language Model Encoder [55.24276913049635]
テキスト分散グラフ上での多重表現学習のための新しいフレームワークMETAGを提案する。既存の手法とは対照的に、MeTAGは1つのテキストエンコーダを使用して関係性間の共有知識をモデル化する。学術分野と電子商取引分野の5つのグラフにおいて,9つの下流タスクについて実験を行った。
論文参考訳（メタデータ） (2023-10-10T14:59:22Z)
Enhancing Dialogue Generation via Dynamic Graph Knowledge Aggregation [23.54754465832362]
従来のグラフニューラルネットワーク(GNN)では、グラフに渡すメッセージはテキストとは独立している。このトレーニング体制は、グラフ知識とテキストの間に意味的なギャップをもたらす。知識グラフ強化対話生成のための新しいフレームワークを提案する。
論文参考訳（メタデータ） (2023-06-28T13:21:00Z)
ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and Text Embeddings [20.25180279903009]
テキスト分散グラフ(TAG)におけるテキストとノードの分離表現を共同学習するためのContrastive Graph-Text Pretraining(ConGraT)を提案する。提案手法は言語モデル(LM)とグラフニューラルネットワーク(GNN)を訓練し,CLIPにインスパイアされたバッチワイドコントラスト学習目標を用いて,それらの表現を共通の潜在空間に整列させる。実験により、ConGraTは、ノードとテキストのカテゴリ分類、リンク予測、言語モデリングなど、さまざまな下流タスクのベースラインよりも優れていることが示された。
論文参考訳（メタデータ） (2023-05-23T17:53:30Z)
GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文参考訳（メタデータ） (2021-05-06T12:20:41Z)
Edge: Enriching Knowledge Graph Embeddings with External Text [32.01476220906261]
We propose a knowledge graph enrichment and embedded framework named Edge。元の知識グラフが与えられたら、まず、セマンティックおよび構造レベルで外部テキストを使用してリッチだがノイズの多い拡張グラフを生成する。関連する知識を抽出し,導入した雑音を抑制するため,元のグラフと拡張グラフとの共有埋め込み空間におけるグラフアライメント項を設計する。
論文参考訳（メタデータ） (2021-04-11T03:47:06Z)
Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion [53.31911669146451]
人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。これらのグラフは通常不完全であり、自動補完を促す。グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
論文参考訳（メタデータ） (2020-04-30T13:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。