Fugu-MT 論文翻訳(概要): TAGA: Text-Attributed Graph Self-Supervised Learning by Synergizing Graph and Text Mutual Transformations

論文の概要: TAGA: Text-Attributed Graph Self-Supervised Learning by Synergizing Graph and Text Mutual Transformations

arxiv url: http://arxiv.org/abs/2405.16800v1
Date: Mon, 27 May 2024 03:40:16 GMT
ステータス: 処理完了
システム内更新日: 2024-05-28 19:06:16.202477
Title: TAGA: Text-Attributed Graph Self-Supervised Learning by Synergizing Graph and Text Mutual Transformations
Title（参考訳）: TAGA: グラフとテキスト相互変換の相乗化によるテキスト分散グラフ自己教師付き学習
Authors: Zheng Zhang, Yuntong Hu, Bo Pan, Chen Ling, Liang Zhao,
Abstract要約: Text-Attributed Graphs (TAG)は、自然言語記述によるグラフ構造を強化する。本稿では,TAGの構造的・意味的次元を統合した,新たな自己教師型学習フレームワークであるText-And-Graph Multi-View Alignment(TAGA)を紹介する。本フレームワークは,8つの実世界のデータセットを対象としたゼロショットおよび少数ショットシナリオにおいて,強力なパフォーマンスを示す。
参考スコア（独自算出の注目度）: 15.873944819608434
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Text-Attributed Graphs (TAGs) enhance graph structures with natural language descriptions, enabling detailed representation of data and their relationships across a broad spectrum of real-world scenarios. Despite the potential for deeper insights, existing TAG representation learning primarily relies on supervised methods, necessitating extensive labeled data and limiting applicability across diverse contexts. This paper introduces a new self-supervised learning framework, Text-And-Graph Multi-View Alignment (TAGA), which overcomes these constraints by integrating TAGs' structural and semantic dimensions. TAGA constructs two complementary views: Text-of-Graph view, which organizes node texts into structured documents based on graph topology, and the Graph-of-Text view, which converts textual nodes and connections into graph data. By aligning representations from both views, TAGA captures joint textual and structural information. In addition, a novel structure-preserving random walk algorithm is proposed for efficient training on large-sized TAGs. Our framework demonstrates strong performance in zero-shot and few-shot scenarios across eight real-world datasets.
Abstract（参考訳）: Text-Attributed Graphs (TAG)は、自然言語記述によるグラフ構造を強化し、実際のシナリオの幅広い範囲にわたるデータとその関係の詳細な表現を可能にする。より深い洞察の可能性があるにもかかわらず、既存のTAG表現学習は主に教師付き手法に依存し、広範囲のラベル付きデータを必要とし、多様なコンテキストで適用性を制限する。本稿では,TAGの構造的・意味的次元を統合することで,これらの制約を克服する,新たな自己教師型学習フレームワークであるText-And-Graph Multi-View Alignment(TAGA)を提案する。 TAGAは、グラフトポロジに基づいてノードテキストを構造化文書に整理するText-of-Graph viewと、テキストノードと接続をグラフデータに変換するGraph-of-Text viewという2つの補完ビューを構築している。両ビューから表現をコーディネートすることで、TAGAは共同でテキストと構造情報をキャプチャする。さらに, 大規模TAGの効率的なトレーニングのために, 構造保存型ランダムウォークアルゴリズムを提案する。本フレームワークは,8つの実世界のデータセットを対象としたゼロショットおよび少数ショットシナリオにおいて,強力なパフォーマンスを示す。

関連論文リスト

Bridging Local Details and Global Context in Text-Attributed Graphs [62.522550655068336]
GraphBridgeは、コンテキストテキスト情報を活用することで、ローカルおよびグローバルな視点をブリッジするフレームワークである。提案手法は最先端性能を実現し,グラフ対応トークン削減モジュールは効率を大幅に向上し,スケーラビリティの問題を解消する。
論文参考訳（メタデータ） (2024-06-18T13:35:25Z)
UniGLM: Training One Unified Language Model for Text-Attributed Graphs [31.464021556351685]
統一グラフ言語モデル(Unified Graph Language Model、UniGLM)は、グラフ埋め込みモデルであり、ドメイン内およびドメイン間TAGの両方によく一般化する。 UniGLMには、構造的に類似したノードを特定するための適応的な正のサンプル選択技術と、トレーニングを加速するために考案された遅延コントラストモジュールが含まれている。
論文参考訳（メタデータ） (2024-06-17T19:45:21Z)
TEG-DB: A Comprehensive Dataset and Benchmark of Textual-Edge Graphs [14.437863803271808]
Text-Attributed Graphs (TAG)は、自然言語記述によるグラフ構造を強化し、データとその相互接続の詳細な描写を容易にする。既存のTAGデータセットは、主にノードでのみテキスト情報を特徴付けており、エッジは通常、単なるバイナリまたはカテゴリ属性で表される。このギャップに対処するため、ノードとエッジにリッチなテキスト記述を備えたTextual-Edge Graphsデータセットを導入しました。
論文参考訳（メタデータ） (2024-06-14T06:22:47Z)
Hierarchical Compression of Text-Rich Graphs via Large Language Models [63.75293588479027]
テキストリッチグラフは、eコマースや学術グラフのようなデータマイニングの文脈で広く使われている。本稿では,LLMの能力とテキストリッチグラフの構造を整合させる新しい手法であるHiComを紹介する。 HiComは、Eコマースと引用グラフのノード分類において、GNNとLLMのバックボーンよりも優れている。
論文参考訳（メタデータ） (2024-06-13T07:24:46Z)
Pretraining Language Models with Text-Attributed Heterogeneous Graphs [28.579509154284448]
テキスト分散不均質グラフ(TAHG)におけるトポロジ的および異種情報を明確に考察する言語モデル(LM)のための新しい事前学習フレームワークを提案する。本稿では、LMと補助異種グラフニューラルネットワークを協調最適化することにより、コンテキストグラフに関わるノードを予測するトポロジ対応事前学習タスクを提案する。各種ドメインの3つのデータセット上でリンク予測とノード分類を行う。
論文参考訳（メタデータ） (2023-10-19T08:41:21Z)
Learning Multiplex Representations on Text-Attributed Graphs with One Language Model Encoder [55.24276913049635]
テキスト分散グラフ上での多重表現学習のための新しいフレームワークMETAGを提案する。既存の手法とは対照的に、MeTAGは1つのテキストエンコーダを使用して関係性間の共有知識をモデル化する。学術分野と電子商取引分野の5つのグラフにおいて,9つの下流タスクについて実験を行った。
論文参考訳（メタデータ） (2023-10-10T14:59:22Z)
JointGT: Graph-Text Joint Representation Learning for Text Generation from Knowledge Graphs [44.06715423776722]
本論文では,ジョイントGTと呼ばれるグラフテキスト共同表現学習モデルを提案する。エンコーディング中、各トランスフォーマー層にプラグインされた構造対応セマンティックアグリゲーションモジュールを考案した。種々のKG-to-textデータセット上で,JointGTが新たな最先端性能を得ることを示す。
論文参考訳（メタデータ） (2021-06-19T14:10:10Z)
BASS: Boosting Abstractive Summarization with Unified Semantic Graph [49.48925904426591]
BASSは、統合されたセマンティックグラフに基づく抽象的な要約を促進するためのフレームワークである。文書表現と要約生成の両方を改善するために,グラフベースのエンコーダデコーダモデルを提案する。実験結果から,提案アーキテクチャは長期文書および複数文書要約タスクに大幅な改善をもたらすことが示された。
論文参考訳（メタデータ） (2021-05-25T16:20:48Z)
GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文参考訳（メタデータ） (2021-05-06T12:20:41Z)
Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning [72.52804406378023]
ビデオとテキスト間のクロスモーダル検索は、Web上のビデオの急速な出現により、注目を集めている。微細なビデオテキスト検索を改善するために,ビデオテキストマッチングをグローバル-ローカルレベルに分解する階層グラフ推論モデルを提案する。
論文参考訳（メタデータ） (2020-03-01T03:44:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。