論文の概要: SSTAG: Structure-Aware Self-Supervised Learning Method for Text-Attributed Graphs

• arxiv url: http://arxiv.org/abs/2510.01248v1
• Date: Wed, 24 Sep 2025 09:10:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.75333
• Title: SSTAG: Structure-Aware Self-Supervised Learning Method for Text-Attributed Graphs
• Title（参考訳）: SSTAG:テキスト分散グラフのための構造認識型自己教師付き学習手法
• Authors: Ruyue Liu, Rong Yin, Xiangzhen Bo, Xiaoshuai Hao, Yong Liu, Jinwen Zhong, Can Ma, Weiping Wang,
• Abstract要約: テキスト分散グラフ(SSTAG)のための自己教師型学習手法を提案する。 グラフ学習のための統一表現媒体としてテキストを活用することにより、SSTAGは、Large Language Models(LLM)の意味論的推論とグラフニューラルネットワーク(GNN)の構造的モデリング能力のギャップを埋める。 本稿では,LLMとGNNを併用して構造対応多層パーセプトロン (MLP) を合成する二重知識蒸留フレームワークを提案する。 広範囲にわたる実験により、SSTAGはドメイン間移動学習タスクにおける最先端モデルよりも優れており、達成できることが示された。
• 参考スコア（独自算出の注目度）: 29.874597860268008
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large scale pretrained models have revolutionized Natural Language Processing (NLP) and Computer Vision (CV), showcasing remarkable cross domain generalization abilities. However, in graph learning, models are typically trained on individual graph datasets, limiting their capacity to transfer knowledge across different graphs and tasks. This approach also heavily relies on large volumes of annotated data, which presents a significant challenge in resource-constrained settings. Unlike NLP and CV, graph structured data presents unique challenges due to its inherent heterogeneity, including domain specific feature spaces and structural diversity across various applications. To address these challenges, we propose a novel structure aware self supervised learning method for Text Attributed Graphs (SSTAG). By leveraging text as a unified representation medium for graph learning, SSTAG bridges the gap between the semantic reasoning of Large Language Models (LLMs) and the structural modeling capabilities of Graph Neural Networks (GNNs). Our approach introduces a dual knowledge distillation framework that co-distills both LLMs and GNNs into structure-aware multilayer perceptrons (MLPs), enhancing the scalability of large-scale TAGs. Additionally, we introduce an in-memory mechanism that stores typical graph representations, aligning them with memory anchors in an in-memory repository to integrate invariant knowledge, thereby improving the model's generalization ability. Extensive experiments demonstrate that SSTAG outperforms state-of-the-art models on cross-domain transfer learning tasks, achieves exceptional scalability, and reduces inference costs while maintaining competitive performance.
• Abstract（参考訳）: 大規模事前訓練されたモデルは自然言語処理(NLP)とコンピュータビジョン(CV)に革命をもたらしており、ドメイン間の一般化能力が顕著に向上している。 しかしながら、グラフ学習では、モデルは通常、個々のグラフデータセットに基づいてトレーニングされ、異なるグラフやタスク間で知識を伝達する能力を制限する。 このアプローチは大量のアノテートデータにも大きく依存しており、リソース制約のある設定では大きな課題となる。 NLPやCVとは異なり、グラフ構造化データには固有の不均一性があり、ドメイン固有の特徴空間や様々なアプリケーションにまたがる構造的多様性がある。 これらの課題に対処するために,テキスト分散グラフ(SSTAG)の自己教師型学習手法を提案する。 テキストをグラフ学習のための統一表現媒体として活用することにより、SSTAGは、LLM(Large Language Models)の意味論的推論とグラフニューラルネットワーク(GNN)の構造的モデリング能力のギャップを埋める。 提案手法では,LLMとGNNを多層パーセプトロン(MLP)に共蒸留し,大規模TAGのスケーラビリティを向上させる二重知識蒸留フレームワークを提案する。 さらに,典型的なグラフ表現を記憶するインメモリ機構を導入し,メモリアンカーとインメモリリポジトリのメモリアンカーを整列させて,不変知識を統合することにより,モデルの一般化能力を向上させる。 大規模な実験により、SSTAGはクロスドメイン移行学習タスクの最先端モデルよりも優れ、例外的なスケーラビリティを実現し、競争性能を維持しながら推論コストを低減できることを示した。

関連論文リスト

• G-reasoner: Foundation Models for Unified Reasoning over Graph-structured Knowledge [88.82814893945077]
  大規模言語モデル(LLM)は複雑な推論において優れているが、静的かつ不完全なパラメトリック知識によって制限される。 最近のグラフ強化RAG (GraphRAG) は、このギャップを補足したグラフを構築し、LLMがそれらを推論できるようにする。 G-reasonerは、様々なグラフ構造化知識を推論するためにグラフと言語基盤モデルを統合した統合フレームワークである。
  論文  参考訳（メタデータ） (2025-09-29T04:38:12Z)
• Quantizing Text-attributed Graphs for Semantic-Structural Integration [6.721504414917793]
  テキスト分散グラフ(TAG)は、様々な領域にわたる複雑な関係をモデル化するための強力な表現として登場した。 大規模言語モデル(LLM)の台頭に伴い、グラフ学習に彼らの能力を活用することへの関心が高まっている。 凍結したコードブックを用いて,グラフ構造情報を離散トークンに直接量子化する,新たな自己教師型フレームワークSTAGを提案する。
  論文  参考訳（メタデータ） (2025-07-20T09:18:02Z)
• How to Make LLMs Strong Node Classifiers? [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端(SOTA)GNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• UniGraph: Learning a Unified Cross-Domain Foundation Model for Text-Attributed Graphs [30.635472655668078]
  Text-Attributed Graphs (TAG) は、さまざまなドメインにまたがる見えないグラフやタスクに一般化することができる。 本稿では,言語モデル (LM) とグラフニューラルネットワーク (GNN) をバックボーンネットワークとして,新しいケースドアーキテクチャを提案する。 本モデルの有効性を,未確認グラフの自己教師型表現学習,少数ショットインコンテキスト転送,ゼロショット転送で実証する。
  論文  参考訳（メタデータ） (2024-02-21T09:06:31Z)
• Multi-Level Graph Convolutional Network with Automatic Graph Learning for Hyperspectral Image Classification [63.56018768401328]
  HSI分類のための自動グラフ学習法(MGCN-AGL)を用いたマルチレベルグラフ畳み込みネットワーク(GCN)を提案する。 空間的に隣接する領域における重要度を特徴付けるために注意機構を利用することで、最も関連性の高い情報を適応的に組み込んで意思決定を行うことができる。 MGCN-AGLは局所的に生成した表現表現に基づいて画像領域間の長距離依存性を符号化する。
  論文  参考訳（メタデータ） (2020-09-19T09:26:20Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)
• Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
  本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。 提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-15T02:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。