論文の概要: GSTBench: A Benchmark Study on the Transferability of Graph Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2509.06975v1
• Date: Thu, 28 Aug 2025 19:13:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-14 20:41:04.928902
• Title: GSTBench: A Benchmark Study on the Transferability of Graph Self-Supervised Learning
• Title（参考訳）: GSTBench: グラフ自己監督学習の伝達性に関するベンチマークスタディ
• Authors: Yu Song, Zhigang Hua, Yan Xie, Jingzhe Liu, Bo Long, Hui Liu,
• Abstract要約: 自己教師付き学習(SSL)はグラフ表現学習において大きな可能性を秘めている。 既存のほとんどのグラフSSLメソッドは単一データセット設定で開発・評価されている。 GSTBenchは,グラフSSL方式の転送可能性を評価するための最初の体系的ベンチマークである。
• 参考スコア（独自算出の注目度）: 20.32550890936548
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) has shown great promise in graph representation learning. However, most existing graph SSL methods are developed and evaluated under a single-dataset setting, leaving their cross-dataset transferability largely unexplored and limiting their ability to leverage knowledge transfer and large-scale pretraining, factors that are critical for developing generalized intelligence beyond fitting training data. To address this gap and advance foundation model research for graphs, we present GSTBench, the first systematic benchmark for evaluating the transferability of graph SSL methods. We conduct large-scale pretraining on ogbn-papers100M and evaluate five representative SSL methods across a diverse set of target graphs. Our standardized experimental setup decouples confounding factors such as model architecture, dataset characteristics, and adaptation protocols, enabling rigorous comparisons focused solely on pretraining objectives. Surprisingly, we observe that most graph SSL methods struggle to generalize, with some performing worse than random initialization. In contrast, GraphMAE, a masked autoencoder approach, consistently improves transfer performance. We analyze the underlying factors that drive these differences and offer insights to guide future research on transferable graph SSL, laying a solid foundation for the "pretrain-then-transfer" paradigm in graph learning. Our code is available at https://github.com/SongYYYY/GSTBench.
• Abstract（参考訳）: 自己教師付き学習(SSL)はグラフ表現学習において大きな可能性を秘めている。 しかし、既存のほとんどのグラフSSLメソッドは単一データセット設定で開発・評価されており、そのクロスデータセット転送性はほとんど探索されておらず、知識伝達と大規模事前学習の能力が制限されている。 このギャップに対処し、グラフの基盤モデル研究を進めるため、グラフSSL方式の転送可能性を評価するための最初の体系的ベンチマークであるGSTBenchを提案する。 我々はogbn-papers100Mで大規模な事前トレーニングを行い、多様な対象グラフからなる5つの代表的なSSL手法を評価する。 我々は,モデルアーキテクチャ,データセット特性,適応プロトコルなどの共通要素を分離し,事前学習目的に焦点を絞った厳密な比較を可能にする。 驚くべきことに、ほとんどのグラフSSLメソッドは一般化に苦慮しており、いくつかはランダムな初期化よりもパフォーマンスが悪くなっている。 対照的に、マスク付きオートエンコーダアプローチであるGraphMAEは、転送性能を一貫して改善する。 我々はこれらの違いを駆動する基盤となる要因を分析し、グラフ学習における「事前訓練-then-transfer」パラダイムの基礎を築き、転送可能なグラフSSLの今後の研究を導くための洞察を提供する。 私たちのコードはhttps://github.com/SongYYYY/GSTBench.comから入手可能です。

関連論文リスト

• PyG-SSL: A Graph Self-Supervised Learning Toolkit [71.22547762704602]
  Graph Self-Supervised Learning (SSL)は近年,重要な研究領域として現れている。 これらのグラフSSLメソッドの顕著な成果にもかかわらず、その実装は初心者にとって大きな課題となっている。 PyG-SSLと呼ばれるグラフSSLツールキットは、PyTorch上に構築されており、さまざまなディープラーニングや科学計算バックエンドと互換性がある。
  論文  参考訳（メタデータ） (2024-12-30T18:32:05Z)
• Do Neural Scaling Laws Exist on Graph Self-Supervised Learning? [9.297227372861876]
  自己教師付き学習(SSL)は、大規模未ラベルデータの知識を効果的に活用することにより、NLPおよびCVドメインの基盤モデルを得るのに不可欠である。 グラフドメインの既存のSSLが、大規模な事前トレーニングでGraph Foundation Models(GFMs)を構築するためのスケーリング動作に従うことができるかどうかは、いまだ謎のままである。 本稿では,GFM開発における既存のSSL技術の実現可能性について検討し,新しい評価試行でグラフSSL設計の新たな方向性を開拓する。
  論文  参考訳（メタデータ） (2024-08-20T23:45:11Z)
• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• Visual Self-supervised Learning Scheme for Dense Prediction Tasks on X-ray Images [3.782392436834913]
  自己教師付き学習(SSL)は自然言語処理(NLP)においてかなりの進歩をもたらした しかし、既存のビジュアルSSLモデルにコントラスト学習を組み込むことは、しばしば監督対象を超越する、かなりの進歩をもたらした。 ここでは、セキュリティ検査X線画像を用いた密集予測タスクに着目し、提案モデルであるセグメントローカライゼーション(SegLoc)を評価する。 インスタンスローカライゼーション(InsLoc)モデルに基づいて、SegLocはコントラスト学習における重要な課題の1つ、すなわち、クエリ埋め込みの偽陰性ペアに対処する。
  論文  参考訳（メタデータ） (2023-10-12T15:42:17Z)
• Analyzing Data-Centric Properties for Contrastive Learning on Graphs [32.69353929886551]
  コントラスト学習(CL)のようなグラフSSLメソッドはどのように機能するかを検討する。 我々の研究は、実験的にも理論的にも、データ中心のプロパティがグラフSSLの強化戦略や学習パラダイムに与える影響を厳格に文脈化しています。
  論文  参考訳（メタデータ） (2022-08-04T17:58:37Z)
• Bringing Your Own View: Graph Contrastive Learning without Prefabricated Data Augmentations [94.41860307845812]
  Self-supervisionは最近、グラフ学習の新しいフロンティアに力を入れている。 GraphCLは、グラフデータ拡張のアドホックな手作業による選択によって反映されたプレハブ付きプリファブリックを使用する。 グラフ生成器のパラメータ空間における学習可能な連続前処理へと拡張した。 我々は、情報最小化(InfoMin)と情報ボトルネック(InfoBN)の2つの原則を利用して、学習した事前情報を規則化する。
  論文  参考訳（メタデータ） (2022-01-04T15:49:18Z)
• Graph-based Semi-supervised Learning: A Comprehensive Review [51.26862262550445]
  半教師付き学習(ssl)はラベル付きデータとラベルなしデータの両方を利用する能力があるため、実際非常に価値があります。 重要なSSLメソッドのクラスは、グラフベースの半教師付き学習(GSSL)メソッドに対応するグラフとしてデータを自然に表現することです。 GSSLメソッドは、構造のユニークさ、アプリケーションの普遍性、大規模データへのスケーラビリティのために、さまざまなドメインでその利点を実証しています。
  論文  参考訳（メタデータ） (2021-02-26T05:11:09Z)
• Contrastive and Generative Graph Convolutional Networks for Graph-based Semi-Supervised Learning [64.98816284854067]
  グラフベースのSemi-Supervised Learning (SSL)は、少数のラベル付きデータのラベルをグラフ経由で残りの巨大なラベル付きデータに転送することを目的としている。 本稿では,データ類似性とグラフ構造を両立させ,監視信号の強化を図るため,新しいGCNベースのSSLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-15T13:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。