論文の概要: Do Neural Scaling Laws Exist on Graph Self-Supervised Learning?

• arxiv url: http://arxiv.org/abs/2408.11243v2
• Date: Mon, 26 Aug 2024 18:11:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 18:28:54.284430
• Title: Do Neural Scaling Laws Exist on Graph Self-Supervised Learning?
• Title（参考訳）: グラフ自己監視学習にニューラルスケーリング法は存在するか?
• Authors: Qian Ma, Haitao Mao, Jingzhe Liu, Zhehua Zhang, Chunlin Feng, Yu Song, Yihan Shao, Yao Ma,
• Abstract要約: 自己教師付き学習(SSL)は、大規模未ラベルデータの知識を効果的に活用することにより、NLPおよびCVドメインの基盤モデルを得るのに不可欠である。 グラフドメインの既存のSSLが、大規模な事前トレーニングでGraph Foundation Models(GFMs)を構築するためのスケーリング動作に従うことができるかどうかは、いまだ謎のままである。 本稿では,GFM開発における既存のSSL技術の実現可能性について検討し,新しい評価試行でグラフSSL設計の新たな方向性を開拓する。
• 参考スコア（独自算出の注目度）: 9.297227372861876
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning~(SSL) is essential to obtain foundation models in NLP and CV domains via effectively leveraging knowledge in large-scale unlabeled data. The reason for its success is that a suitable SSL design can help the model to follow the neural scaling law, i.e., the performance consistently improves with increasing model and dataset sizes. However, it remains a mystery whether existing SSL in the graph domain can follow the scaling behavior toward building Graph Foundation Models~(GFMs) with large-scale pre-training. In this study, we examine whether existing graph SSL techniques can follow the neural scaling behavior with the potential to serve as the essential component for GFMs. Our benchmark includes comprehensive SSL technique implementations with analysis conducted on both the conventional SSL setting and many new settings adopted in other domains. Surprisingly, despite the SSL loss continuously decreasing, no existing graph SSL techniques follow the neural scaling behavior on the downstream performance. The model performance only merely fluctuates on different data scales and model scales. Instead of the scales, the key factors influencing the performance are the choices of model architecture and pretext task design. This paper examines existing SSL techniques for the feasibility of Graph SSL techniques in developing GFMs and opens a new direction for graph SSL design with the new evaluation prototype. Our code implementation is available online to ease reproducibility on https://github.com/GraphSSLScaling/GraphSSLScaling.
• Abstract（参考訳）: 自己教師付き学習~(SSL)は、大規模未ラベルデータの知識を効果的に活用することにより、NLPおよびCVドメインの基盤モデルを得るのに不可欠である。 その成功の理由は、適切なSSL設計がモデルがニューラルスケーリング法則に従うのに役立つためである。 しかし、グラフドメインの既存のSSLが、大規模な事前トレーニングでGraph Foundation Models~(GFMs)を構築するためのスケーリング動作に従うことができるかどうかはまだ謎のままである。 本研究では,既存のグラフSSL技術が,GFMの不可欠なコンポーネントとして機能する可能性を備えた,ニューラルネットワークのスケーリング動作に追従できるかどうかを検討する。 我々のベンチマークには、従来のSSL設定と他のドメインで採用されている多くの新しい設定の両方で分析された包括的なSSL技術実装が含まれている。 驚くべきことに、SSLの損失が継続的に減少しているにも関わらず、既存のグラフSSL技術は下流のパフォーマンスにおけるニューラルネットワークのスケーリング動作に従わない。 モデルパフォーマンスは、異なるデータスケールとモデルスケールでのみ変動する。 スケールの代わりに、パフォーマンスに影響を与える重要な要因は、モデルアーキテクチャとプレテキストタスク設計の選択である。 本稿では,GFM開発における既存のSSL技術の実現可能性について検討し,新しい評価試行でグラフSSL設計の新たな方向性を開拓する。 私たちのコード実装は、https://github.com/GraphSSLScaling/GraphSSLScalingの再現性を容易にするために、オンラインで公開されています。

関連論文リスト

• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• Erasing the Bias: Fine-Tuning Foundation Models for Semi-Supervised Learning [4.137391543972184]
  半教師付き学習(SSL)は目覚ましい進歩をみせており、多くの方法のバリエーションをもたらしている。 本稿では,FinSSLという新しいSSLアプローチを提案する。 我々は、FineSSLが複数のベンチマークデータセットにSSLの新たな状態を設定し、トレーニングコストを6倍以上削減し、さまざまな微調整と現代的なSSLアルゴリズムをシームレスに統合できることを実証した。
  論文  参考訳（メタデータ） (2024-05-20T03:33:12Z)
• Every Node is Different: Dynamically Fusing Self-Supervised Tasks for Attributed Graph Clustering [59.45743537594695]
  グラフクラスタリングのための動的Fusing Self-Supervised Learning (DyFSS)を提案する。 DyFSSは、ゲーティングネットワークから派生した異なる重みを使って、多様なSSLタスクから抽出された特徴を融合する。 実験では、DyFSSは最先端のマルチタスクSSLメソッドよりも精度が最大8.66%向上している。
  論文  参考訳（メタデータ） (2024-01-12T14:24:10Z)
• Understanding Representation Learnability of Nonlinear Self-Supervised Learning [13.965135660149212]
  自己教師付き学習(SSL)は、多くの下流タスクにおいて、データ表現の学習性を実証的に示す。 本論文は非線形SSLモデルの学習結果を精度良く解析した最初の論文である。
  論文  参考訳（メタデータ） (2024-01-06T13:23:26Z)
• OpenGSL: A Comprehensive Benchmark for Graph Structure Learning [40.50100033304329]
  グラフ構造学習(GSL)の最初の包括的なベンチマークであるOpenGSLを紹介する。 OpenGSLは、様々な一般的なデータセットで評価することで、最先端のGSLメソッドの公平な比較を可能にする。 学習した構造のホモフィリィとタスクパフォーマンスとの間に有意な相関は見られず、共通の信念に挑戦する。
  論文  参考訳（メタデータ） (2023-06-17T07:22:25Z)
• DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
  我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。 提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
  論文  参考訳（メタデータ） (2022-03-17T02:38:49Z)
• Graph-based Semi-supervised Learning: A Comprehensive Review [51.26862262550445]
  半教師付き学習(ssl)はラベル付きデータとラベルなしデータの両方を利用する能力があるため、実際非常に価値があります。 重要なSSLメソッドのクラスは、グラフベースの半教師付き学習(GSSL)メソッドに対応するグラフとしてデータを自然に表現することです。 GSSLメソッドは、構造のユニークさ、アプリケーションの普遍性、大規模データへのスケーラビリティのために、さまざまなドメインでその利点を実証しています。
  論文  参考訳（メタデータ） (2021-02-26T05:11:09Z)
• Self-Supervised Learning of Graph Neural Networks: A Unified Review [50.71341657322391]
  ラベルなしサンプルを多用する新たなパラダイムとして,自己教師型学習が登場している。 SSLを用いたグラフニューラルネットワーク(GNNs)のトレーニング方法の統一レビューを提供します。 gnnに対するssl手法の処理は,様々な手法の類似性と相違に光を当て,新しい手法やアルゴリズムの開発段階を定めている。
  論文  参考訳（メタデータ） (2021-02-22T03:43:45Z)
• Self-supervised Learning on Graphs: Deep Insights and New Direction [66.78374374440467]
  自己教師付き学習(SSL)は、ラベルのないデータにドメイン固有のプレテキストタスクを作成することを目的としている。 グラフニューラルネットワーク(GNN)の形でのグラフ領域へのディープラーニングの一般化への関心が高まっている。
  論文  参考訳（メタデータ） (2020-06-17T20:30:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。