論文の概要: Self-supervised Learning on Graphs: Deep Insights and New Direction

• arxiv url: http://arxiv.org/abs/2006.10141v1
• Date: Wed, 17 Jun 2020 20:30:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 19:50:34.861975
• Title: Self-supervised Learning on Graphs: Deep Insights and New Direction
• Title（参考訳）: グラフによる自己教師型学習 - Deep Insightsと新しい方向性
• Authors: Wei Jin, Tyler Derr, Haochen Liu, Yiqi Wang, Suhang Wang, Zitao Liu, Jiliang Tang
• Abstract要約: 自己教師付き学習(SSL)は、ラベルのないデータにドメイン固有のプレテキストタスクを作成することを目的としている。 グラフニューラルネットワーク(GNN)の形でのグラフ領域へのディープラーニングの一般化への関心が高まっている。
• 参考スコア（独自算出の注目度）: 66.78374374440467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of deep learning notoriously requires larger amounts of costly annotated data. This has led to the development of self-supervised learning (SSL) that aims to alleviate this limitation by creating domain specific pretext tasks on unlabeled data. Simultaneously, there are increasing interests in generalizing deep learning to the graph domain in the form of graph neural networks (GNNs). GNNs can naturally utilize unlabeled nodes through the simple neighborhood aggregation that is unable to thoroughly make use of unlabeled nodes. Thus, we seek to harness SSL for GNNs to fully exploit the unlabeled data. Different from data instances in the image and text domains, nodes in graphs present unique structure information and they are inherently linked indicating not independent and identically distributed (or i.i.d.). Such complexity is a double-edged sword for SSL on graphs. On the one hand, it determines that it is challenging to adopt solutions from the image and text domains to graphs and dedicated efforts are desired. On the other hand, it provides rich information that enables us to build SSL from a variety of perspectives. Thus, in this paper, we first deepen our understandings on when, why, and which strategies of SSL work with GNNs by empirically studying numerous basic SSL pretext tasks on graphs. Inspired by deep insights from the empirical studies, we propose a new direction SelfTask to build advanced pretext tasks that are able to achieve state-of-the-art performance on various real-world datasets. The specific experimental settings to reproduce our results can be found in \url{https://github.com/ChandlerBang/SelfTask-GNN}.
• Abstract（参考訳）: ディープラーニングの成功は、大量の高価な注釈付きデータを必要とすることで悪名高い。 これにより、ラベルのないデータにドメイン固有のプレテキストタスクを作成することで、この制限を緩和することを目的とした、自己教師付き学習(SSL)の開発につながった。 同時に、グラフニューラルネットワーク(GNN)の形でグラフ領域にディープラーニングを一般化することへの関心が高まっている。 GNNは、ラベルのないノードを十分に利用できない単純な近傍集約を通じて、ラベルのないノードを自然に利用することができる。 そこで我々は、GNNのSSLを利用して、ラベルのないデータを完全に活用しようとしている。 画像領域やテキスト領域のデータインスタンスと異なり、グラフのノードは固有の構造情報を示し、それらは本質的に独立ではなく、同一の分散(または同一の分散)を示す。 このような複雑さは、グラフ上のsslの二重刃剣である。 一方、画像やテキストドメインからグラフへのソリューションの採用は困難であり、専用の取り組みが望まれていると判断する。 一方で、さまざまな観点からSSLを構築するための豊富な情報を提供しています。 そこで本稿では,グラフ上でのSSLプリテキストタスクを実証的に研究することにより,SSLがいつ,なぜ,どの戦略でGNNで動作するのかを,まず理解を深める。 実証研究から深い洞察を得て、さまざまな実世界のデータセットで最先端のパフォーマンスを達成できる高度なプレテキストタスクを構築するための、新たな方向を提案する。 結果を再現するための具体的な実験設定は、 \url{https://github.com/ChandlerBang/SelfTask-GNN} にある。

関連論文リスト

• Loss-aware Curriculum Learning for Heterogeneous Graph Neural Networks [30.333265803394998]
  異種グラフニューラルネットワーク(GNN)の性能向上のためのカリキュラム学習手法の適用について検討する。 データの品質をよりよく分類するために、データの全ノードの品質を測定するLTSと呼ばれる損失認識トレーニングスケジュールを設計する。 本研究は,複雑なグラフ構造データ解析のためのHGNNの能力向上のためのカリキュラム学習の有効性を示すものである。
  論文  参考訳（メタデータ） (2024-02-29T05:44:41Z)
• Every Node is Different: Dynamically Fusing Self-Supervised Tasks for Attributed Graph Clustering [59.45743537594695]
  グラフクラスタリングのための動的Fusing Self-Supervised Learning (DyFSS)を提案する。 DyFSSは、ゲーティングネットワークから派生した異なる重みを使って、多様なSSLタスクから抽出された特徴を融合する。 実験では、DyFSSは最先端のマルチタスクSSLメソッドよりも精度が最大8.66%向上している。
  論文  参考訳（メタデータ） (2024-01-12T14:24:10Z)
• OpenGSL: A Comprehensive Benchmark for Graph Structure Learning [40.50100033304329]
  グラフ構造学習(GSL)の最初の包括的なベンチマークであるOpenGSLを紹介する。 OpenGSLは、様々な一般的なデータセットで評価することで、最先端のGSLメソッドの公平な比較を可能にする。 学習した構造のホモフィリィとタスクパフォーマンスとの間に有意な相関は見られず、共通の信念に挑戦する。
  論文  参考訳（メタデータ） (2023-06-17T07:22:25Z)
• Learning with Few Labeled Nodes via Augmented Graph Self-Training [36.97506256446519]
  GST(Augmented Graph Self-Training)フレームワークは、分離されたGSTバックボーンの上に2つの新しい(構造的および意味的な)拡張モジュールで構築されている。 この新たなフレームワークが,ラベル付きノードを極端に限定した効率的なグラフ予測モデルを学習できるかどうかを検討する。
  論文  参考訳（メタデータ） (2022-08-26T03:36:01Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• Jointly Learnable Data Augmentations for Self-Supervised GNNs [0.311537581064266]
  本稿では,グラフ表現学習のための自己教師型学習手法であるGraphSurgeonを提案する。 学習可能なデータ拡張の柔軟性を活用し、埋め込み空間で強化する新しい戦略を導入する。 その結果,GraphSurgeonは6つのSOTA半教師付きベースラインに匹敵し,ノード分類タスクにおける5つのSOTA自己教師付きベースラインに匹敵することがわかった。
  論文  参考訳（メタデータ） (2021-08-23T21:33:12Z)
• Graph Self-Supervised Learning: A Survey [73.86209411547183]
  SSL(Self-supervised Learning)は、グラフデータの有望でトレンドの学習パラダイムとなっています。 グラフデータにSSL技術を用いた既存のアプローチをタイムリーかつ包括的にレビューします。
  論文  参考訳（メタデータ） (2021-02-27T03:04:21Z)
• Contrastive and Generative Graph Convolutional Networks for Graph-based Semi-Supervised Learning [64.98816284854067]
  グラフベースのSemi-Supervised Learning (SSL)は、少数のラベル付きデータのラベルをグラフ経由で残りの巨大なラベル付きデータに転送することを目的としている。 本稿では,データ類似性とグラフ構造を両立させ,監視信号の強化を図るため,新しいGCNベースのSSLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-15T13:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。