論文の概要: Jointly Learnable Data Augmentations for Self-Supervised GNNs
- arxiv url: http://arxiv.org/abs/2108.10420v1
- Date: Mon, 23 Aug 2021 21:33:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-25 21:58:34.131190
- Title: Jointly Learnable Data Augmentations for Self-Supervised GNNs
- Title（参考訳）: 自己監督型GNNのための共同学習型データ拡張
- Authors: Zekarias T. Kefato and Sarunas Girdzijauskas and Hannes St\"ark
- Abstract要約: 本稿では,グラフ表現学習のための自己教師型学習手法であるGraphSurgeonを提案する。
学習可能なデータ拡張の柔軟性を活用し、埋め込み空間で強化する新しい戦略を導入する。
その結果,GraphSurgeonは6つのSOTA半教師付きベースラインに匹敵し,ノード分類タスクにおける5つのSOTA自己教師付きベースラインに匹敵することがわかった。
- 参考スコア（独自算出の注目度）: 0.311537581064266
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-supervised Learning (SSL) aims at learning representations of objects
without relying on manual labeling. Recently, a number of SSL methods for graph
representation learning have achieved performance comparable to SOTA
semi-supervised GNNs. A Siamese network, which relies on data augmentation, is
the popular architecture used in these methods. However, these methods rely on
heuristically crafted data augmentation techniques. Furthermore, they use
either contrastive terms or other tricks (e.g., asymmetry) to avoid trivial
solutions that can occur in Siamese networks. In this study, we propose,
GraphSurgeon, a novel SSL method for GNNs with the following features. First,
instead of heuristics we propose a learnable data augmentation method that is
jointly learned with the embeddings by leveraging the inherent signal encoded
in the graph. In addition, we take advantage of the flexibility of the
learnable data augmentation and introduce a new strategy that augments in the
embedding space, called post augmentation. This strategy has a significantly
lower memory overhead and run-time cost. Second, as it is difficult to sample
truly contrastive terms, we avoid explicit negative sampling. Third, instead of
relying on engineering tricks, we use a scalable constrained optimization
objective motivated by Laplacian Eigenmaps to avoid trivial solutions. To
validate the practical use of GraphSurgeon, we perform empirical evaluation
using 14 public datasets across a number of domains and ranging from small to
large scale graphs with hundreds of millions of edges. Our finding shows that
GraphSurgeon is comparable to six SOTA semi-supervised and on par with five
SOTA self-supervised baselines in node classification tasks. The source code is
available at https://github.com/zekarias-tilahun/graph-surgeon.
- Abstract（参考訳）: 自己教師付き学習(SSL)は、手動ラベリングに頼ることなくオブジェクトの表現を学習することを目的としている。
近年,グラフ表現学習のためのSSLメソッドがSOTA半教師付きGNNに匹敵する性能を実現している。
siameseネットワークはデータ拡張に依存しており、これらの手法で使われる一般的なアーキテクチャである。
しかし、これらの手法はヒューリスティックなデータ拡張技術に依存している。
さらに、コントラスト項または他のトリック(例えば非対称性)を用いて、シームズネットワークで起こりうる自明な解を避ける。
本研究では,GNNのための新しいSSL方式であるGraphSurgeonを提案する。
まず、ヒューリスティックスの代わりに、グラフにエンコードされた固有の信号を利用して、埋め込みと共同で学習可能なデータ拡張手法を提案する。
さらに,学習可能なデータ拡張の柔軟性を生かして,埋め込み空間を補完する新たな戦略であるpost additionationを導入する。
この戦略は、メモリオーバーヘッドとランタイムコストを大幅に削減する。
第二に、真に対照的な用語をサンプリングすることは困難であるため、明示的な負のサンプリングを避ける。
第3に、エンジニアリングのトリックに頼るのではなく、ラプラシアン固有マップに動機づけられたスケーラブルな制約付き最適化目標を使用して、自明なソリューションを避けています。
graphsurgeonの実用性を検証するために、複数のドメインにまたがる14のパブリックデータセットと、数十億のエッジを持つ小規模から大規模のグラフを用いて、実証的な評価を行う。
その結果,GraphSurgeonは6つのSOTA半教師付きベースラインと同等であり,ノード分類タスクにおける5つのSOTA自己教師付きベースラインと同等であることがわかった。
ソースコードはhttps://github.com/zekarias-tilahun/graph-surgeonで入手できる。
関連論文リスト
- Efficient Heterogeneous Graph Learning via Random Projection [65.65132884606072]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文 参考訳（メタデータ） (2023-10-23T01:25:44Z) - GRAPES: Learning to Sample Graphs for Scalable Graph Neural Networks [2.4175455407547015]
グラフニューラルネットワークは、隣人からの情報を集約することでノードを表現することを学ぶ。
いくつかの既存手法では、ノードの小さなサブセットをサンプリングし、GNNをもっと大きなグラフにスケールすることで、この問題に対処している。
本稿では,GNNのトレーニングに不可欠なノードの集合を識別する適応サンプリング手法であるGRAPESを紹介する。
論文 参考訳（メタデータ） (2023-10-05T09:08:47Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳（メタデータ） (2023-08-03T07:00:04Z) - Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。
我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
論文 参考訳（メタデータ） (2022-10-27T16:00:45Z) - SizeShiftReg: a Regularization Method for Improving Size-Generalization
in Graph Neural Networks [5.008597638379227]
グラフニューラルネットワーク(GNN)は,グラフ分類のデファクトモデルとなっている。
テストデータへのアクセスを必要とせずに,任意のGNNに適用可能な正規化戦略を提案する。
我々の正規化は、粗い手法を用いてトレーニンググラフのサイズの変化をシミュレートする考え方に基づいている。
論文 参考訳（メタデータ） (2022-07-16T09:50:45Z) - Graph Contrastive Learning with Augmentations [109.23158429991298]
グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。
我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
論文 参考訳（メタデータ） (2020-10-22T20:13:43Z) - Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。
FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
論文 参考訳（メタデータ） (2020-10-19T21:51:47Z) - Self-supervised Learning on Graphs: Deep Insights and New Direction [66.78374374440467]
自己教師付き学習(SSL)は、ラベルのないデータにドメイン固有のプレテキストタスクを作成することを目的としている。
グラフニューラルネットワーク(GNN)の形でのグラフ領域へのディープラーニングの一般化への関心が高まっている。
論文 参考訳（メタデータ） (2020-06-17T20:30:04Z) - Isometric Graph Neural Networks [5.306334746787569]
我々はIsometric Graph Neural Networks (IGNN) の学習手法を提案する。
IGNNは、任意のGNNアルゴリズムがノード間の距離を反映した表現を生成するために、入力表現空間と損失関数を変更する必要がある。
我々はケンドールのタウ(KT)の400%まで、一貫した実質的な改善を観察する。
論文 参考訳（メタデータ） (2020-06-16T22:51:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。