論文の概要: Self-supervised Graph Neural Networks without explicit negative sampling
- arxiv url: http://arxiv.org/abs/2103.14958v2
- Date: Tue, 30 Mar 2021 12:04:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-01 13:51:07.348135
- Title: Self-supervised Graph Neural Networks without explicit negative sampling
- Title（参考訳）: 明示的な負サンプリングを伴わない自己教師付きグラフニューラルネットワーク
- Authors: Zekarias T. Kefato and Sarunas Girdzijauskas
- Abstract要約: 本論文では,明示的な対比項に頼らずに,新しい対比自己監視グラフニューラルネットワーク(GNN)であるSelfGNNを提案する。
性能を犠牲にすることなく、暗黙の対照的な項を導入するバッチ正規化を利用する。
公開されている7つの実世界のデータに対する実証的な評価は、SelfGNNは強力であり、SOTAが管理するGNNに匹敵する性能をもたらすことを示している。
- 参考スコア（独自算出の注目度）: 0.36804038214708557
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real world data is mostly unlabeled or only few instances are labeled.
Manually labeling data is a very expensive and daunting task. This calls for
unsupervised learning techniques that are powerful enough to achieve comparable
results as semi-supervised/supervised techniques. Contrastive self-supervised
learning has emerged as a powerful direction, in some cases outperforming
supervised techniques. In this study, we propose, SelfGNN, a novel contrastive
self-supervised graph neural network (GNN) without relying on explicit
contrastive terms. We leverage Batch Normalization, which introduces implicit
contrastive terms, without sacrificing performance. Furthermore, as data
augmentation is key in contrastive learning, we introduce four feature
augmentation (FA) techniques for graphs. Though graph topological augmentation
(TA) is commonly used, our empirical findings show that FA perform as good as
TA. Moreover, FA incurs no computational overhead, unlike TA, which often has
O(N^3) time complexity, N-number of nodes. Our empirical evaluation on seven
publicly available real-world data shows that, SelfGNN is powerful and leads to
a performance comparable with SOTA supervised GNNs and always better than SOTA
semi-supervised and unsupervised GNNs. The source code is available at
https://github.com/zekarias-tilahun/SelfGNN.
- Abstract（参考訳）: 実世界のデータはラベル付けされていないか、わずかしかラベル付けされていない。
手動でデータをラベリングするのは、非常に高価で厄介な作業です。
これにより、半教師付き/教師付き技術と同等の結果が得られるほど強力な教師なし学習技術が要求される。
対照的な自己指導型学習は強力な方向として現れており、場合によっては指導型技術よりも優れている。
本研究では,明示的なコントラスト項に依存しない,新しいコントラスト型自己教師付きグラフニューラルネットワーク (gnn) であるselfgnnを提案する。
性能を犠牲にすることなく、暗黙の対照的な項を導入するバッチ正規化を利用する。
さらに,データ拡張がコントラスト学習の鍵となるため,グラフに4つの機能拡張(fa)技術を導入する。
グラフトポロジカル・アジュメンテーション(TA)は一般的に用いられているが, 実験の結果, FAはTAと同程度の性能を示した。
さらに、FA は TA とは異なり計算オーバーヘッドを伴わず、O(N^3) の時間複雑性、N 個のノードを持つことが多い。
公開されている7つの実世界のデータに対する実証的な評価は、SelfGNNは強力で、SOTAが監督するGNNに匹敵する性能を示し、常にSOTAが監督するGNNよりも優れていることを示している。
ソースコードはhttps://github.com/zekarias-tilahun/SelfGNNで公開されている。
関連論文リスト
- Breaking the Entanglement of Homophily and Heterophily in
Semi-supervised Node Classification [25.831508778029097]
統計的観点から,ノードプロファイルとトポロジの関係を定量化するAMUDを提案する。
また、AMUDのための新しい有向グラフ学習パラダイムとしてADPAを提案する。
論文 参考訳（メタデータ） (2023-12-07T07:54:11Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳（メタデータ） (2023-09-26T13:09:43Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳（メタデータ） (2023-08-03T07:00:04Z) - Jointly Learnable Data Augmentations for Self-Supervised GNNs [0.311537581064266]
本稿では,グラフ表現学習のための自己教師型学習手法であるGraphSurgeonを提案する。
学習可能なデータ拡張の柔軟性を活用し、埋め込み空間で強化する新しい戦略を導入する。
その結果,GraphSurgeonは6つのSOTA半教師付きベースラインに匹敵し,ノード分類タスクにおける5つのSOTA自己教師付きベースラインに匹敵することがわかった。
論文 参考訳（メタデータ） (2021-08-23T21:33:12Z) - Shift-Robust GNNs: Overcoming the Limitations of Localized Graph
Training data [52.771780951404565]
Shift-Robust GNN (SR-GNN) は、バイアス付きトレーニングデータとグラフの真の推論分布の分布差を考慮に入れた設計である。
SR-GNNが他のGNNベースラインを精度良く上回り、バイアス付きトレーニングデータから生じる負の効果の少なくとも40%を排除していることを示す。
論文 参考訳（メタデータ） (2021-08-02T18:00:38Z) - Combining Label Propagation and Simple Models Out-performs Graph Neural
Networks [52.121819834353865]
多くの標準的なトランスダクティブノード分類ベンチマークでは、最先端のGNNの性能を超えたり、一致させることができる。
これをC&S(Correct and Smooth)と呼ぶ。
我々のアプローチは、様々なベンチマークで最先端のGNNの性能を上回るか、ほぼ一致している。
論文 参考訳（メタデータ） (2020-10-27T02:10:52Z) - Graph Contrastive Learning with Augmentations [109.23158429991298]
グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。
我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
論文 参考訳（メタデータ） (2020-10-22T20:13:43Z) - GPT-GNN: Generative Pre-Training of Graph Neural Networks [93.35945182085948]
グラフニューラルネットワーク(GNN)は、グラフ構造化データのモデリングにおいて強力であることが示されている。
生成事前学習によりGNNを初期化するためのGPT-GNNフレームワークを提案する。
GPT-GNNは、様々な下流タスクにおいて、事前トレーニングを最大9.1%行うことなく、最先端のGNNモデルを大幅に上回ることを示す。
論文 参考訳（メタデータ） (2020-06-27T20:12:33Z) - Graph Random Neural Network for Semi-Supervised Learning on Graphs [36.218650686748546]
グラフニューラルネットワーク(GNN)が広範に研究されているグラフ上での半教師あり学習の問題について検討する。
既存のGNNの多くは、ラベル付きノードが不足している場合、本質的に過度なスムース、非ロバスト性、および弱一般化の制限に悩まされている。
本稿では,これらの問題に対処するシンプルなフレームワークである Graph R NEURAL NETWORKS (GRAND) を提案する。
論文 参考訳（メタデータ） (2020-05-22T09:40:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。