論文の概要: MA-GCL: Model Augmentation Tricks for Graph Contrastive Learning
- arxiv url: http://arxiv.org/abs/2212.07035v1
- Date: Wed, 14 Dec 2022 05:04:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-15 15:19:44.228764
- Title: MA-GCL: Model Augmentation Tricks for Graph Contrastive Learning
- Title（参考訳）: MA-GCL:グラフコントラスト学習のためのモデル拡張トリック
- Authors: Xumeng Gong, Cheng Yang, Chuan Shi
- Abstract要約: グラフコントラスト学習(GCL)のための3つの簡易実装モデル拡張手法を提案する。
具体的には,GCLに対して,非対称,ランダム,シャッフルという,実装が容易なモデル拡張トリックを3つ提示する。
実験の結果,MA-GCLはノード分類ベンチマークで最先端の性能を達成できることがわかった。
- 参考スコア（独自算出の注目度）: 41.963242524220654
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive learning (CL), which can extract the information shared between
different contrastive views, has become a popular paradigm for vision
representation learning. Inspired by the success in computer vision, recent
work introduces CL into graph modeling, dubbed as graph contrastive learning
(GCL). However, generating contrastive views in graphs is more challenging than
that in images, since we have little prior knowledge on how to significantly
augment a graph without changing its labels. We argue that typical data
augmentation techniques (e.g., edge dropping) in GCL cannot generate diverse
enough contrastive views to filter out noises. Moreover, previous GCL methods
employ two view encoders with exactly the same neural architecture and tied
parameters, which further harms the diversity of augmented views. To address
this limitation, we propose a novel paradigm named model augmented GCL
(MA-GCL), which will focus on manipulating the architectures of view encoders
instead of perturbing graph inputs. Specifically, we present three
easy-to-implement model augmentation tricks for GCL, namely asymmetric, random
and shuffling, which can respectively help alleviate high- frequency noises,
enrich training instances and bring safer augmentations. All three tricks are
compatible with typical data augmentations. Experimental results show that
MA-GCL can achieve state-of-the-art performance on node classification
benchmarks by applying the three tricks on a simple base model. Extensive
studies also validate our motivation and the effectiveness of each trick.
(Code, data and appendix are available at https://github.com/GXM1141/MA-GCL. )
- Abstract（参考訳）: 異なるコントラストビュー間で共有される情報を抽出できるコントラスト学習(cl)は、視覚表現学習の一般的なパラダイムとなっている。
コンピュータビジョンの成功に触発された最近の研究は、グラフコントラスト学習(GCL)と呼ばれるグラフモデリングにCLを導入している。
しかしながら、グラフにおける対比ビューの生成は、ラベルを変更することなくグラフを著しく拡張する方法に関する事前知識が乏しいため、画像よりも難しい。
我々は、gclにおける典型的なデータ拡張技術(例えばエッジドロップ)はノイズをフィルタするのに十分なコントラストビューを生成することができないと主張している。
さらに、従来のGCL手法では2つのビューエンコーダを使用しており、全く同じニューラルアーキテクチャと結びついたパラメータで、拡張ビューの多様性を損なう。
この制限に対処するため、グラフ入力の摂動ではなくビューエンコーダのアーキテクチャを操作することに焦点を当てたモデル拡張GCL(MA-GCL)を提案する。
具体的には,gclの非対称,ランダム,シャッフルという,実装が容易な3つのモデル拡張手法を提案する。
3つのトリックはすべて、典型的なデータ拡張と互換性がある。
実験の結果,MA-GCLは単純なベースモデルに3つのトリックを適用することで,ノード分類ベンチマークの最先端性能を達成できることがわかった。
大規模な研究は、我々のモチベーションとそれぞれのトリックの有効性を検証する。
(コード、データ、付録はhttps://github.com/GXM1141/MA-GCL)。
関連論文リスト
- GRE^2-MDCL: Graph Representation Embedding Enhanced via Multidimensional Contrastive Learning [0.0]
グラフ表現学習は、ノードをベクトル表現にマッピングする際にグラフトポロジを保存する強力なツールとして登場した。
現在のグラフニューラルネットワークモデルは、広範なラベル付きデータを必要とするという課題に直面している。
多次元コントラスト学習によるグラフ表現埋め込みを提案する。
論文 参考訳（メタデータ） (2024-09-12T03:09:05Z) - L^2CL: Embarrassingly Simple Layer-to-Layer Contrastive Learning for Graph Collaborative Filtering [33.165094795515785]
グラフニューラルネットワーク(GNN)は、最近、協調フィルタリングにおいて近隣の信号をモデル化するための効果的なアプローチとして登場した。
L2CLは、異なるレイヤの表現を対比する、原則的なレイヤ間コントラスト学習フレームワークである。
その結果,L2CLは,一対一のコントラスト学習パラダイムのみを用いて,固有の意味構造をキャプチャし,ノード表現の質を向上させることができることがわかった。
論文 参考訳（メタデータ） (2024-07-19T12:45:21Z) - Graph Contrastive Learning with Cohesive Subgraph Awareness [34.76555185419192]
グラフコントラスト学習(GCL)は、多様なグラフの表現を学習するための最先端の戦略として登場した。
グラフの増大と学習過程におけるサブグラフの認識は、GCLの性能を高める可能性があると論じる。
我々はCTAugと呼ばれる新しい統合フレームワークを提案し、結合認識を様々な既存のGCLメカニズムにシームレスに統合する。
論文 参考訳（メタデータ） (2024-01-31T03:51:30Z) - HomoGCL: Rethinking Homophily in Graph Contrastive Learning [64.85392028383164]
HomoGCL はモデルに依存しないフレームワークで、近隣のノードに固有の意味を持つ正の集合を拡大する。
我々は、HomoGCLが6つの公開データセットにまたがって複数の最先端結果をもたらすことを示す。
論文 参考訳（メタデータ） (2023-06-16T04:06:52Z) - LightGCL: Simple Yet Effective Graph Contrastive Learning for
Recommendation [9.181689366185038]
グラフニューラルクラスタリングネットワーク(GNN)は、グラフベースのレコメンデータシステムのための強力な学習手法である。
本稿では,単純なグラフコントラスト学習パラダイムであるLightGCLを提案する。
論文 参考訳（メタデータ） (2023-02-16T10:16:21Z) - Adversarial Learning Data Augmentation for Graph Contrastive Learning in
Recommendation [56.10351068286499]
グラフコントラスト学習のための学習可能なデータ拡張法(LDA-GCL)を提案する。
提案手法は,InfoMin と InfoMax の原則に従うデータ強化学習とグラフコントラスト学習を含む。
本手法は,データ拡張とユーザやアイテムの効果的な表現を学習するために,対向損失関数を最適化する。
論文 参考訳（メタデータ） (2023-02-05T06:55:51Z) - Revisiting Graph Contrastive Learning from the Perspective of Graph
Spectrum [91.06367395889514]
グラフ拡張によるノード表現の学習には,GCL(Graph Contrastive Learning)が注目されている。
GCLとグラフスペクトルの関連性を確立することで,これらの疑問に答える。
汎用かつGCLフレンドリなプラグインであるスペクトルグラフコントラスト学習モジュール(SpCo)を提案する。
論文 参考訳（メタデータ） (2022-10-05T15:32:00Z) - Graph Contrastive Learning with Personalized Augmentation [17.714437631216516]
グラフの教師なし表現を学習するための有効なツールとして,グラフコントラスト学習(GCL)が登場した。
我々は、textitPersonalized textitAugmentation (GPA) を用いたtextitGraph コントラスト学習と呼ばれる原則付きフレームワークを提案する。
GPAは、学習可能な拡張セレクタを介して、そのトポロジとノード属性に基づいて、各グラフの調整された拡張戦略を推論する。
論文 参考訳（メタデータ） (2022-09-14T11:37:48Z) - GraphCoCo: Graph Complementary Contrastive Learning [65.89743197355722]
グラフコントラスト学習(GCL)は、手作業によるアノテーションの監督なしに、グラフ表現学習(GRL)において有望な性能を示した。
本稿では,この課題に対処するため,グラフココというグラフ補完型コントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2022-03-24T02:58:36Z) - Graph Contrastive Learning with Augmentations [109.23158429991298]
グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。
我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
論文 参考訳（メタデータ） (2020-10-22T20:13:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。