論文の概要: SimGRACE: A Simple Framework for Graph Contrastive Learning without Data
Augmentation
- arxiv url: http://arxiv.org/abs/2202.03104v3
- Date: Mon, 20 Mar 2023 14:51:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 05:13:04.330609
- Title: SimGRACE: A Simple Framework for Graph Contrastive Learning without Data
Augmentation
- Title（参考訳）: SimGRACE: データ拡張のないグラフコントラスト学習のためのシンプルなフレームワーク
- Authors: Jun Xia, Lirong Wu, Jintao Chen, Bozhen Hu, Stan Z.Li
- Abstract要約: 我々は、下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下線下
元のグラフを入力とし、摂動バージョンを持つGNNモデルを2つのエンコーダとして、コントラストに対する2つの相関ビューを得る。
SimGRACEは、一般化可能性、転送可能性、堅牢性の観点から、最先端の手法と比較して、競争力や性能が向上する。
- 参考スコア（独自算出の注目度）: 33.748691759568004
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph contrastive learning (GCL) has emerged as a dominant technique for
graph representation learning which maximizes the mutual information between
paired graph augmentations that share the same semantics. Unfortunately, it is
difficult to preserve semantics well during augmentations in view of the
diverse nature of graph data. Currently, data augmentations in GCL that are
designed to preserve semantics broadly fall into three unsatisfactory ways.
First, the augmentations can be manually picked per dataset by
trial-and-errors. Second, the augmentations can be selected via cumbersome
search. Third, the augmentations can be obtained by introducing expensive
domain-specific knowledge as guidance. All of these limit the efficiency and
more general applicability of existing GCL methods. To circumvent these crucial
issues, we propose a \underline{Sim}ple framework for \underline{GRA}ph
\underline{C}ontrastive l\underline{E}arning, \textbf{SimGRACE} for brevity,
which does not require data augmentations. Specifically, we take original graph
as input and GNN model with its perturbed version as two encoders to obtain two
correlated views for contrast. SimGRACE is inspired by the observation that
graph data can preserve their semantics well during encoder perturbations while
not requiring manual trial-and-errors, cumbersome search or expensive domain
knowledge for augmentations selection. Also, we explain why SimGRACE can
succeed. Furthermore, we devise adversarial training scheme, dubbed
\textbf{AT-SimGRACE}, to enhance the robustness of graph contrastive learning
and theoretically explain the reasons. Albeit simple, we show that SimGRACE can
yield competitive or better performance compared with state-of-the-art methods
in terms of generalizability, transferability and robustness, while enjoying
unprecedented degree of flexibility and efficiency.
- Abstract（参考訳）: グラフコントラスト学習(gcl)は、グラフ表現学習の主要な手法として登場し、同じ意味を持つ対のグラフ拡張間の相互情報を最大化している。
残念ながら、グラフデータの多様性の観点から、拡張中に意味をうまく保存することは困難である。
現在、セマンティクスを保存するように設計されたGCLのデータ拡張は、大きく3つの不満足な方法に分類されている。
まず、補足は試行錯誤によってデータセットごとに手動で選択できる。
第二に、補足は厄介な検索によって選択できる。
第3に、拡張は高価なドメイン固有の知識をガイダンスとして導入することで得られる。
これらの全ては、既存のgclメソッドの効率とより一般的な適用性を制限する。
これらの重要な問題を回避するために、データ拡張を必要としない簡潔性のための \underline{GRA}ph \underline{C}ontrastive l\underline{E}arning, \textbf{SimGRACE} のための \underline{Sim}ple フレームワークを提案する。
具体的には、元のグラフを入力とし、その摂動バージョンでGNNモデルを2つのエンコーダとして、コントラストに対する2つの相関ビューを得る。
simgraceは、グラフデータがエンコーダの摂動の間も、手作業による試行錯誤や面倒な検索、追加選択のための高価なドメイン知識を必要としないという観察から着想を得ている。
また、SimGRACEが成功する理由についても説明する。
さらに,グラフコントラスト学習のロバスト性を高め,理論的に説明するために,敵対的学習スキームである \textbf{at-simgrace} を考案する。
単純ではあるが、simgraceは汎用性、転送性、堅牢性といった点で最先端の手法に比べて競争力や性能が向上し、前例のない柔軟性と効率性が享受できることを示した。
関連論文リスト
- Graph Contrastive Learning with Cohesive Subgraph Awareness [34.76555185419192]
グラフコントラスト学習(GCL)は、多様なグラフの表現を学習するための最先端の戦略として登場した。
グラフの増大と学習過程におけるサブグラフの認識は、GCLの性能を高める可能性があると論じる。
我々はCTAugと呼ばれる新しい統合フレームワークを提案し、結合認識を様々な既存のGCLメカニズムにシームレスに統合する。
論文 参考訳（メタデータ） (2024-01-31T03:51:30Z) - Capturing Fine-grained Semantics in Contrastive Graph Representation
Learning [23.861016307326146]
グラフコントラスト学習(Graph contrastive learning)は、類似のインスタンスを閉じて、異種インスタンスをプッシュするコントラストタスクを定義する。
グラフコントラスト学習の既存の方法は、グラフに存在する多様な意味論の違いを無視している。
本稿では, グラフコントラスト学習法(FSGCL)を提案する。
論文 参考訳（メタデータ） (2023-04-23T14:05:05Z) - Hybrid Augmented Automated Graph Contrastive Learning [3.785553471764994]
本稿では,Hybrid Augmented Automated Graph Contrastive Learning (HAGCL) というフレームワークを提案する。
HAGCLは機能レベルの学習可能なビュージェネレータとエッジレベルの学習可能なビュージェネレータで構成される。
特徴とトポロジの観点から最も意味のある構造を学ぶことを保証します。
論文 参考訳（メタデータ） (2023-03-24T03:26:20Z) - Graph Contrastive Learning with Implicit Augmentations [36.57536688367965]
Inlicit Graph Contrastive Learning (iGCL)は、グラフトポロジ構造を再構築することにより、変分グラフオートエンコーダから学習した潜時空間の増大を利用する。
グラフレベルとノードレベルの両方のタスクに対する実験結果から,提案手法が最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2022-11-07T17:34:07Z) - COSTA: Covariance-Preserving Feature Augmentation for Graph Contrastive
Learning [64.78221638149276]
グラフ拡張によって得られるノードの埋め込みは、非常に偏りが強いことを示す。
入力空間におけるグラフの増大を調査する代わりに,隠れた特徴の増大を提案する。
COSTAによる機能拡張は,グラフ拡張に基づくモデルに比べて,同等/ベターな結果が得られることを示す。
論文 参考訳（メタデータ） (2022-06-09T18:46:38Z) - GraphCoCo: Graph Complementary Contrastive Learning [65.89743197355722]
グラフコントラスト学習(GCL)は、手作業によるアノテーションの監督なしに、グラフ表現学習(GRL)において有望な性能を示した。
本稿では,この課題に対処するため,グラフココというグラフ補完型コントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2022-03-24T02:58:36Z) - Dual Space Graph Contrastive Learning [82.81372024482202]
本研究では,新しいグラフコントラスト学習手法,すなわち textbfDual textbfSpace textbfGraph textbfContrastive (DSGC) Learningを提案する。
両空間にはグラフデータを埋め込み空間に表現する独自の利点があるので、グラフコントラスト学習を用いて空間をブリッジし、双方の利点を活用することを期待する。
論文 参考訳（メタデータ） (2022-01-19T04:10:29Z) - Bringing Your Own View: Graph Contrastive Learning without Prefabricated
Data Augmentations [94.41860307845812]
Self-supervisionは最近、グラフ学習の新しいフロンティアに力を入れている。
GraphCLは、グラフデータ拡張のアドホックな手作業による選択によって反映されたプレハブ付きプリファブリックを使用する。
グラフ生成器のパラメータ空間における学習可能な連続前処理へと拡張した。
我々は、情報最小化(InfoMin)と情報ボトルネック(InfoBN)の2つの原則を利用して、学習した事前情報を規則化する。
論文 参考訳（メタデータ） (2022-01-04T15:49:18Z) - Towards Graph Self-Supervised Learning with Contrastive Adjusted Zooming [48.99614465020678]
本稿では,グラフコントラスト適応ズームによる自己教師付きグラフ表現学習アルゴリズムを提案する。
このメカニズムにより、G-Zoomはグラフから複数のスケールから自己超越信号を探索して抽出することができる。
我々は,実世界のデータセットに関する広範な実験を行い,提案したモデルが常に最先端の手法より優れていることを示す。
論文 参考訳（メタデータ） (2021-11-20T22:45:53Z) - Graph Contrastive Learning with Adaptive Augmentation [23.37786673825192]
本稿では,適応的拡張を用いた新しいグラフコントラスト表現学習法を提案する。
具体的には,ノードの集中度に基づく拡張スキームを設計し,重要な結合構造を明らかにする。
提案手法は,既存の最先端のベースラインを一貫して上回り,教師付きベースラインを超えている。
論文 参考訳（メタデータ） (2020-10-27T15:12:21Z) - Unsupervised Graph Embedding via Adaptive Graph Learning [85.28555417981063]
グラフオートエンコーダ(GAE)は、グラフ埋め込みのための表現学習において強力なツールである。
本稿では,2つの新しい教師なしグラフ埋め込み法,適応グラフ学習(BAGE)による教師なしグラフ埋め込み,変分適応グラフ学習(VBAGE)による教師なしグラフ埋め込みを提案する。
いくつかのデータセットに関する実験的研究により、我々の手法がノードクラスタリング、ノード分類、グラフ可視化タスクにおいて、ベースラインよりも優れていることが実証された。
論文 参考訳（メタデータ） (2020-03-10T02:33:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。