論文の概要: Can Single-Pass Contrastive Learning Work for Both Homophilic and
Heterophilic Graph?
- arxiv url: http://arxiv.org/abs/2211.10890v1
- Date: Sun, 20 Nov 2022 07:18:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 23:05:19.154419
- Title: Can Single-Pass Contrastive Learning Work for Both Homophilic and
Heterophilic Graph?
- Title（参考訳）: 相同性グラフと異性グラフの相互比較学習は可能か?
- Authors: Haonan Wang, Jieyu Zhang, Qi Zhu, Wei Huang
- Abstract要約: 既存のグラフコントラッシブ・ラーニング(GCL)は、通常、コントラシブ・ロスを構築するために1つのインスタンスに対して2つのフォワード・パスを必要とする。
本稿では,その特性に基づくシングルパスグラフの対照的な学習損失を導入し,下流タスクにおける損失の最小化に関する性能保証を提供する。
経験的に、ヘテロフィリーの度合いが異なる14のベンチマークデータセットでは、SP-GCLが学んだ機能は、既存の強いベースラインにマッチしたり、上回ったりすることができる。
- 参考スコア（独自算出の注目度）: 16.471928573824854
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing graph contrastive learning (GCL) typically requires two forward pass
for a single instance to construct the contrastive loss. Despite its remarkable
success, it is unclear whether such a dual-pass design is (theoretically)
necessary. Besides, the empirical results are hitherto limited to the
homophilic graph benchmarks. Then a natural question arises: Can we design a
method that works for both homophilic and heterophilic graphs with a
performance guarantee? To answer this, we analyze the concentration property of
features obtained by neighborhood aggregation on both homophilic and
heterophilic graphs, introduce the single-pass graph contrastive learning loss
based on the property, and provide performance guarantees of the minimizer of
the loss on downstream tasks. As a direct consequence of our analysis, we
implement the Single-Pass Graph Contrastive Learning method (SP-GCL).
Empirically, on 14 benchmark datasets with varying degrees of heterophily, the
features learned by the SP-GCL can match or outperform existing strong
baselines with significantly less computational overhead, which verifies the
usefulness of our findings in real-world cases.
- Abstract（参考訳）: 既存のグラフコントラスト学習(gcl)は通常、コントラスト損失を構成するために単一のインスタンスに対して2つのフォワードパスを必要とする。
その顕著な成功にもかかわらず、そのようなデュアルパス設計が(理論的に)必要かどうかは不明である。
さらに、経験的な結果は、homophilic graphベンチマークに限定されている。
そこで自然な疑問が浮かび上がってくる: 性能保証のあるホモフィルグラフとヘテロフィルグラフの両方で機能する手法を設計できますか?
そこで本研究では,同好性グラフとヘテロ親和性グラフの両方の近傍集合から得られる特徴の濃度特性を解析し,その特性に基づいてシングルパスグラフの対照的な学習損失を導入し,下流タスクにおける損失の最小化性能を保証する。
分析の結果,Single-Pass Graph Contrastive Learning法(SP-GCL)を実装した。
経験的に、14のベンチマークデータセットにおいて、sp-gclによって学習された機能は、既存の強力なベースラインと非常に少ない計算オーバーヘッドで一致または性能を上回ることができる。
関連論文リスト
- Rethinking and Simplifying Bootstrapped Graph Latents [48.76934123429186]
グラフ・コントラッシブ・ラーニング(GCL)はグラフ自己教師型ラーニングにおいて代表的なパラダイムとして登場した。
SGCLは2つの繰り返しの出力を正のペアとして利用するシンプルで効果的なGCLフレームワークである。
我々は,SGCLがより少ないパラメータ,少ない時間と空間コスト,およびかなりの収束速度で競合性能を達成可能であることを示す。
論文 参考訳（メタデータ） (2023-12-05T09:49:50Z) - Simple and Asymmetric Graph Contrastive Learning without Augmentations [39.301072710063636]
グラフのための非対称コントラスト学習(GraphACL)は実装が容易であり、グラフ拡張やホモフィリー仮定に依存しない。
実験結果から, 単純グラフACLは, ホモ親和性グラフとヘテロ親和性グラフの対比学習法と自己教師学習法を著しく上回ることがわかった。
論文 参考訳（メタデータ） (2023-10-29T03:14:20Z) - HomoGCL: Rethinking Homophily in Graph Contrastive Learning [64.85392028383164]
HomoGCL はモデルに依存しないフレームワークで、近隣のノードに固有の意味を持つ正の集合を拡大する。
我々は、HomoGCLが6つの公開データセットにまたがって複数の最先端結果をもたらすことを示す。
論文 参考訳（メタデータ） (2023-06-16T04:06:52Z) - Graph Contrastive Learning under Heterophily via Graph Filters [51.46061703680498]
グラフコントラスト学習(CL)法は,GNNエンコーダを用いて得られる拡張ノード表現の類似性を最大化することにより,ノード表現を自己指導的に学習する。
本研究では,ヘテロフィリー下でのグラフ表現学習に有効なグラフCL法であるHLCLを提案する。
我々の広範な実験により、HLCLはヘテロフィリーのベンチマークデータセットや大規模実世界のグラフで最先端のグラフCL法を最大7%上回り、ヘテロフィリーのデータセットでグラフ教師あり学習法を最大10%上回ります。
論文 参考訳（メタデータ） (2023-03-11T08:32:39Z) - Localized Contrastive Learning on Graphs [110.54606263711385]
局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。
その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
論文 参考訳（メタデータ） (2022-12-08T23:36:00Z) - Graph Soft-Contrastive Learning via Neighborhood Ranking [19.241089079154044]
グラフコントラスト学習(GCL)は,グラフ自己教師型学習の領域において,有望なアプローチとして登場した。
グラフソフトコントラスト学習(GSCL)という新しいパラダイムを提案する。
GSCLは地域ランキングを通じてGCLを促進するため、全く同様のペアを特定する必要がなくなる。
論文 参考訳（メタデータ） (2022-09-28T09:52:15Z) - Heterogeneous Graph Neural Networks using Self-supervised Reciprocally
Contrastive Learning [102.9138736545956]
不均一グラフニューラルネットワーク(HGNN)は異種グラフのモデリングと解析において非常に一般的な手法である。
我々は,ノード属性とグラフトポロジの各ガイダンスに関する2つの視点を取り入れた,新規で頑健なヘテロジニアスグラフコントラスト学習手法であるHGCLを初めて開発する。
この新しいアプローチでは,属性とトポロジに関連情報を別々にマイニングする手法として,異なるが最も適した属性とトポロジの融合機構を2つの視点に適用する。
論文 参考訳（メタデータ） (2022-04-30T12:57:02Z) - Augmentation-Free Graph Contrastive Learning [16.471928573824854]
グラフコントラッシブ・ラーニング(GCL)は、グラフ構造化データに対する最も代表的で一般的な自己教師付き学習手法である。
既存のGCLメソッドは、様々な拡張ビューで不変な表現を学習するための拡張スキームに依存している。
AF-GCLは,グラフニューラルネットワークによって集約された特徴を利用して,拡張ではなく自己超越信号を構築する。
論文 参考訳（メタデータ） (2022-04-11T05:37:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。