論文の概要: Single-Pass Contrastive Learning Can Work for Both Homophilic and Heterophilic Graph

• arxiv url: http://arxiv.org/abs/2211.10890v4
• Date: Mon, 20 Nov 2023 05:25:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 20:51:18.156427
• Title: Single-Pass Contrastive Learning Can Work for Both Homophilic and Heterophilic Graph
• Title（参考訳）: ホモフレンドリグラフとヘテロフレンドリグラフのためのシングルパスコントラスト学習
• Authors: Haonan Wang, Jieyu Zhang, Qi Zhu, Wei Huang, Kenji Kawaguchi, Xiaokui Xiao
• Abstract要約: グラフコントラッシブ・ラーニング(GCL)技術は通常、コントラッシブ・ロスを構築するために単一のインスタンスに対して2つのフォワードパスを必要とする。 既存のGCLアプローチは、強力なパフォーマンス保証を提供していない。 我々はSingle-Pass Graph Contrastive Learning法(SP-GCL)を実装した。 経験的に、SP-GCLが学んだ機能は、計算オーバーヘッドを著しく少なくして、既存の強いベースラインにマッチまたは性能を向上することができる。
• 参考スコア（独自算出の注目度）: 60.28340453547902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing graph contrastive learning (GCL) techniques typically require two forward passes for a single instance to construct the contrastive loss, which is effective for capturing the low-frequency signals of node features. Such a dual-pass design has shown empirical success on homophilic graphs, but its effectiveness on heterophilic graphs, where directly connected nodes typically have different labels, is unknown. In addition, existing GCL approaches fail to provide strong performance guarantees. Coupled with the unpredictability of GCL approaches on heterophilic graphs, their applicability in real-world contexts is limited. Then, a natural question arises: Can we design a GCL method that works for both homophilic and heterophilic graphs with a performance guarantee? To answer this question, we theoretically study the concentration property of features obtained by neighborhood aggregation on homophilic and heterophilic graphs, introduce the single-pass augmentation-free graph contrastive learning loss based on the property, and provide performance guarantees for the minimizer of the loss on downstream tasks. As a direct consequence of our analysis, we implement the Single-Pass Graph Contrastive Learning method (SP-GCL). Empirically, on 14 benchmark datasets with varying degrees of homophily, the features learned by the SP-GCL can match or outperform existing strong baselines with significantly less computational overhead, which demonstrates the usefulness of our findings in real-world cases.
• Abstract（参考訳）: 既存のグラフコントラスト学習(gcl)技術では、1つのインスタンスでコントラスト損失を構築するために2つのフォワードパスが必要であり、ノードの特徴の低周波信号を捉えるのに有効である。 このような二重パス設計はホモ親和グラフにおいて経験的成功を示しているが、直結したノードが通常異なるラベルを持つヘテロ親和グラフの有効性は分かっていない。 加えて、既存のgclアプローチは強力なパフォーマンス保証を提供しない。 異種グラフに対するGCLアプローチの不予測性と相まって、実世界の文脈における適用性は限定的である。 そして、自然な疑問が生まれます: 性能保証のあるホモフィルグラフとヘテロフィルグラフの両方で機能するGCL法を設計できますか? この疑問に答えるために, 近辺集計により得られたホモ親和グラフおよびヘテロ親和グラフ上の特徴の集中特性を理論的に検討し, 特徴量に基づく単パス拡張なしグラフコントラスト学習損失を導入し, 下流課題における損失を最小限に抑えるための性能保証を提供する。 分析の結果,Single-Pass Graph Contrastive Learning法(SP-GCL)を実装した。 経験的に、14のベンチマークデータセットにおいて、sp-gclによって得られた機能は、既存の強力なベースラインと非常に少ない計算オーバーヘッドでマッチしたり、性能を上回ったりすることができる。

関連論文リスト

• Rethinking and Simplifying Bootstrapped Graph Latents [48.76934123429186]
  グラフ・コントラッシブ・ラーニング(GCL)はグラフ自己教師型ラーニングにおいて代表的なパラダイムとして登場した。 SGCLは2つの繰り返しの出力を正のペアとして利用するシンプルで効果的なGCLフレームワークである。 我々は,SGCLがより少ないパラメータ,少ない時間と空間コスト,およびかなりの収束速度で競合性能を達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-12-05T09:49:50Z)
• Simple and Asymmetric Graph Contrastive Learning without Augmentations [39.301072710063636]
  グラフのための非対称コントラスト学習(GraphACL)は実装が容易であり、グラフ拡張やホモフィリー仮定に依存しない。 実験結果から, 単純グラフACLは, ホモ親和性グラフとヘテロ親和性グラフの対比学習法と自己教師学習法を著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2023-10-29T03:14:20Z)
• HomoGCL: Rethinking Homophily in Graph Contrastive Learning [64.85392028383164]
  HomoGCL はモデルに依存しないフレームワークで、近隣のノードに固有の意味を持つ正の集合を拡大する。 我々は、HomoGCLが6つの公開データセットにまたがって複数の最先端結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-06-16T04:06:52Z)
• Graph Contrastive Learning under Heterophily via Graph Filters [51.46061703680498]
  グラフコントラスト学習(CL)法は,GNNエンコーダを用いて得られる拡張ノード表現の類似性を最大化することにより,ノード表現を自己指導的に学習する。 本研究では,ヘテロフィリー下でのグラフ表現学習に有効なグラフCL法であるHLCLを提案する。 我々の広範な実験により、HLCLはヘテロフィリーのベンチマークデータセットや大規模実世界のグラフで最先端のグラフCL法を最大7%上回り、ヘテロフィリーのデータセットでグラフ教師あり学習法を最大10%上回ります。
  論文  参考訳（メタデータ） (2023-03-11T08:32:39Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• Graph Soft-Contrastive Learning via Neighborhood Ranking [19.241089079154044]
  グラフコントラスト学習(GCL)は,グラフ自己教師型学習の領域において,有望なアプローチとして登場した。 グラフソフトコントラスト学習(GSCL)という新しいパラダイムを提案する。 GSCLは地域ランキングを通じてGCLを促進するため、全く同様のペアを特定する必要がなくなる。
  論文  参考訳（メタデータ） (2022-09-28T09:52:15Z)
• Heterogeneous Graph Neural Networks using Self-supervised Reciprocally Contrastive Learning [102.9138736545956]
  不均一グラフニューラルネットワーク(HGNN)は異種グラフのモデリングと解析において非常に一般的な手法である。 我々は,ノード属性とグラフトポロジの各ガイダンスに関する2つの視点を取り入れた,新規で頑健なヘテロジニアスグラフコントラスト学習手法であるHGCLを初めて開発する。 この新しいアプローチでは,属性とトポロジに関連情報を別々にマイニングする手法として,異なるが最も適した属性とトポロジの融合機構を2つの視点に適用する。
  論文  参考訳（メタデータ） (2022-04-30T12:57:02Z)
• Augmentation-Free Graph Contrastive Learning [16.471928573824854]
  グラフコントラッシブ・ラーニング(GCL)は、グラフ構造化データに対する最も代表的で一般的な自己教師付き学習手法である。 既存のGCLメソッドは、様々な拡張ビューで不変な表現を学習するための拡張スキームに依存している。 AF-GCLは,グラフニューラルネットワークによって集約された特徴を利用して,拡張ではなく自己超越信号を構築する。
  論文  参考訳（メタデータ） (2022-04-11T05:37:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。