論文の概要: Hierarchical Topology Isomorphism Expertise Embedded Graph Contrastive Learning

• arxiv url: http://arxiv.org/abs/2312.14222v2
• Date: Mon, 25 Dec 2023 07:10:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 20:22:13.317965
• Title: Hierarchical Topology Isomorphism Expertise Embedded Graph Contrastive Learning
• Title（参考訳）: 階層的トポロジー同型専門知識埋め込みグラフコントラスト学習
• Authors: Jiangmeng Li, Yifan Jin, Hang Gao, Wenwen Qiang, Changwen Zheng, Fuchun Sun
• Abstract要約: 本稿では,新しい階層型トポロジアイソモーフィズムの専門知識をグラフに組み込んだコントラスト学習を提案する。 我々は,提案手法が複数の最先端GCLモデルに対して普遍的であることを実証的に実証した。 本手法は、教師なし表現学習環境において、最先端の手法を0.23%上回る。
• 参考スコア（独自算出の注目度）: 37.0788516033498
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph contrastive learning (GCL) aims to align the positive features while differentiating the negative features in the latent space by minimizing a pair-wise contrastive loss. As the embodiment of an outstanding discriminative unsupervised graph representation learning approach, GCL achieves impressive successes in various graph benchmarks. However, such an approach falls short of recognizing the topology isomorphism of graphs, resulting in that graphs with relatively homogeneous node features cannot be sufficiently discriminated. By revisiting classic graph topology recognition works, we disclose that the corresponding expertise intuitively complements GCL methods. To this end, we propose a novel hierarchical topology isomorphism expertise embedded graph contrastive learning, which introduces knowledge distillations to empower GCL models to learn the hierarchical topology isomorphism expertise, including the graph-tier and subgraph-tier. On top of this, the proposed method holds the feature of plug-and-play, and we empirically demonstrate that the proposed method is universal to multiple state-of-the-art GCL models. The solid theoretical analyses are further provided to prove that compared with conventional GCL methods, our method acquires the tighter upper bound of Bayes classification error. We conduct extensive experiments on real-world benchmarks to exhibit the performance superiority of our method over candidate GCL methods, e.g., for the real-world graph representation learning experiments, the proposed method beats the state-of-the-art method by 0.23% on unsupervised representation learning setting, 0.43% on transfer learning setting. Our code is available at https://github.com/jyf123/HTML.
• Abstract（参考訳）: グラフコントラスト学習(gcl)は、対のコントラスト損失を最小化し、潜在空間の否定的な特徴を区別しながら、ポジティブな特徴を整合させることを目的としている。 識別的非教師なしグラフ表現学習アプローチの具体例として、gclは様々なグラフベンチマークで印象的な成功を収めている。 しかし、そのようなアプローチはグラフの位相同型を認識できないため、比較的均質なノード特徴を持つグラフは十分に判別できない。 古典的なグラフトポロジ認識作業を再考することにより、対応する専門知識が直感的にGCL法を補完することを明らかにする。 そこで我々は,GCLモデルに知識蒸留を導入し,グラフ層とサブグラフ層を含む階層的トポロジー同型専門知識を学習する,新しい階層的トポロジー同型専門知識グラフコントラスト学習を提案する。 さらに,提案手法はプラグアンドプレイの特徴を持ち,提案手法が複数の最先端GCLモデルに対して普遍的であることを実証的に示す。 さらに,従来のgcl法と比較してベイズ分類誤差の上限値がより強くなることを示すため,固体理論的解析を行った。 実世界のグラフ表現学習実験において,提案手法は非教師付き表現学習環境において0.23%,転送学習環境において0.43%の精度で最先端の手法に勝っている。 私たちのコードはhttps://github.com/jyf123/HTMLで利用可能です。

関連論文リスト

• Rethinking Graph Masked Autoencoders through Alignment and Uniformity [26.86368034133612]
  グラフ上の自己教師付き学習は、対照的で生成的な方法に分岐することができる。 グラフマスク付きオートエンコーダ(GraphMAE)の最近の出現は、生成法の背後にあるモーメントを回復させる。
  論文  参考訳（メタデータ） (2024-02-11T15:21:08Z)
• Architecture Matters: Uncovering Implicit Mechanisms in Graph Contrastive Learning [34.566003077992384]
  本稿では,グラフコントラスト学習法(GCL)の体系的研究について述べる。 GNNの暗黙的帰納バイアスが対照的な学習にどのように作用するかを明らかにすることによって、理論上はGCLの興味深い性質に関する洞察を提供する。 既存のNNメソッドを直接GCLに移植するのではなく、グラフ学習のユニークなアーキテクチャにもっと注意を払うことを提唱する。
  論文  参考訳（メタデータ） (2023-11-05T15:54:17Z)
• M2HGCL: Multi-Scale Meta-Path Integrated Heterogeneous Graph Contrastive Learning [16.391439666603578]
  マルチスケールなメタパス統合ヘテロジニアスグラフコントラスト学習(M2HGCL)モデルを提案する。 具体的には、メタパスを拡大し、直接的な隣接情報、初期メタパス隣情報、拡張されたメタパス隣情報とを共同で集約する。 3つの実世界のデータセットに関する広範な実験を通して、M2HGCLが現在の最先端のベースラインモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-03T06:39:56Z)
• HomoGCL: Rethinking Homophily in Graph Contrastive Learning [64.85392028383164]
  HomoGCL はモデルに依存しないフレームワークで、近隣のノードに固有の意味を持つ正の集合を拡大する。 我々は、HomoGCLが6つの公開データセットにまたがって複数の最先端結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-06-16T04:06:52Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• Single-Pass Contrastive Learning Can Work for Both Homophilic and Heterophilic Graph [60.28340453547902]
  グラフコントラッシブ・ラーニング(GCL)技術は通常、コントラッシブ・ロスを構築するために単一のインスタンスに対して2つのフォワードパスを必要とする。 既存のGCLアプローチは、強力なパフォーマンス保証を提供していない。 我々はSingle-Pass Graph Contrastive Learning法(SP-GCL)を実装した。 経験的に、SP-GCLが学んだ機能は、計算オーバーヘッドを著しく少なくして、既存の強いベースラインにマッチまたは性能を向上することができる。
  論文  参考訳（メタデータ） (2022-11-20T07:18:56Z)
• Revisiting Heterophily in Graph Convolution Networks by Learning Representations Across Topological and Feature Spaces [20.775165967590173]
  グラフ畳み込みネットワーク(GCN)は、グラフベースの機械学習タスクにおける表現の学習において、非常に成功した。 グラフ表現を2つの空間、すなわち位相空間と特徴空間で学習することで、GCNはヘテロフィリーに対処できると主張する。 半教師付きノード分類タスクにおけるGCNフレームワークの性能を実験的に検証した。
  論文  参考訳（メタデータ） (2022-11-01T16:21:10Z)
• Unifying Graph Contrastive Learning with Flexible Contextual Scopes [57.86762576319638]
  フレキシブルコンテキストスコープを用いたグラフコントラスト学習(略してUGCL)という自己教師型学習手法を提案する。 本アルゴリズムは,隣接行列のパワーを制御し,コンテキストスコープによるフレキシブルな文脈表現を構築する。 局所的スコープと文脈的スコープの両方の表現に基づいて、distLはグラフ表現学習のための非常に単純な対照的な損失関数を最適化する。
  論文  参考訳（メタデータ） (2022-10-17T07:16:17Z)
• Uncovering the Structural Fairness in Graph Contrastive Learning [87.65091052291544]
  グラフコントラスト学習(GCL)は、ノード表現を学習するための有望な自己教師型アプローチとして登場した。 GCL法で得られた表現は,GCN法で学習した表現よりも既に公平であることを示す。 我々は、低次ノードと高次ノードに異なる戦略を適用し、GRAph contrastive learning for Degree bias (GRADE)と呼ばれるグラフ拡張手法を考案した。
  論文  参考訳（メタデータ） (2022-10-06T15:58:25Z)
• Graph Soft-Contrastive Learning via Neighborhood Ranking [19.241089079154044]
  グラフコントラスト学習(GCL)は,グラフ自己教師型学習の領域において,有望なアプローチとして登場した。 グラフソフトコントラスト学習(GSCL)という新しいパラダイムを提案する。 GSCLは地域ランキングを通じてGCLを促進するため、全く同様のペアを特定する必要がなくなる。
  論文  参考訳（メタデータ） (2022-09-28T09:52:15Z)
• Geometry Contrastive Learning on Heterogeneous Graphs [50.58523799455101]
  本稿では,幾何学コントラスト学習(Geometry Contrastive Learning, GCL)と呼ばれる,新しい自己指導型学習手法を提案する。 GCLはユークリッドと双曲的な視点からヘテロジニアスグラフを同時に見ることができ、リッチな意味論と複雑な構造をモデル化する能力の強い融合を目指している。 4つのベンチマークデータセットの大規模な実験は、提案手法が強いベースラインよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-25T03:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。