論文の概要: Provable Training for Graph Contrastive Learning

• arxiv url: http://arxiv.org/abs/2309.13944v4
• Date: Fri, 24 May 2024 07:05:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 00:05:56.695636
• Title: Provable Training for Graph Contrastive Learning
• Title（参考訳）: グラフコントラスト学習のための確率的学習
• Authors: Yue Yu, Xiao Wang, Mengmei Zhang, Nian Liu, Chuan Shi,
• Abstract要約: Graph Contrastive Learning (GCL)は、ラベルのない拡張グラフからノード埋め込みを学習するための一般的なトレーニング手法として登場した。 GCLのトレーニングは、実際にはすべてのノードで不均衡であることを示す。 ノードがGCLの原理に従う方法の下位境界である計量「ノードコンパクト性」を提案する。
• 参考スコア（独自算出の注目度）: 58.8128675529977
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Contrastive Learning (GCL) has emerged as a popular training approach for learning node embeddings from augmented graphs without labels. Despite the key principle that maximizing the similarity between positive node pairs while minimizing it between negative node pairs is well established, some fundamental problems are still unclear. Considering the complex graph structure, are some nodes consistently well-trained and following this principle even with different graph augmentations? Or are there some nodes more likely to be untrained across graph augmentations and violate the principle? How to distinguish these nodes and further guide the training of GCL? To answer these questions, we first present experimental evidence showing that the training of GCL is indeed imbalanced across all nodes. To address this problem, we propose the metric "node compactness", which is the lower bound of how a node follows the GCL principle related to the range of augmentations. We further derive the form of node compactness theoretically through bound propagation, which can be integrated into binary cross-entropy as a regularization. To this end, we propose the PrOvable Training (POT) for GCL, which regularizes the training of GCL to encode node embeddings that follows the GCL principle better. Through extensive experiments on various benchmarks, POT consistently improves the existing GCL approaches, serving as a friendly plugin.
• Abstract（参考訳）: Graph Contrastive Learning (GCL)は、ラベルのない拡張グラフからノード埋め込みを学習するための一般的なトレーニング手法として登場した。 正のノード対間の類似性を最大化しつつ、負のノード対間の類似性を最小化するという鍵原理は確立されているが、いくつかの根本的な問題はいまだ不明である。 複雑なグラフ構造を考えると、いくつかのノードは一貫して順調に訓練され、異なるグラフ拡張でもこの原則に従うだろうか? あるいは、グラフ拡張をまたいだトレーニングを受けていないノードが、原則に違反している可能性が高いのでしょうか? これらのノードを区別し、GCLのトレーニングをさらにガイドする方法? これらの疑問に答えるために、まず、GCLのトレーニングがすべてのノードで実際に不均衡であることを示す実験的な証拠を提示する。 この問題に対処するために、ノードが拡張範囲に関連するGCL原理に従う方法の下位境界である計量「ノードコンパクト性」を提案する。 さらに、有界伝播により理論的にノードコンパクト性の形式を導出し、正規化として二元交叉エントロピーに統合することができる。 そこで本稿では,GCL の原則に従うノード埋め込みを符号化するための GCL のトレーニングを正規化するための PrOvable Training (POT) を提案する。 さまざまなベンチマークに関する広範な実験を通じて、POTは既存のGCLアプローチを一貫して改善し、フレンドリーなプラグインとして機能する。

関連論文リスト

• Smoothed Graph Contrastive Learning via Seamless Proximity Integration [35.73306919276754]
  グラフコントラスト学習(GCL)はノードペアを正と負に分類することでノード表現を整列させる。 SGCL(Smoothed Graph Contrastive Learning Model)を提案する。 提案したSGCLは, 3つの異なる平滑化手法を取り入れることで, ノード対に付随するペナルティを対照的な損失で調整する。
  論文  参考訳（メタデータ） (2024-02-23T11:32:46Z)
• HomoGCL: Rethinking Homophily in Graph Contrastive Learning [64.85392028383164]
  HomoGCL はモデルに依存しないフレームワークで、近隣のノードに固有の意味を持つ正の集合を拡大する。 我々は、HomoGCLが6つの公開データセットにまたがって複数の最先端結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-06-16T04:06:52Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Structural Imbalance Aware Graph Augmentation Learning [2.793446335600599]
  グラフはしばしば構造的に不均衡であり、いくつかのハブノードだけがより密な局所構造を持ち、より強い影響を持つ。 本稿では,この問題を解決するために,選択的グラフ拡張法(SAug)を提案する。 大規模な実験により、SAugはバックボーンのGNNを大幅に改善し、競合他社よりも優れたパフォーマンスを達成できることが示された。
  論文  参考訳（メタデータ） (2023-03-24T02:13:32Z)
• Uncovering the Structural Fairness in Graph Contrastive Learning [87.65091052291544]
  グラフコントラスト学習(GCL)は、ノード表現を学習するための有望な自己教師型アプローチとして登場した。 GCL法で得られた表現は,GCN法で学習した表現よりも既に公平であることを示す。 我々は、低次ノードと高次ノードに異なる戦略を適用し、GRAph contrastive learning for Degree bias (GRADE)と呼ばれるグラフ拡張手法を考案した。
  論文  参考訳（メタデータ） (2022-10-06T15:58:25Z)
• Revisiting Graph Contrastive Learning from the Perspective of Graph Spectrum [91.06367395889514]
  グラフ拡張によるノード表現の学習には,GCL(Graph Contrastive Learning)が注目されている。 GCLとグラフスペクトルの関連性を確立することで,これらの疑問に答える。 汎用かつGCLフレンドリなプラグインであるスペクトルグラフコントラスト学習モジュール(SpCo)を提案する。
  論文  参考訳（メタデータ） (2022-10-05T15:32:00Z)
• ImGCL: Revisiting Graph Contrastive Learning on Imbalanced Node Classification [26.0350727426613]
  グラフコントラスト学習(GCL)は,ラベルのないノード/グラフ表現の学習性能に優れていたため,注目を集めている。 実際には、与えられたグラフに対するラベルのないノードの基底となるクラス分布は、通常不均衡である。 ラベルなしでGCLから学習した表現を自動的かつ適応的にバランスをとるImGCL(Im Balanced node classification)の原理的GCLフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-23T14:23:36Z)
• Graph Inference Learning for Semi-supervised Classification [50.55765399527556]
  半教師付きノード分類の性能を高めるためのグラフ推論学習フレームワークを提案する。 推論過程の学習には,トレーニングノードから検証ノードへの構造関係のメタ最適化を導入する。 4つのベンチマークデータセットの総合的な評価は、最先端の手法と比較して提案したGILの優位性を示している。
  論文  参考訳（メタデータ） (2020-01-17T02:52:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。