論文の概要: Provable Training for Graph Contrastive Learning

• arxiv url: http://arxiv.org/abs/2309.13944v3
• Date: Tue, 5 Mar 2024 02:35:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 02:27:52.182438
• Title: Provable Training for Graph Contrastive Learning
• Title（参考訳）: グラフコントラスト学習のための確率的学習
• Authors: Yue Yu, Xiao Wang, Mengmei Zhang, Nian Liu, Chuan Shi
• Abstract要約: Graph Contrastive Learning (GCL)は、ラベルのない拡張グラフからノード埋め込みを学習するための一般的なトレーニング手法として登場した。 GCLのトレーニングは、実際にはすべてのノードで不均衡であることを示す。 ノードがGCLの原理に従う方法の下位境界である計量「ノードコンパクト性」を提案する。
• 参考スコア（独自算出の注目度）: 63.0971470040476
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Contrastive Learning (GCL) has emerged as a popular training approach for learning node embeddings from augmented graphs without labels. Despite the key principle that maximizing the similarity between positive node pairs while minimizing it between negative node pairs is well established, some fundamental problems are still unclear. Considering the complex graph structure, are some nodes consistently well-trained and following this principle even with different graph augmentations? Or are there some nodes more likely to be untrained across graph augmentations and violate the principle? How to distinguish these nodes and further guide the training of GCL? To answer these questions, we first present experimental evidence showing that the training of GCL is indeed imbalanced across all nodes. To address this problem, we propose the metric "node compactness", which is the lower bound of how a node follows the GCL principle related to the range of augmentations. We further derive the form of node compactness theoretically through bound propagation, which can be integrated into binary cross-entropy as a regularization. To this end, we propose the PrOvable Training (POT) for GCL, which regularizes the training of GCL to encode node embeddings that follows the GCL principle better. Through extensive experiments on various benchmarks, POT consistently improves the existing GCL approaches, serving as a friendly plugin.
• Abstract（参考訳）: グラフコントラスト学習(gcl)はラベルのない拡張グラフからノード埋め込みを学ぶための一般的なトレーニングアプローチとして登場した。 正のノード対間の類似性を最大化しつつ、負のノード対間の類似性を最小化するという鍵原理は確立されているが、いくつかの根本的な問題はいまだ不明である。 複雑なグラフ構造を考えると、いくつかのノードは一貫してよく訓練されているか? あるいは、グラフを拡張せずに原則に違反しているノードがあるのでしょうか? これらのノードを区別し、GCLのトレーニングをさらにガイドする方法? これらの疑問に答えるために、まず、GCLのトレーニングがすべてのノードで実際に不均衡であることを示す実験的な証拠を提示する。 この問題に対処するために、ノードが拡張範囲に関連するgclの原理に従う方法の下界である計量「ノードコンパクト性」を提案する。 さらに,正規化として二元クロスエントロピーに積分できるバウンド伝搬によって,理論的にノードコンパクト性の形式を導出する。 そこで本稿では,GCL の原則に従うノード埋め込みを符号化するための GCL のトレーニングを正規化するための PrOvable Training (POT) を提案する。 さまざまなベンチマークに関する広範な実験を通じて、POTは既存のGCLアプローチを一貫して改善し、フレンドリーなプラグインとして機能する。

関連論文リスト

• Scalable Graph Compressed Convolutions [68.85227170390864]
  ユークリッド畳み込みのための入力グラフのキャリブレーションに置換を適用する微分可能手法を提案する。 グラフキャリブレーションに基づいて,階層型グラフ表現学習のための圧縮畳み込みネットワーク(CoCN)を提案する。
  論文  参考訳（メタデータ） (2024-07-26T03:14:13Z)
• Smoothed Graph Contrastive Learning via Seamless Proximity Integration [30.247207861739245]
  グラフコントラスト学習(GCL)はノードペアを正と負に分類することでノード表現を整列させる。 SGCL(Smoothed Graph Contrastive Learning Model)を提案する。 提案したSGCLは,3つの異なる平滑化手法を取り入れることで,ノード対に付随するペナルティを対照的な損失で調整する。
  論文  参考訳（メタデータ） (2024-02-23T11:32:46Z)
• HomoGCL: Rethinking Homophily in Graph Contrastive Learning [64.85392028383164]
  HomoGCL はモデルに依存しないフレームワークで、近隣のノードに固有の意味を持つ正の集合を拡大する。 我々は、HomoGCLが6つの公開データセットにまたがって複数の最先端結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-06-16T04:06:52Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Structural Imbalance Aware Graph Augmentation Learning [2.793446335600599]
  グラフはしばしば構造的に不均衡であり、いくつかのハブノードだけがより密な局所構造を持ち、より強い影響を持つ。 本稿では,この問題を解決するために,選択的グラフ拡張法(SAug)を提案する。 大規模な実験により、SAugはバックボーンのGNNを大幅に改善し、競合他社よりも優れたパフォーマンスを達成できることが示された。
  論文  参考訳（メタデータ） (2023-03-24T02:13:32Z)
• Uncovering the Structural Fairness in Graph Contrastive Learning [87.65091052291544]
  グラフコントラスト学習(GCL)は、ノード表現を学習するための有望な自己教師型アプローチとして登場した。 GCL法で得られた表現は,GCN法で学習した表現よりも既に公平であることを示す。 我々は、低次ノードと高次ノードに異なる戦略を適用し、GRAph contrastive learning for Degree bias (GRADE)と呼ばれるグラフ拡張手法を考案した。
  論文  参考訳（メタデータ） (2022-10-06T15:58:25Z)
• ImGCL: Revisiting Graph Contrastive Learning on Imbalanced Node Classification [26.0350727426613]
  グラフコントラスト学習(GCL)は,ラベルのないノード/グラフ表現の学習性能に優れていたため,注目を集めている。 実際には、与えられたグラフに対するラベルのないノードの基底となるクラス分布は、通常不均衡である。 ラベルなしでGCLから学習した表現を自動的かつ適応的にバランスをとるImGCL(Im Balanced node classification)の原理的GCLフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-23T14:23:36Z)
• Graph Inference Learning for Semi-supervised Classification [50.55765399527556]
  半教師付きノード分類の性能を高めるためのグラフ推論学習フレームワークを提案する。 推論過程の学習には,トレーニングノードから検証ノードへの構造関係のメタ最適化を導入する。 4つのベンチマークデータセットの総合的な評価は、最先端の手法と比較して提案したGILの優位性を示している。
  論文  参考訳（メタデータ） (2020-01-17T02:52:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。