論文の概要: Calibrating and Improving Graph Contrastive Learning
- arxiv url: http://arxiv.org/abs/2101.11525v2
- Date: Tue, 22 Aug 2023 09:55:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-23 15:22:18.119972
- Title: Calibrating and Improving Graph Contrastive Learning
- Title（参考訳）: グラフコントラスト学習の校正と改善
- Authors: Kaili Ma, Haochen Yang, Han Yang, Yongqiang Chen, James Cheng
- Abstract要約: 教師なしグラフの対照的な学習では、いくつかの対照的なペアは下流のタスクの真理と矛盾することがある。
本稿では、コントラスト-レグという新たな正規化手法を提案し、コントラスト損失の低減が下流タスクの性能向上につながることを確かめる。
プラグイン正規化器として、Contrast-Regは既存のグラフコントラスト学習アルゴリズムの性能を効果的に向上させる。
- 参考スコア（独自算出の注目度）: 14.763105892780333
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph contrastive learning algorithms have demonstrated remarkable success in
various applications such as node classification, link prediction, and graph
clustering. However, in unsupervised graph contrastive learning, some
contrastive pairs may contradict the truths in downstream tasks and thus the
decrease of losses on these pairs undesirably harms the performance in the
downstream tasks. To assess the discrepancy between the prediction and the
ground-truth in the downstream tasks for these contrastive pairs, we adapt the
expected calibration error (ECE) to graph contrastive learning. The analysis of
ECE motivates us to propose a novel regularization method, Contrast-Reg, to
ensure that decreasing the contrastive loss leads to better performance in the
downstream tasks. As a plug-in regularizer, Contrast-Reg effectively improves
the performance of existing graph contrastive learning algorithms. We provide
both theoretical and empirical results to demonstrate the effectiveness of
Contrast-Reg in enhancing the generalizability of the Graph Neural Network(GNN)
model and improving the performance of graph contrastive algorithms with
different similarity definitions and encoder backbones across various
downstream tasks.
- Abstract（参考訳）: グラフ対照的学習アルゴリズムは、ノード分類、リンク予測、グラフクラスタリングなどの様々なアプリケーションで顕著な成功を収めている。
しかし、教師なしグラフの対照的な学習では、いくつかの対照的なペアは下流タスクの真相と矛盾する可能性があるため、これらのペアの損失の減少は下流タスクのパフォーマンスを好ましくは損なう。
これらのコントラストペアの下流タスクにおける予測値と基底値との差を評価するために,期待校正誤差(ece)をグラフコントラスト学習に適用する。
ECEの分析は、コントラスト-Regという新しい正規化手法を提案する動機となり、コントラスト損失の減少が下流タスクの性能向上につながることを確実にする。
プラグイン正規化器として、con contrast-regは既存のグラフコントラスト学習アルゴリズムのパフォーマンスを効果的に改善する。
本稿では,グラフニューラルネットワーク(gnn)モデルの一般化性向上と,異なる類似性定義とエンコーダバックボーンを持つグラフコントラストアルゴリズムの性能向上におけるコントラストレグの有効性を示すために,理論的および実証的な結果を提供する。
関連論文リスト
- Uncovering Capabilities of Model Pruning in Graph Contrastive Learning [0.0]
我々は、拡張ビューではなく、異なるモデルバージョンを対比することで、グラフのコントラスト学習の問題を再構築する。
教師なしおよび転送学習によるグラフ分類に関する様々なベンチマークにおいて,本手法を広範囲に検証する。
論文 参考訳（メタデータ） (2024-10-27T07:09:31Z) - Explaining and Adapting Graph Conditional Shift [28.532526595793364]
グラフニューラルネットワーク(GNN)は,グラフ構造化データに対して顕著な性能を示した。
最近の実証研究により、GNNは分布シフトに非常に敏感であることが示唆されている。
論文 参考訳（メタデータ） (2023-06-05T21:17:48Z) - Localized Contrastive Learning on Graphs [110.54606263711385]
局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。
その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
論文 参考訳（メタデータ） (2022-12-08T23:36:00Z) - Graph Contrastive Learning with Implicit Augmentations [36.57536688367965]
Inlicit Graph Contrastive Learning (iGCL)は、グラフトポロジ構造を再構築することにより、変分グラフオートエンコーダから学習した潜時空間の増大を利用する。
グラフレベルとノードレベルの両方のタスクに対する実験結果から,提案手法が最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2022-11-07T17:34:07Z) - Similarity-aware Positive Instance Sampling for Graph Contrastive
Pre-training [82.68805025636165]
トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。
私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。
さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
論文 参考訳（メタデータ） (2022-06-23T20:12:51Z) - GraphCoCo: Graph Complementary Contrastive Learning [65.89743197355722]
グラフコントラスト学習(GCL)は、手作業によるアノテーションの監督なしに、グラフ表現学習(GRL)において有望な性能を示した。
本稿では,この課題に対処するため,グラフココというグラフ補完型コントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2022-03-24T02:58:36Z) - Adversarial Graph Contrastive Learning with Information Regularization [51.14695794459399]
コントラスト学習はグラフ表現学習において有効な方法である。
グラフ上のデータ拡張は、はるかに直感的ではなく、高品質のコントラスト的なサンプルを提供するのがずっと難しい。
逆グラフ比較学習(Adversarial Graph Contrastive Learning, ARIEL)を提案する。
さまざまな実世界のデータセット上でのノード分類タスクにおいて、現在のグラフのコントラスト学習方法よりも一貫して優れています。
論文 参考訳（メタデータ） (2022-02-14T05:54:48Z) - Graph Self-supervised Learning with Accurate Discrepancy Learning [64.69095775258164]
離散性に基づく自己監督型LeArning(D-SLA)と呼ばれる原図と摂動グラフの正確な相違を学習することを目的としたフレームワークを提案する。
本稿では,分子特性予測,タンパク質機能予測,リンク予測タスクなど,グラフ関連下流タスクにおける本手法の有効性を検証する。
論文 参考訳（メタデータ） (2022-02-07T08:04:59Z) - Bayesian Graph Contrastive Learning [55.36652660268726]
本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。
提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。
いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
論文 参考訳（メタデータ） (2021-12-15T01:45:32Z) - Fairness-Aware Node Representation Learning [9.850791193881651]
本研究は,グラフ強化設計によるグラフ対照的学習における公平性問題に対処する。
グラフ上の異なる公平性の概念を導入し、提案されたグラフ拡張のガイドラインとして機能する。
実ソーシャルネットワークにおける実験結果から,提案した拡張により,統計的平等と平等な機会の両面において公平性が向上することを示した。
論文 参考訳（メタデータ） (2021-06-09T21:12:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。