論文の概要: Improving Graph Representation Learning by Contrastive Regularization

• arxiv url: http://arxiv.org/abs/2101.11525v1
• Date: Wed, 27 Jan 2021 16:31:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-13 19:47:37.761142
• Title: Improving Graph Representation Learning by Contrastive Regularization
• Title（参考訳）: コントラスト正規化によるグラフ表現学習の改善
• Authors: Kaili Ma, Haochen Yang, Han Yang, Tatiana Jin, Pengfei Chen, Yongqiang Chen, Barakeel Fanseu Kamhoua, James Cheng
• Abstract要約: グラフ表現学習は、オンラインソーシャルネットワーク、eコマースネットワーク、WWW、セマンティックウェブなど、さまざまな分野のアプリケーションで重要なタスクです。 本稿では,ノード表現のノルムの大規模化とそれらの分散化を回避し,一般化性能を向上させる軽量正規化項を提案する。 実験により, この正規化項は, 異なるノード類似性定義の表現品質を著しく向上し, 最先端の手法よりも優れることを確認した。
• 参考スコア（独自算出の注目度）: 15.318029014836759
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph representation learning is an important task with applications in various areas such as online social networks, e-commerce networks, WWW, and semantic webs. For unsupervised graph representation learning, many algorithms such as Node2Vec and Graph-SAGE make use of "negative sampling" and/or noise contrastive estimation loss. This bears similar ideas to contrastive learning, which "contrasts" the node representation similarities of semantically similar (positive) pairs against those of negative pairs. However, despite the success of contrastive learning, we found that directly applying this technique to graph representation learning models (e.g., graph convolutional networks) does not always work. We theoretically analyze the generalization performance and propose a light-weight regularization term that avoids the high scales of node representations' norms and the high variance among them to improve the generalization performance. Our experimental results further validate that this regularization term significantly improves the representation quality across different node similarity definitions and outperforms the state-of-the-art methods.
• Abstract（参考訳）: グラフ表現学習は、オンラインソーシャルネットワーク、eコマースネットワーク、WWW、セマンティックウェブなど、さまざまな分野のアプリケーションで重要なタスクです。 教師なしグラフ表現学習では、Node2VecやGraph-SAGEといった多くのアルゴリズムが"負サンプリング"やノイズコントラスト推定損失を使用している。 これは、意味的に類似する(正の)ペアと負のペアのノード表現の類似性を「矛盾する」コントラスト学習と同様の考えを持つ。 しかし、コントラスト学習の成功にもかかわらず、グラフ表現学習モデル(例えばグラフ畳み込みネットワーク)に直接この手法を適用することは必ずしもうまくいくとは限らない。 本稿では, 一般化性能を理論的に解析し, ノード表現のノルムの高スケール化と高分散化を回避し, 一般化性能を向上させる軽量正規化項を提案する。 実験により, この正規化項は, 異なるノード類似性定義の表現品質を著しく向上し, 最先端の手法よりも優れることを確認した。

関連論文リスト

• Uncovering Capabilities of Model Pruning in Graph Contrastive Learning [0.0]
  我々は、拡張ビューではなく、異なるモデルバージョンを対比することで、グラフのコントラスト学習の問題を再構築する。 教師なしおよび転送学習によるグラフ分類に関する様々なベンチマークにおいて,本手法を広範囲に検証する。
  論文  参考訳（メタデータ） (2024-10-27T07:09:31Z)
• Explaining and Adapting Graph Conditional Shift [28.532526595793364]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データに対して顕著な性能を示した。 最近の実証研究により、GNNは分布シフトに非常に敏感であることが示唆されている。
  論文  参考訳（メタデータ） (2023-06-05T21:17:48Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• Graph Contrastive Learning with Implicit Augmentations [36.57536688367965]
  Inlicit Graph Contrastive Learning (iGCL)は、グラフトポロジ構造を再構築することにより、変分グラフオートエンコーダから学習した潜時空間の増大を利用する。 グラフレベルとノードレベルの両方のタスクに対する実験結果から,提案手法が最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-11-07T17:34:07Z)
• Similarity-aware Positive Instance Sampling for Graph Contrastive Pre-training [82.68805025636165]
  トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。 私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。 さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
  論文  参考訳（メタデータ） (2022-06-23T20:12:51Z)
• GraphCoCo: Graph Complementary Contrastive Learning [65.89743197355722]
  グラフコントラスト学習(GCL)は、手作業によるアノテーションの監督なしに、グラフ表現学習(GRL)において有望な性能を示した。 本稿では,この課題に対処するため,グラフココというグラフ補完型コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-24T02:58:36Z)
• Adversarial Graph Contrastive Learning with Information Regularization [51.14695794459399]
  コントラスト学習はグラフ表現学習において有効な方法である。 グラフ上のデータ拡張は、はるかに直感的ではなく、高品質のコントラスト的なサンプルを提供するのがずっと難しい。 逆グラフ比較学習(Adversarial Graph Contrastive Learning, ARIEL)を提案する。 さまざまな実世界のデータセット上でのノード分類タスクにおいて、現在のグラフのコントラスト学習方法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2022-02-14T05:54:48Z)
• Graph Self-supervised Learning with Accurate Discrepancy Learning [64.69095775258164]
  離散性に基づく自己監督型LeArning(D-SLA)と呼ばれる原図と摂動グラフの正確な相違を学習することを目的としたフレームワークを提案する。 本稿では,分子特性予測,タンパク質機能予測,リンク予測タスクなど,グラフ関連下流タスクにおける本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2022-02-07T08:04:59Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)
• Fairness-Aware Node Representation Learning [9.850791193881651]
  本研究は,グラフ強化設計によるグラフ対照的学習における公平性問題に対処する。 グラフ上の異なる公平性の概念を導入し、提案されたグラフ拡張のガイドラインとして機能する。 実ソーシャルネットワークにおける実験結果から,提案した拡張により,統計的平等と平等な機会の両面において公平性が向上することを示した。
  論文  参考訳（メタデータ） (2021-06-09T21:12:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。