論文の概要: Entropy Neural Estimation for Graph Contrastive Learning

• arxiv url: http://arxiv.org/abs/2307.13944v1
• Date: Wed, 26 Jul 2023 03:55:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-27 13:37:47.130538
• Title: Entropy Neural Estimation for Graph Contrastive Learning
• Title（参考訳）: グラフコントラスト学習のためのエントロピーニューラル推定
• Authors: Yixuan Ma, Xiaolin Zhang, Peng Zhang, Kun Zhan
• Abstract要約: グラフ上のコントラスト学習は、ノードの区別可能な高レベル表現を抽出することを目的としている。 本稿では,データセットのビュー間のペアワイズ表現を対比する,単純かつ効果的なサブセットサンプリング戦略を提案する。 7つのグラフベンチマークで広範な実験を行い、提案手法は競合性能を実現する。
• 参考スコア（独自算出の注目度）: 9.032721248598088
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning on graphs aims at extracting distinguishable high-level representations of nodes. In this paper, we theoretically illustrate that the entropy of a dataset can be approximated by maximizing the lower bound of the mutual information across different views of a graph, \ie, entropy is estimated by a neural network. Based on this finding, we propose a simple yet effective subset sampling strategy to contrast pairwise representations between views of a dataset. In particular, we randomly sample nodes and edges from a given graph to build the input subset for a view. Two views are fed into a parameter-shared Siamese network to extract the high-dimensional embeddings and estimate the information entropy of the entire graph. For the learning process, we propose to optimize the network using two objectives, simultaneously. Concretely, the input of the contrastive loss function consists of positive and negative pairs. Our selection strategy of pairs is different from previous works and we present a novel strategy to enhance the representation ability of the graph encoder by selecting nodes based on cross-view similarities. We enrich the diversity of the positive and negative pairs by selecting highly similar samples and totally different data with the guidance of cross-view similarity scores, respectively. We also introduce a cross-view consistency constraint on the representations generated from the different views. This objective guarantees the learned representations are consistent across views from the perspective of the entire graph. We conduct extensive experiments on seven graph benchmarks, and the proposed approach achieves competitive performance compared to the current state-of-the-art methods. The source code will be publicly released once this paper is accepted.
• Abstract（参考訳）: グラフ上の対比学習は、ノードの識別可能なハイレベル表現を抽出することを目的としている。 本稿では,グラフの異なるビューにおける相互情報の下位境界を最大化することにより,データセットのエントロピーを近似することができることを理論的に説明する。 そこで本研究では,データセットのビュー間のペアワイズ表現を対比する,シンプルで効果的なサブセットサンプリング戦略を提案する。 特に、与えられたグラフからノードとエッジをランダムにサンプリングして、ビューの入力サブセットを構築します。 2つのビューはパラメータ共有のシャムネットワークに送られ、高次元埋め込みを抽出し、グラフ全体の情報エントロピーを推定する。 学習プロセスでは,2つの目的を同時に利用してネットワークを最適化することを提案する。 具体的には、対照的損失関数の入力は正対と負対からなる。 グラフエンコーダの表現能力を向上するための新たな戦略として,クロスビューの類似性に基づいてノードを選択する手法を提案する。 我々は, 非常に類似したサンプルと全く異なるデータを選択することで, 正と負のペアの多様性を向上する。 また、異なるビューから生成された表現に対して、クロスビュー一貫性制約を導入する。 この目的は、学習された表現がグラフ全体の観点からビュー間で一貫性があることを保証する。 提案手法は,7つのグラフベンチマークを広範囲に実験し,現在の最先端手法と比較し,競合性能を実現する。 この論文が受け入れられたら、ソースコードは公開される予定だ。

関連論文リスト

• A Simple and Scalable Graph Neural Network for Large Directed Graphs [11.792826520370774]
  入力グラフ内のノード表現とエッジ方向認識の様々な組み合わせについて検討する。 そこで本研究では,A2DUGを簡易かつ包括的に分類する手法を提案する。 我々は、A2DUGが様々なデータセットで安定して動作し、最先端の手法と比較して11.29まで精度が向上することを示した。
  論文  参考訳（メタデータ） (2023-06-14T06:24:58Z)
• Rethinking Explaining Graph Neural Networks via Non-parametric Subgraph Matching [68.35685422301613]
  そこで我々はMatchExplainerと呼ばれる新しい非パラメトリックな部分グラフマッチングフレームワークを提案し、説明的部分グラフを探索する。 ターゲットグラフと他のインスタンスを結合し、ノードに対応する距離を最小化することで最も重要な結合部分構造を識別する。 合成および実世界のデータセットの実験は、最先端のパラメトリックベースラインをかなりのマージンで上回り、MatchExplainerの有効性を示す。
  論文  参考訳（メタデータ） (2023-01-07T05:14:45Z)
• Line Graph Contrastive Learning for Link Prediction [4.876567687745239]
  多視点情報を得るために,Line Graph Contrastive Learning (LGCL)法を提案する。 6つの公開データセットの実験により、LGCLはリンク予測タスクの現在のベンチマークを上回っている。
  論文  参考訳（メタデータ） (2022-10-25T06:57:00Z)
• Generative Subgraph Contrast for Self-Supervised Graph Representation Learning [16.374143635724327]
  本稿では, 適応部分グラフ生成をベースとした, 効率的かつ堅牢な自己教師付きグラフ表現学習のためのコントラスト学習フレームワークを提案する。 本研究の目的は,グラフの内在的構造を捕捉し,サブグラフの特徴と構造に基づいてサンプルを同時に識別することで,対照的なサンプルを生成することである。
  論文  参考訳（メタデータ） (2022-07-25T09:08:46Z)
• CGMN: A Contrastive Graph Matching Network for Self-Supervised Graph Similarity Learning [65.1042892570989]
  自己教師付きグラフ類似性学習のためのコントラストグラフマッチングネットワーク(CGMN)を提案する。 我々は,効率的なノード表現学習のために,クロスビューインタラクションとクロスグラフインタラクションという2つの戦略を用いる。 我々はノード表現をグラフ類似性計算のためのプール演算によりグラフレベル表現に変換する。
  論文  参考訳（メタデータ） (2022-05-30T13:20:26Z)
• Collaborative likelihood-ratio estimation over graphs [55.98760097296213]
  グラフに基づく相対的制約のない最小二乗重要度フィッティング(GRULSIF) 我々はこの考え方を、グラフベースの相対的非制約最小二乗重要度フィッティング(GRULSIF)と呼ばれる具体的な非パラメトリック手法で開発する。 我々は、ノード当たりの観測回数、グラフのサイズ、およびグラフ構造がタスク間の類似性をどの程度正確にエンコードしているかといった変数が果たす役割を強調する、協調的なアプローチの収束率を導出する。
  論文  参考訳（メタデータ） (2022-05-28T15:37:03Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)
• Group Contrastive Self-Supervised Learning on Graphs [101.45974132613293]
  グラフ上での自己教師型学習をコントラッシブ手法を用いて研究する。 複数の部分空間におけるグラフの対比により、グラフエンコーダはより豊富な特徴を捉えることができる。
  論文  参考訳（メタデータ） (2021-07-20T22:09:21Z)
• Self-Supervised Graph Learning with Proximity-based Views and Channel Contrast [4.761137180081091]
  グラフニューラルネットワーク(GNN)は、近傍の集約をコアコンポーネントとして使用し、近接ノード間の機能を滑らかにする。 この問題に対処するため、我々は2つのグラフビューでグラフを強化し、ノードは最も類似した特徴や局所構造を持つものと直接リンクする。 生成したビューと元のグラフをまたいだ表現の一致を最大化する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-07T15:38:36Z)
• A Robust and Generalized Framework for Adversarial Graph Embedding [73.37228022428663]
  本稿では,AGE という逆グラフ埋め込みのための頑健なフレームワークを提案する。 AGEは、暗黙の分布から強化された負のサンプルとして偽の隣接ノードを生成する。 本フレームワークでは,3種類のグラフデータを扱う3つのモデルを提案する。
  論文  参考訳（メタデータ） (2021-05-22T07:05:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。