論文の概要: Negative-Free Self-Supervised Gaussian Embedding of Graphs

• arxiv url: http://arxiv.org/abs/2411.01157v1
• Date: Sat, 02 Nov 2024 07:04:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:47:12.256299
• Title: Negative-Free Self-Supervised Gaussian Embedding of Graphs
• Title（参考訳）: グラフの負の自己監督型ガウス埋め込み
• Authors: Yunhui Liu, Tieke He, Tao Zheng, Jianhua Zhao,
• Abstract要約: グラフコントラスト学習(GCL)は、有望なグラフ自己教師型学習フレームワークとして登場した。 正規化された等方的ガウス関数に従って分布する点が単位超球面全体に均一に広がるという事実に着想を得た、一様性を達成するための負の目的を提案する。 提案手法は,既存のGCL法と比較して,少ないパラメータ,短いトレーニング時間,少ないメモリ消費で競合性能を実現する。
• 参考スコア（独自算出の注目度）: 29.26519601854811
• License:
• Abstract: Graph Contrastive Learning (GCL) has recently emerged as a promising graph self-supervised learning framework for learning discriminative node representations without labels. The widely adopted objective function of GCL benefits from two key properties: \emph{alignment} and \emph{uniformity}, which align representations of positive node pairs while uniformly distributing all representations on the hypersphere. The uniformity property plays a critical role in preventing representation collapse and is achieved by pushing apart augmented views of different nodes (negative pairs). As such, existing GCL methods inherently rely on increasing the quantity and quality of negative samples, resulting in heavy computational demands, memory overhead, and potential class collision issues. In this study, we propose a negative-free objective to achieve uniformity, inspired by the fact that points distributed according to a normalized isotropic Gaussian are uniformly spread across the unit hypersphere. Therefore, we can minimize the distance between the distribution of learned representations and the isotropic Gaussian distribution to promote the uniformity of node representations. Our method also distinguishes itself from other approaches by eliminating the need for a parameterized mutual information estimator, an additional projector, asymmetric structures, and, crucially, negative samples. Extensive experiments over seven graph benchmarks demonstrate that our proposal achieves competitive performance with fewer parameters, shorter training times, and lower memory consumption compared to existing GCL methods.
• Abstract（参考訳）: グラフコントラスト学習(GCL)は、ラベルなしで識別ノード表現を学習するための有望なグラフ自己教師型学習フレームワークとして最近登場した。 GCLの広く採用されている目的関数は、2つの重要な性質から恩恵を受ける: \emph{alignment} と \emph{uniformity} である。 均一性は表現の崩壊を防ぐ上で重要な役割を担い、異なるノード(負のペア)の強化ビューを分割することで達成される。 このように、既存のGCL法は本質的に、負のサンプルの量と品質を増大させることに依存しており、計算負荷、メモリオーバーヘッド、潜在的なクラス衝突問題の原因となっている。 本研究では,正規化された等方的ガウス関数にしたがって分布する点が単位超球面全体に均一に広がるという事実に着想を得た,一様性を達成するための負のフリーな目的を提案する。 したがって、学習した表現の分布と等方性ガウス分布との距離を最小化し、ノード表現の均一性を促進することができる。 また、パラメータ化された相互情報推定器、追加のプロジェクタ、非対称構造、そして決定的な負のサンプルの必要性を排除し、他の手法と区別する。 7つのグラフベンチマークによる大規模な実験により,提案手法は既存のGCL法と比較して,パラメータが少なく,トレーニング時間も短く,メモリ消費量も小さく,競争性能が向上することが示された。

関連論文リスト

• Bootstrap Latents of Nodes and Neighbors for Graph Self-Supervised Learning [27.278097015083343]
  対照的な学習は、モデルの崩壊を防ぎ、差別的な表現を学ぶために負のサンプルを必要とする。 我々は、アンカーノードに対する隣人の支持率を予測するために、クロスアテンションモジュールを導入する。 本手法は, 負の正試料と雑音の正試料とのクラス衝突を緩和し, クラス内コンパクト度を同時に向上する。
  論文  参考訳（メタデータ） (2024-08-09T14:17:52Z)
• Topology Reorganized Graph Contrastive Learning with Mitigating Semantic Drift [28.83750578838018]
  グラフコントラスト学習(GCL)は、グラフにおけるノード表現学習に有効なパラダイムである。 対照的な視点の多様性を高めるために,現在のGCLを補うための2つの単純かつ効果的なグローバルトポロジ的拡張を提案する。
  論文  参考訳（メタデータ） (2024-07-23T13:55:33Z)
• Smoothed Graph Contrastive Learning via Seamless Proximity Integration [35.73306919276754]
  グラフコントラスト学習(GCL)はノードペアを正と負に分類することでノード表現を整列させる。 SGCL(Smoothed Graph Contrastive Learning Model)を提案する。 提案したSGCLは, 3つの異なる平滑化手法を取り入れることで, ノード対に付随するペナルティを対照的な損失で調整する。
  論文  参考訳（メタデータ） (2024-02-23T11:32:46Z)
• STERLING: Synergistic Representation Learning on Bipartite Graphs [78.86064828220613]
  二部グラフ表現学習の基本的な課題は、ノードの埋め込みを抽出する方法である。 最近の二部グラフSSL法は、正ノード対と負ノード対を識別することによって埋め込みを学習する対照的な学習に基づいている。 負のノードペアを持たないノード埋め込みを学習するための新しい相乗的表現学習モデル(STERling)を提案する。
  論文  参考訳（メタデータ） (2023-01-25T03:21:42Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• Single-Pass Contrastive Learning Can Work for Both Homophilic and Heterophilic Graph [60.28340453547902]
  グラフコントラッシブ・ラーニング(GCL)技術は通常、コントラッシブ・ロスを構築するために単一のインスタンスに対して2つのフォワードパスを必要とする。 既存のGCLアプローチは、強力なパフォーマンス保証を提供していない。 我々はSingle-Pass Graph Contrastive Learning法(SP-GCL)を実装した。 経験的に、SP-GCLが学んだ機能は、計算オーバーヘッドを著しく少なくして、既存の強いベースラインにマッチまたは性能を向上することができる。
  論文  参考訳（メタデータ） (2022-11-20T07:18:56Z)
• Augmentation-Free Graph Contrastive Learning of Invariant-Discriminative Representations [2.0621215354103635]
  本稿では,iGCL (invariant-discriminative graph contrastive learning) という拡張自由グラフ比較学習法を提案する。 iGCLは不変・識別的損失(ID損失)を設計し、不変・識別的表現を学習する。 本理論は, 冗長性低減基準, 正準相関解析, および情報ボトルネック原理の観点から, ID損失の有効性を説明する。
  論文  参考訳（メタデータ） (2022-10-15T17:36:04Z)
• Geometric Graph Representation Learning via Maximizing Rate Reduction [73.6044873825311]
  学習ノード表現は、コミュニティ検出やノード分類などのグラフ解析において、さまざまな下流タスクの恩恵を受ける。 教師なしの方法でノード表現を学習するための幾何学グラフ表現学習(G2R)を提案する。 G2R は異なるグループ内のノードを異なる部分空間にマッピングし、各部分空間はコンパクトで異なる部分空間が分散される。
  論文  参考訳（メタデータ） (2022-02-13T07:46:24Z)
• Exploring Non-Contrastive Representation Learning for Deep Clustering [23.546602131801205]
  ディープクラスタリングのための非コントラスト表現学習は、負の例のない代表的手法であるBYOLに基づいている。 NCCは、すべてのクラスタが十分に分離され、クラスタ内の例がコンパクトな埋め込み空間を形成する。 ImageNet-1Kを含むいくつかのクラスタリングベンチマークデータセットの実験結果は、NCCが最先端の手法よりかなり優れていることを示している。
  論文  参考訳（メタデータ） (2021-11-23T12:21:53Z)
• Prototypical Graph Contrastive Learning [141.30842113683775]
  本稿では,有意なサンプリングバイアスを緩和するために,プロトタイプグラフコントラスト学習(PGCL)手法を提案する。 具体的には、PGCLは、グラフデータの基盤となる意味構造を、意味論的に類似したグラフを同じグループにクラスタリングすることでモデル化し、同時に、同じグラフの異なる拡張に対するクラスタリング一貫性を奨励する。 クエリのために、PGCLはさらに、プロトタイプ(クラスタセントロイド)とクエリプロトタイプの間の距離に基づいて、負のサンプルを再重み付けする。
  論文  参考訳（メタデータ） (2021-06-17T16:45:31Z)
• Block-Approximated Exponential Random Graphs [77.4792558024487]
  指数乱グラフ(ERG)の分野における重要な課題は、大きなグラフ上の非自明なERGの適合である。 本稿では,非自明なERGに対する近似フレームワークを提案する。 我々の手法は、数百万のノードからなるスパースグラフにスケーラブルである。
  論文  参考訳（メタデータ） (2020-02-14T11:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。