論文の概要: Contrastive Laplacian Eigenmaps

• arxiv url: http://arxiv.org/abs/2201.05493v1
• Date: Fri, 14 Jan 2022 14:59:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-17 14:53:48.318186
• Title: Contrastive Laplacian Eigenmaps
• Title（参考訳）: 対照的なラプラシア固有写像
• Authors: Hao Zhu, Ke Sun, Piotr Koniusz
• Abstract要約: グラフの対照的な学習は、類似性の概念の下で類似/異種ノードペアのノード表現を惹きつける/分散する。 我々は、著名なラプラシア固有写像を対照的な学習で拡張し、これらをContrastive Laplacian EigenmapS (COLES) と呼ぶ。
• 参考スコア（独自算出の注目度）: 37.5297239772525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph contrastive learning attracts/disperses node representations for similar/dissimilar node pairs under some notion of similarity. It may be combined with a low-dimensional embedding of nodes to preserve intrinsic and structural properties of a graph. In this paper, we extend the celebrated Laplacian Eigenmaps with contrastive learning, and call them COntrastive Laplacian EigenmapS (COLES). Starting from a GAN-inspired contrastive formulation, we show that the Jensen-Shannon divergence underlying many contrastive graph embedding models fails under disjoint positive and negative distributions, which may naturally emerge during sampling in the contrastive setting. In contrast, we demonstrate analytically that COLES essentially minimizes a surrogate of Wasserstein distance, which is known to cope well under disjoint distributions. Moreover, we show that the loss of COLES belongs to the family of so-called block-contrastive losses, previously shown to be superior compared to pair-wise losses typically used by contrastive methods. We show on popular benchmarks/backbones that COLES offers favourable accuracy/scalability compared to DeepWalk, GCN, Graph2Gauss, DGI and GRACE baselines.
• Abstract（参考訳）: グラフの対照的な学習は類似性の概念の下で類似/類似ノード対のノード表現を惹きつける。 グラフの内在的性質と構造特性を保存するために、低次元のノードの埋め込みと組み合わせることができる。 本稿では,有名なラプラシアン固有写像を対照的な学習で拡張し,これらをContrastive Laplacian EigenmapS (COLES)と呼ぶ。 ganにインスパイアされたコントラストの定式化から始め、多くのコントラストグラフ埋め込みモデルの基礎となるjensen-shannonの発散は、対照的な設定でサンプリング中に自然に現れる不一致の正と負の分布の下では失敗することを示した。 対照的に、コレスが本質的にワッサーシュタイン距離のサーロゲートを最小化していることは分析的に証明している。 さらに,COLESの損失は,従来比較法でよく用いられてきたペアワイズ損失よりも優れていた,いわゆるブロックコントラスト損失のファミリーに属することを示す。 我々は、DeepWalk、GCN、Graph2Gauss、DGI、GRACEベースラインと比較して、COLESが好ましい精度/スケール性を提供します。

関連論文リスト

• Bootstrap Latents of Nodes and Neighbors for Graph Self-Supervised Learning [27.278097015083343]
  対照的な学習は、モデルの崩壊を防ぎ、差別的な表現を学ぶために負のサンプルを必要とする。 我々は、アンカーノードに対する隣人の支持率を予測するために、クロスアテンションモジュールを導入する。 本手法は, 負の正試料と雑音の正試料とのクラス衝突を緩和し, クラス内コンパクト度を同時に向上する。
  論文  参考訳（メタデータ） (2024-08-09T14:17:52Z)
• Topology Reorganized Graph Contrastive Learning with Mitigating Semantic Drift [28.83750578838018]
  グラフコントラスト学習(GCL)は、グラフにおけるノード表現学習に有効なパラダイムである。 対照的な視点の多様性を高めるために,現在のGCLを補うための2つの単純かつ効果的なグローバルトポロジ的拡張を提案する。
  論文  参考訳（メタデータ） (2024-07-23T13:55:33Z)
• Generation is better than Modification: Combating High Class Homophily Variance in Graph Anomaly Detection [51.11833609431406]
  異なるクラス間のホモフィリー分布の差は、ホモフィリックグラフやヘテロフィリックグラフよりも著しく大きい。 我々は、この現象を定量的に記述した、クラスホモフィリーバリアンスと呼ばれる新しい計量を導入する。 その影響を軽減するために,ホモフィリーエッジ生成グラフニューラルネットワーク(HedGe)と呼ばれる新しいGNNモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-15T14:26:53Z)
• Smoothed Graph Contrastive Learning via Seamless Proximity Integration [30.247207861739245]
  グラフコントラスト学習(GCL)はノードペアを正と負に分類することでノード表現を整列させる。 SGCL(Smoothed Graph Contrastive Learning Model)を提案する。 提案したSGCLは,3つの異なる平滑化手法を取り入れることで,ノード対に付随するペナルティを対照的な損失で調整する。
  論文  参考訳（メタデータ） (2024-02-23T11:32:46Z)
• OrthoReg: Improving Graph-regularized MLPs via Orthogonality Regularization [66.30021126251725]
  グラフニューラルネットワーク(GNN)は現在、グラフ構造データのモデリングにおいて支配的である。 グラフ正規化ネットワーク(GR-MLP)はグラフ構造情報をモデル重みに暗黙的に注入するが、その性能はほとんどのタスクにおいてGNNとほとんど一致しない。 GR-MLPは,最大数個の固有値が埋め込み空間を支配する現象である次元崩壊に苦しむことを示す。 次元崩壊問題を緩和する新しいGR-MLPモデルであるOrthoRegを提案する。
  論文  参考訳（メタデータ） (2023-01-31T21:20:48Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• Single-Pass Contrastive Learning Can Work for Both Homophilic and Heterophilic Graph [60.28340453547902]
  グラフコントラッシブ・ラーニング(GCL)技術は通常、コントラッシブ・ロスを構築するために単一のインスタンスに対して2つのフォワードパスを必要とする。 既存のGCLアプローチは、強力なパフォーマンス保証を提供していない。 我々はSingle-Pass Graph Contrastive Learning法(SP-GCL)を実装した。 経験的に、SP-GCLが学んだ機能は、計算オーバーヘッドを著しく少なくして、既存の強いベースラインにマッチまたは性能を向上することができる。
  論文  参考訳（メタデータ） (2022-11-20T07:18:56Z)
• A Probabilistic Graph Coupling View of Dimension Reduction [5.35952718937799]
  クロスエントロピーを用いた隠れグラフの結合に基づく統一統計フレームワークを提案する。 既存のペアワイズ類似性DR法は,グラフの事前選択に際し,我々のフレームワークから検索可能であることを示す。 我々のモデルはこの問題に対処するために活用され拡張され、新しいリンクはラプラシア固有写像とPCAで描画される。
  論文  参考訳（メタデータ） (2022-01-31T08:21:55Z)
• Implicit vs Unfolded Graph Neural Networks [18.084842625063082]
  グラフニューラルネットワーク(GNN)は、長期依存のモデリングと意図しない結果の回避の間の健全なバランスを維持するのに苦労することがある。 最近、2つの戦略、すなわち暗黙と展開されたGNNが提案されている。 我々は、様々な合成および公的な実世界のベンチマークに対して、実験的な頭と頭の比較を行う。
  論文  参考訳（メタデータ） (2021-11-12T07:49:16Z)
• Prototypical Graph Contrastive Learning [141.30842113683775]
  本稿では,有意なサンプリングバイアスを緩和するために,プロトタイプグラフコントラスト学習(PGCL)手法を提案する。 具体的には、PGCLは、グラフデータの基盤となる意味構造を、意味論的に類似したグラフを同じグループにクラスタリングすることでモデル化し、同時に、同じグラフの異なる拡張に対するクラスタリング一貫性を奨励する。 クエリのために、PGCLはさらに、プロトタイプ(クラスタセントロイド)とクエリプロトタイプの間の距離に基づいて、負のサンプルを再重み付けする。
  論文  参考訳（メタデータ） (2021-06-17T16:45:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。