論文の概要: Topology Reorganized Graph Contrastive Learning with Mitigating Semantic Drift
- arxiv url: http://arxiv.org/abs/2407.16726v1
- Date: Tue, 23 Jul 2024 13:55:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-25 15:54:04.459000
- Title: Topology Reorganized Graph Contrastive Learning with Mitigating Semantic Drift
- Title（参考訳）: 意味的ドリフトの緩和によるグラフコントラスト学習のトポロジー
- Authors: Jiaqiang Zhang, Songcan Chen,
- Abstract要約: グラフコントラスト学習(GCL)は、グラフにおけるノード表現学習に有効なパラダイムである。
対照的な視点の多様性を高めるために,現在のGCLを補うための2つの単純かつ効果的なグローバルトポロジ的拡張を提案する。
- 参考スコア（独自算出の注目度）: 28.83750578838018
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph contrastive learning (GCL) is an effective paradigm for node representation learning in graphs. The key components hidden behind GCL are data augmentation and positive-negative pair selection. Typical data augmentations in GCL, such as uniform deletion of edges, are generally blind and resort to local perturbation, which is prone to producing under-diversity views. Additionally, there is a risk of making the augmented data traverse to other classes. Moreover, most methods always treat all other samples as negatives. Such a negative pairing naturally results in sampling bias and likewise may make the learned representation suffer from semantic drift. Therefore, to increase the diversity of the contrastive view, we propose two simple and effective global topological augmentations to compensate current GCL. One is to mine the semantic correlation between nodes in the feature space. The other is to utilize the algebraic properties of the adjacency matrix to characterize the topology by eigen-decomposition. With the help of both, we can retain important edges to build a better view. To reduce the risk of semantic drift, a prototype-based negative pair selection is further designed which can filter false negative samples. Extensive experiments on various tasks demonstrate the advantages of the model compared to the state-of-the-art methods.
- Abstract（参考訳）: グラフコントラスト学習(GCL)は、グラフにおけるノード表現学習に有効なパラダイムである。
GCLの背後に隠された重要なコンポーネントは、データ拡張と正負のペア選択である。
エッジの均一な削除など、GCLの典型的なデータ拡張は、一般的に盲目であり、局所的な摂動に頼っている。
さらに、拡張データを他のクラスにトラバースさせるリスクもある。
さらに、ほとんどのメソッドは、常に他のすべてのサンプルを負として扱う。
このような負のペアリングは自然にサンプリングバイアスをもたらし、同様に学習された表現が意味的ドリフトに悩まされる可能性がある。
したがって、対照的な視点の多様性を高めるために、現在のGCLを補うための2つの単純かつ効果的なグローバルトポロジ的拡張を提案する。
1つは、特徴空間内のノード間の意味的相関を掘り下げることである。
もう一つは、隣接行列の代数的性質を利用して、固有分解によって位相を特徴づけることである。
両方の助けを借りて、より良いビューを構築するために重要なエッジを維持することができます。
セマンティックドリフトのリスクを低減するため、偽陰性サンプルをフィルタリングできるプロトタイプベースの負対選択がさらに設計されている。
様々なタスクに関する大規模な実験は、最先端の手法と比較してモデルの利点を実証している。
関連論文リスト
- Negative-Free Self-Supervised Gaussian Embedding of Graphs [29.26519601854811]
グラフコントラスト学習(GCL)は、有望なグラフ自己教師型学習フレームワークとして登場した。
正規化された等方的ガウス関数に従って分布する点が単位超球面全体に均一に広がるという事実に着想を得た、一様性を達成するための負の目的を提案する。
提案手法は,既存のGCL法と比較して,少ないパラメータ,短いトレーニング時間,少ないメモリ消費で競合性能を実現する。
論文 参考訳（メタデータ） (2024-11-02T07:04:40Z) - Smoothed Graph Contrastive Learning via Seamless Proximity Integration [30.247207861739245]
グラフコントラスト学習(GCL)はノードペアを正と負に分類することでノード表現を整列させる。
SGCL(Smoothed Graph Contrastive Learning Model)を提案する。
提案したSGCLは,3つの異なる平滑化手法を取り入れることで,ノード対に付随するペナルティを対照的な損失で調整する。
論文 参考訳（メタデータ） (2024-02-23T11:32:46Z) - Pseudo Contrastive Learning for Graph-based Semi-supervised Learning [67.37572762925836]
Pseudo Labelingは、グラフニューラルネットワーク(GNN)の性能向上に使用されるテクニックである。
我々はPseudo Contrastive Learning(PCL)と呼ばれるGNNのための一般的なフレームワークを提案する。
論文 参考訳（メタデータ） (2023-02-19T10:34:08Z) - STERLING: Synergistic Representation Learning on Bipartite Graphs [78.86064828220613]
二部グラフ表現学習の基本的な課題は、ノードの埋め込みを抽出する方法である。
最近の二部グラフSSL法は、正ノード対と負ノード対を識別することによって埋め込みを学習する対照的な学習に基づいている。
負のノードペアを持たないノード埋め込みを学習するための新しい相乗的表現学習モデル(STERling)を提案する。
論文 参考訳（メタデータ） (2023-01-25T03:21:42Z) - Localized Contrastive Learning on Graphs [110.54606263711385]
局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。
その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
論文 参考訳（メタデータ） (2022-12-08T23:36:00Z) - Single-Pass Contrastive Learning Can Work for Both Homophilic and
Heterophilic Graph [60.28340453547902]
グラフコントラッシブ・ラーニング(GCL)技術は通常、コントラッシブ・ロスを構築するために単一のインスタンスに対して2つのフォワードパスを必要とする。
既存のGCLアプローチは、強力なパフォーマンス保証を提供していない。
我々はSingle-Pass Graph Contrastive Learning法(SP-GCL)を実装した。
経験的に、SP-GCLが学んだ機能は、計算オーバーヘッドを著しく少なくして、既存の強いベースラインにマッチまたは性能を向上することができる。
論文 参考訳（メタデータ） (2022-11-20T07:18:56Z) - Heterogeneous Graph Contrastive Multi-view Learning [11.489983916543805]
グラフデータセット上での識別ノード表現を学習するために,グラフコントラスト学習(GCL)が開発された。
本稿では,HGCML(Heterogeneous Graph Contrastive Multi-view Learning)モデルを提案する。
HGCMLは、5つの実世界のベンチマークデータセットにおける最先端のベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2022-10-01T10:53:48Z) - Enhancing Graph Contrastive Learning with Node Similarity [4.60032347615771]
グラフコントラスト学習(GCL)は、自己教師型学習の代表的なフレームワークである。
GCLは、意味的に類似したノード(正のサンプル)と異種ノード(負のサンプル)とアンカーノードとの対比によってノード表現を学習する。
本稿では,全ての正のサンプルと偽陰性サンプルを含まない拡張目的を提案する。
論文 参考訳（メタデータ） (2022-08-13T22:49:20Z) - Prototypical Graph Contrastive Learning [141.30842113683775]
本稿では,有意なサンプリングバイアスを緩和するために,プロトタイプグラフコントラスト学習(PGCL)手法を提案する。
具体的には、PGCLは、グラフデータの基盤となる意味構造を、意味論的に類似したグラフを同じグループにクラスタリングすることでモデル化し、同時に、同じグラフの異なる拡張に対するクラスタリング一貫性を奨励する。
クエリのために、PGCLはさらに、プロトタイプ(クラスタセントロイド)とクエリプロトタイプの間の距離に基づいて、負のサンプルを再重み付けする。
論文 参考訳（メタデータ） (2021-06-17T16:45:31Z) - Contrastive Attraction and Contrastive Repulsion for Representation
Learning [131.72147978462348]
コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。
最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。
自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
論文 参考訳（メタデータ） (2021-05-08T17:25:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。