論文の概要: Contrastive Learning under Heterophily
- arxiv url: http://arxiv.org/abs/2303.06344v1
- Date: Sat, 11 Mar 2023 08:32:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-14 19:39:24.066548
- Title: Contrastive Learning under Heterophily
- Title(参考訳): 異所性学習におけるコントラスト学習
- Authors: Wenhan Yang, Baharan Mirzasoleiman
- Abstract要約: グラフニューラルネットワークは、タスク固有のノードラベルが利用できる場合にノード表現を学習するための強力なツールである。
コントラスト学習(CL)は、自己指導的な方法で表現を学ぶのに特に人気がある。
本研究では,ヘテロフィリーの下でノード表現を学習するための最初のグラフCL法HLCLを提案する。
- 参考スコア(独自算出の注目度): 56.68709470137506
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph Neural Networks are powerful tools for learning node representations
when task-specific node labels are available. However, obtaining labels for
graphs is expensive in many applications. This is particularly the case for
large graphs. To address this, there has been a body of work to learn node
representations in a self-supervised manner without labels. Contrastive
learning (CL), has been particularly popular to learn representations in a
self-supervised manner. In general, CL methods work by maximizing the
similarity between representations of augmented views of the same example, and
minimizing the similarity between augmented views of different examples.
However, existing graph CL methods cannot learn high-quality representations
under heterophily, where connected nodes tend to belong to different classes.
This is because under heterophily, augmentations of the same example may not be
similar to each other. In this work, we address the above problem by proposing
the first graph CL method, HLCL, for learning node representations, under
heterophily. HLCL uses a high-pass and a low-pass graph filter to generate
different views of the same node. Then, it contrasts the two filtered views to
learn the final node representations. Effectively, the high-pass filter
captures the dissimilarity between nodes in a neighborhood and the low-pass
filter captures the similarity between neighboring nodes.Contrasting the two
filtered views allows HLCL to learn rich node representations for graphs, under
heterophily and homophily.Empirically, HLCL outperforms state-of-the-art graph
CL methods on benchmark heterophily datasets and large-scale real-world
datasets by up to 10%.
- Abstract(参考訳): グラフニューラルネットワークは、タスク固有のノードラベルが利用できる場合にノード表現を学習するための強力なツールである。
しかし、グラフのラベルを取得することは多くのアプリケーションで高価である。
これは特に大きなグラフの場合である。
これを解決するために,ラベルなしでノード表現を自己教師付きで学習する作業が数多く行われている。
コントラスト学習(CL)は、自己指導的な方法で表現を学ぶのに特に人気がある。
一般に、CL法は、同じ例の強化ビューの表現間の類似度を最大化し、異なる例の強化ビュー間の類似度を最小化する。
しかし、既存のグラフCL法では、連結ノードが異なるクラスに属する傾向があるヘテロフィリーの下で高品質な表現を学べない。
これは、ヘテロフィリーの下では、同じ例の増分は互いに似ていないかもしれないためである。
本稿では,ノード表現学習のための最初のグラフcl法であるhlclを提案することで,上記の問題に対処する。
HLCLは、同じノードの異なるビューを生成するために、ハイパスとローパスグラフフィルタを使用する。
そして、最終的なノード表現を学ぶために、2つのフィルタされたビューを対比する。
有効に、ハイパスフィルタは近隣のノード間の相似性をキャプチャし、ローパスフィルタは隣のノード間の類似性をキャプチャするが、2つのフィルタされたビューとは対照的に、HLCLはグラフのリッチなノード表現をヘテロフィリーでホモフィリーに学習することができる。
関連論文リスト
- Simple and Asymmetric Graph Contrastive Learning without Augmentations [39.301072710063636]
グラフのための非対称コントラスト学習(GraphACL)は実装が容易であり、グラフ拡張やホモフィリー仮定に依存しない。
実験結果から, 単純グラフACLは, ホモ親和性グラフとヘテロ親和性グラフの対比学習法と自己教師学習法を著しく上回ることがわかった。
論文 参考訳(メタデータ) (2023-10-29T03:14:20Z) - Contrastive Learning for Non-Local Graphs with Multi-Resolution
Structural Views [1.4445779250002606]
本稿では,グラフ上の拡散フィルタを統合する新しい多視点コントラスト学習手法を提案する。
複数のグラフビューを拡張として組み込むことで、異種グラフの構造的等価性を捉える。
論文 参考訳(メタデータ) (2023-08-19T17:42:02Z) - HomoGCL: Rethinking Homophily in Graph Contrastive Learning [64.85392028383164]
HomoGCL はモデルに依存しないフレームワークで、近隣のノードに固有の意味を持つ正の集合を拡大する。
我々は、HomoGCLが6つの公開データセットにまたがって複数の最先端結果をもたらすことを示す。
論文 参考訳(メタデータ) (2023-06-16T04:06:52Z) - Subgraph Networks Based Contrastive Learning [4.322746189197653]
グラフコントラスト学習(GCL)は、注釈付きデータ不足の問題を解決する。
既存のGCL手法の多くは、グラフ拡張戦略や相互情報推定操作の設計に重点を置いている。
サブグラフネットワークに基づくコントラスト学習(SGNCL)という新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-06T08:52:44Z) - ID-MixGCL: Identity Mixup for Graph Contrastive Learning [22.486101865027678]
ID-MixGCLは、入力ノードと対応するIDラベルの同時データセットを使用して、ソフト信頼サンプルを得る。
その結果、ID-MixGCLは、グラフ分類およびノード分類タスクの性能を向上させることが示された。
論文 参考訳(メタデータ) (2023-04-20T01:46:39Z) - HCL: Improving Graph Representation with Hierarchical Contrastive
Learning [15.418743452614846]
階層的コントラスト学習(HCL)フレームワークは、階層的な方法でグラフ表現を明示的に学習する。
HCLはノード分類、ノードクラスタリング、グラフ分類を含む12のデータセットで競合性能を達成する。
論文 参考訳(メタデータ) (2022-10-21T15:07:46Z) - Geometry Contrastive Learning on Heterogeneous Graphs [50.58523799455101]
本稿では,幾何学コントラスト学習(Geometry Contrastive Learning, GCL)と呼ばれる,新しい自己指導型学習手法を提案する。
GCLはユークリッドと双曲的な視点からヘテロジニアスグラフを同時に見ることができ、リッチな意味論と複雑な構造をモデル化する能力の強い融合を目指している。
4つのベンチマークデータセットの大規模な実験は、提案手法が強いベースラインよりも優れていることを示している。
論文 参考訳(メタデータ) (2022-06-25T03:54:53Z) - Higher-Order Attribute-Enhancing Heterogeneous Graph Neural Networks [67.25782890241496]
異種ネットワーク表現学習のための高次属性強化グラフニューラルネットワーク(HAEGNN)を提案する。
HAEGNNは、リッチで異質なセマンティクスのためのメタパスとメタグラフを同時に組み込む。
ノード分類、ノードクラスタリング、可視化における最先端の手法よりも優れたパフォーマンスを示す。
論文 参考訳(メタデータ) (2021-04-16T04:56:38Z) - Inverse Graph Identification: Can We Identify Node Labels Given Graph
Labels? [89.13567439679709]
グラフ識別(GI)は、グラフ学習において長い間研究されており、特定の応用において不可欠である。
本稿では,逆グラフ識別(Inverse Graph Identification, IGI)と呼ばれる新しい問題を定義する。
本稿では,グラフアテンションネットワーク(GAT)を用いたノードレベルのメッセージパッシング処理を,GIのプロトコルの下でシンプルかつ効果的に行う方法を提案する。
論文 参考訳(メタデータ) (2020-07-12T12:06:17Z) - Sequential Graph Convolutional Network for Active Learning [53.99104862192055]
逐次グラフ畳み込みネットワーク(GCN)を用いた新しいプールベースアクティブラーニングフレームワークを提案する。
少数のランダムなサンプル画像がシードラベル付き例であるので、グラフのパラメータを学習してラベル付きノードと非ラベル付きノードを区別する。
我々はGCNの特性を利用してラベル付けされたものと十分に異なる未ラベルの例を選択する。
論文 参考訳(メタデータ) (2020-06-18T00:55:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。