論文の概要: Self-Supervised Node Representation Learning via Node-to-Neighbourhood Alignment

• arxiv url: http://arxiv.org/abs/2302.04626v1
• Date: Thu, 9 Feb 2023 13:21:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-10 15:43:41.594603
• Title: Self-Supervised Node Representation Learning via Node-to-Neighbourhood Alignment
• Title（参考訳）: Node-to-Nebourhoodアライメントによる自己教師付きノード表現学習
• Authors: Wei Dong, Dawei Yan, and Peng Wang
• Abstract要約: 自己教師付きノード表現学習は、教師付きノードと競合する未ラベルグラフからノード表現を学ぶことを目的としている。 本研究では,ノードとその周辺領域の隠蔽表現を整列させることにより,単純なyet効率の自己教師付きノード表現学習を提案する。 我々は,グラフ構造化データセットの集合に対して,ノード分類性能が期待できるノード表現を,小規模から大規模に学習する。
• 参考スコア（独自算出の注目度）: 10.879056662671802
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised node representation learning aims to learn node representations from unlabelled graphs that rival the supervised counterparts. The key towards learning informative node representations lies in how to effectively gain contextual information from the graph structure. In this work, we present simple-yet-effective self-supervised node representation learning via aligning the hidden representations of nodes and their neighbourhood. Our first idea achieves such node-to-neighbourhood alignment by directly maximizing the mutual information between their representations, which, we prove theoretically, plays the role of graph smoothing. Our framework is optimized via a surrogate contrastive loss and a Topology-Aware Positive Sampling (TAPS) strategy is proposed to sample positives by considering the structural dependencies between nodes, which enables offline positive selection. Considering the excessive memory overheads of contrastive learning, we further propose a negative-free solution, where the main contribution is a Graph Signal Decorrelation (GSD) constraint to avoid representation collapse and over-smoothing. The GSD constraint unifies some of the existing constraints and can be used to derive new implementations to combat representation collapse. By applying our methods on top of simple MLP-based node representation encoders, we learn node representations that achieve promising node classification performance on a set of graph-structured datasets from small- to large-scale.
• Abstract（参考訳）: 自己教師付きノード表現学習は、教師付きノードと競合する未ラベルグラフからノード表現を学ぶことを目的としている。 情報ノード表現を学習する鍵は、グラフ構造からコンテキスト情報を効果的に取得する方法にある。 本研究では,ノードとその周辺領域の隠蔽表現を整列させることにより,簡便な自己教師付きノード表現学習を提案する。 我々の最初のアイデアは、それらの表現間の相互情報を直接的に最大化することで、そのようなノード間アライメントを実現する。 提案手法は,ノード間の構造的依存関係を考慮し,オフラインの正の選択を可能にすることにより,正のサンプリングを行うため,サーロゲートコントラスト損失とトポロジー認識正サンプリング(taps)戦略によって最適化されている。 コントラスト学習の過剰なメモリオーバーヘッドを考慮すると、グラフ信号デコレーション(GSD)制約が表現の崩壊や過度なスムース化を避けるために、負のフリーソリューションを提案する。 GSD制約は既存の制約の一部を統一し、表現の崩壊と戦うために新しい実装を導出するために使用できる。 本手法を単純なmlpベースのノード表現エンコーダ上に適用することにより,小規模から大規模までのグラフ構造データセット上で有望なノード分類性能を実現するノード表現を学習する。

関連論文リスト

• Contrastive Graph Representation Learning with Adversarial Cross-view Reconstruction and Information Bottleneck [5.707725771108279]
  本稿では,CGRL (Contrastive Graph Representation Learning with Adversarial Cross-view Reconstruction and Information Bottleneck) を用いたノード分類手法を提案する。 提案手法は既存の最先端アルゴリズムを著しく上回っている。
  論文  参考訳（メタデータ） (2024-08-01T05:45:21Z)
• STERLING: Synergistic Representation Learning on Bipartite Graphs [78.86064828220613]
  二部グラフ表現学習の基本的な課題は、ノードの埋め込みを抽出する方法である。 最近の二部グラフSSL法は、正ノード対と負ノード対を識別することによって埋め込みを学習する対照的な学習に基づいている。 負のノードペアを持たないノード埋め込みを学習するための新しい相乗的表現学習モデル(STERling)を提案する。
  論文  参考訳（メタデータ） (2023-01-25T03:21:42Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• Interpretable Node Representation with Attribute Decoding [20.591882093727413]
  ノード表現学習において属性復号化が重要であることを示す。 我々は、属性デコーディング(NORAD)を用いた新しい学習モデルNOde表現を提案する。
  論文  参考訳（メタデータ） (2022-12-03T20:20:24Z)
• Node Representation Learning in Graph via Node-to-Neighbourhood Mutual Information Maximization [27.701736055800314]
  グラフにおける情報ノード表現の学習の鍵は、近隣からコンテキスト情報を得る方法にある。 本稿では,ノードの隠蔽表現と周辺領域の相互情報を直接的に最大化することで,自己教師付きノード表現学習戦略を提案する。 我々のフレームワークは、表現学習の質と効率を裏付ける正の選択が相反する比較的損失によって最適化されている。
  論文  参考訳（メタデータ） (2022-03-23T08:21:10Z)
• Inferential SIR-GN: Scalable Graph Representation Learning [0.4699313647907615]
  グラフ表現学習法は、ネットワーク内のノードの数値ベクトル表現を生成する。 本研究では,ランダムグラフ上で事前学習されたモデルであるInferential SIR-GNを提案し,ノード表現を高速に計算する。 このモデルではノードの構造的役割情報を捉えることができ、ノードやグラフの分類タスクにおいて、目に見えないネットワーク上で優れた性能を示すことができる。
  論文  参考訳（メタデータ） (2021-11-08T20:56:37Z)
• Uniting Heterogeneity, Inductiveness, and Efficiency for Graph Representation Learning [68.97378785686723]
  グラフニューラルネットワーク(GNN)は,グラフ上のノード表現学習の性能を大幅に向上させた。 GNNの過半数クラスは均質グラフのためにのみ設計されており、より有益な異種グラフに劣る適応性をもたらす。 本稿では,低次ノードと高次ノードの両方のエッジに付随するヘテロジニアスなノード特徴をパッケージ化する,新しい帰納的メタパスフリーメッセージパッシング方式を提案する。
  論文  参考訳（メタデータ） (2021-04-04T23:31:39Z)
• Learning the Implicit Semantic Representation on Graph-Structured Data [57.670106959061634]
  グラフ畳み込みネットワークにおける既存の表現学習手法は主に、各ノードの近傍を知覚全体として記述することで設計される。 本稿では,グラフの潜在意味パスを学習することで暗黙的な意味を探索する意味グラフ畳み込みネットワーク(sgcn)を提案する。
  論文  参考訳（メタデータ） (2021-01-16T16:18:43Z)
• Graph Contrastive Learning with Adaptive Augmentation [23.37786673825192]
  本稿では,適応的拡張を用いた新しいグラフコントラスト表現学習法を提案する。 具体的には,ノードの集中度に基づく拡張スキームを設計し,重要な結合構造を明らかにする。 提案手法は,既存の最先端のベースラインを一貫して上回り,教師付きベースラインを超えている。
  論文  参考訳（メタデータ） (2020-10-27T15:12:21Z)
• Self-supervised Graph Learning for Recommendation [69.98671289138694]
  ユーザ・イテムグラフを用いた自己教師型学習を推奨する。 補助的自己監督タスクは、自己識別によるノード表現学習を強化する。 3つのベンチマークデータセットに関する実証的研究は、SGLの有効性を示す。
  論文  参考訳（メタデータ） (2020-10-21T06:35:26Z)
• Graph Inference Learning for Semi-supervised Classification [50.55765399527556]
  半教師付きノード分類の性能を高めるためのグラフ推論学習フレームワークを提案する。 推論過程の学習には,トレーニングノードから検証ノードへの構造関係のメタ最適化を導入する。 4つのベンチマークデータセットの総合的な評価は、最先端の手法と比較して提案したGILの優位性を示している。
  論文  参考訳（メタデータ） (2020-01-17T02:52:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。