Fugu-MT 論文翻訳(概要): Node Representation Learning in Graph via Node-to-Neighbourhood Mutual Information Maximization

論文の概要: Node Representation Learning in Graph via Node-to-Neighbourhood Mutual Information Maximization

arxiv url: http://arxiv.org/abs/2203.12265v1
Date: Wed, 23 Mar 2022 08:21:10 GMT
ステータス: 処理完了
システム内更新日: 2022-03-24 16:26:27.933275
Title: Node Representation Learning in Graph via Node-to-Neighbourhood Mutual Information Maximization
Title（参考訳）: ノード間相互情報最大化によるグラフのノード表現学習
Authors: Wei Dong, Junsheng Wu, Yi Luo, Zongyuan Ge, Peng Wang
Abstract要約: グラフにおける情報ノード表現の学習の鍵は、近隣からコンテキスト情報を得る方法にある。本稿では,ノードの隠蔽表現と周辺領域の相互情報を直接的に最大化することで,自己教師付きノード表現学習戦略を提案する。我々のフレームワークは、表現学習の質と効率を裏付ける正の選択が相反する比較的損失によって最適化されている。
参考スコア（独自算出の注目度）: 27.701736055800314
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The key towards learning informative node representations in graphs lies in how to gain contextual information from the neighbourhood. In this work, we present a simple-yet-effective self-supervised node representation learning strategy via directly maximizing the mutual information between the hidden representations of nodes and their neighbourhood, which can be theoretically justified by its link to graph smoothing. Following InfoNCE, our framework is optimized via a surrogate contrastive loss, where the positive selection underpins the quality and efficiency of representation learning. To this end, we propose a topology-aware positive sampling strategy, which samples positives from the neighbourhood by considering the structural dependencies between nodes and thus enables positive selection upfront. In the extreme case when only one positive is sampled, we fully avoid expensive neighbourhood aggregation. Our methods achieve promising performance on various node classification datasets. It is also worth mentioning by applying our loss function to MLP based node encoders, our methods can be orders of faster than existing solutions. Our codes and supplementary materials are available at https://github.com/dongwei156/n2n.
Abstract（参考訳）: グラフにおける情報ノード表現の学習の鍵は、近隣からコンテキスト情報を得る方法にある。本研究では,ノードの隠蔽表現と周辺部との相互情報を直接最大化し,グラフスムーシングへのリンクによって理論的に正当化できる,単純かつ効果的な自己教師付きノード表現学習戦略を提案する。インフォデンスに従い、我々のフレームワークは代理的なコントラスト損失によって最適化され、ポジティブな選択が表現学習の品質と効率を左右する。そこで本研究では,ノード間の構造的依存関係を考慮し,近傍からの正の抽出を行い,正の選択を可能にするトポロジー対応正のサンプリング戦略を提案する。極端な場合、1つの正のサンプルのみを採取した場合、我々は高価な近傍集合を完全に回避する。本手法は様々なノード分類データセット上で有望な性能を実現する。また、損失関数をMPPベースのノードエンコーダに適用することで、既存のソリューションよりも高速に処理することができる。私たちのコードと補足資料はhttps://github.com/dongwei156/n2nで入手できます。

関連論文リスト

Contrastive Graph Representation Learning with Adversarial Cross-view Reconstruction and Information Bottleneck [5.707725771108279]
本稿では,CGRL (Contrastive Graph Representation Learning with Adversarial Cross-view Reconstruction and Information Bottleneck) を用いたノード分類手法を提案する。提案手法は既存の最先端アルゴリズムを著しく上回っている。
論文参考訳（メタデータ） (2024-08-01T05:45:21Z)
NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文参考訳（メタデータ） (2023-06-14T09:21:15Z)
Self-Supervised Node Representation Learning via Node-to-Neighbourhood Alignment [10.879056662671802]
自己教師付きノード表現学習は、教師付きノードと競合する未ラベルグラフからノード表現を学ぶことを目的としている。本研究では,ノードとその周辺領域の隠蔽表現を整列させることにより,単純なyet効率の自己教師付きノード表現学習を提案する。我々は,グラフ構造化データセットの集合に対して,ノード分類性能が期待できるノード表現を,小規模から大規模に学習する。
論文参考訳（メタデータ） (2023-02-09T13:21:18Z)
STERLING: Synergistic Representation Learning on Bipartite Graphs [78.86064828220613]
二部グラフ表現学習の基本的な課題は、ノードの埋め込みを抽出する方法である。最近の二部グラフSSL法は、正ノード対と負ノード対を識別することによって埋め込みを学習する対照的な学習に基づいている。負のノードペアを持たないノード埋め込みを学習するための新しい相乗的表現学習モデル(STERling)を提案する。
論文参考訳（メタデータ） (2023-01-25T03:21:42Z)
Localized Contrastive Learning on Graphs [110.54606263711385]
局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
論文参考訳（メタデータ） (2022-12-08T23:36:00Z)
Graph Convolutional Neural Networks with Diverse Negative Samples via Decomposed Determinant Point Processes [21.792376993468064]
グラフ畳み込みネットワーク(GCN)はグラフ表現学習において大きな成功を収めている。本稿では, 様々な負のサンプルを得るために, 品質多様性の分解を決定点過程に用いた。本稿では,計算効率を向上させるための最短パスベース手法を提案する。
論文参考訳（メタデータ） (2022-12-05T06:31:31Z)
Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文参考訳（メタデータ） (2022-05-06T03:37:00Z)
Uniting Heterogeneity, Inductiveness, and Efficiency for Graph Representation Learning [68.97378785686723]
グラフニューラルネットワーク(GNN)は,グラフ上のノード表現学習の性能を大幅に向上させた。 GNNの過半数クラスは均質グラフのためにのみ設計されており、より有益な異種グラフに劣る適応性をもたらす。本稿では,低次ノードと高次ノードの両方のエッジに付随するヘテロジニアスなノード特徴をパッケージ化する,新しい帰納的メタパスフリーメッセージパッシング方式を提案する。
論文参考訳（メタデータ） (2021-04-04T23:31:39Z)
Node2Seq: Towards Trainable Convolutions in Graph Neural Networks [59.378148590027735]
今回提案するグラフネットワーク層であるNode2Seqは,隣接ノードの重みを明示的に調整可能なノード埋め込みを学習する。対象ノードに対して,当手法は注意メカニズムを介して隣接ノードをソートし,さらに1D畳み込みニューラルネットワーク(CNN)を用いて情報集約のための明示的な重み付けを行う。また, 特徴学習のための非局所的情報を, 注意スコアに基づいて適応的に組み込むことを提案する。
論文参考訳（メタデータ） (2021-01-06T03:05:37Z)
When Contrastive Learning Meets Active Learning: A Novel Graph Active Learning Paradigm with Self-Supervision [19.938379604834743]
本稿では,グラフニューラルネットワーク(GNN)の性能を最大化するための最も情報性の高いノードを発見することを目的とした,グラフ上のアクティブラーニング(AL)について検討する。比較学習(CL)の成功に触発され,グラフALをCLとシームレスに統合する新しいパラダイムを提案する。 5つの公開データセットに対する包括的かつ不確定な実験は、我々の手法が最先端技術よりも優れていることを示す。
論文参考訳（メタデータ） (2020-10-30T06:20:07Z)
Graph Neighborhood Attentive Pooling [0.5493410630077189]
ネットワーク表現学習(NRL)は,高次元およびスパースグラフの低次元ベクトル表現を学習するための強力な手法である。本稿では,ノード近傍の異なる部分への入場を注意型プールネットワークを用いて学習するGAPと呼ばれる新しい文脈依存アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-01-28T15:05:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。