論文の概要: SCE: Scalable Network Embedding from Sparsest Cut
- arxiv url: http://arxiv.org/abs/2006.16499v4
- Date: Thu, 10 Dec 2020 04:02:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 04:46:18.758858
- Title: SCE: Scalable Network Embedding from Sparsest Cut
- Title（参考訳）: SCE: スパストカットを組み込んだスケーラブルネットワーク
- Authors: Shengzhong Zhang, Zengfeng Huang, Haicang Zhou and Ziang Zhou
- Abstract要約: 大規模ネットワーク埋め込みは、教師なしの方法で各ノードの潜在表現を学習することである。
このような対照的な学習手法の成功の鍵は、正と負のサンプルを引き出す方法である。
本稿では, 負のサンプルのみを用いた教師なしネットワーク埋め込みのためのSCEを提案する。
- 参考スコア（独自算出の注目度）: 20.08464038805681
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale network embedding is to learn a latent representation for each
node in an unsupervised manner, which captures inherent properties and
structural information of the underlying graph. In this field, many popular
approaches are influenced by the skip-gram model from natural language
processing. Most of them use a contrastive objective to train an encoder which
forces the embeddings of similar pairs to be close and embeddings of negative
samples to be far. A key of success to such contrastive learning methods is how
to draw positive and negative samples. While negative samples that are
generated by straightforward random sampling are often satisfying, methods for
drawing positive examples remains a hot topic.
In this paper, we propose SCE for unsupervised network embedding only using
negative samples for training. Our method is based on a new contrastive
objective inspired by the well-known sparsest cut problem. To solve the
underlying optimization problem, we introduce a Laplacian smoothing trick,
which uses graph convolutional operators as low-pass filters for smoothing node
representations. The resulting model consists of a GCN-type structure as the
encoder and a simple loss function. Notably, our model does not use positive
samples but only negative samples for training, which not only makes the
implementation and tuning much easier, but also reduces the training time
significantly.
Finally, extensive experimental studies on real world data sets are
conducted. The results clearly demonstrate the advantages of our new model in
both accuracy and scalability compared to strong baselines such as GraphSAGE,
G2G and DGI.
- Abstract（参考訳）: 大規模ネットワーク埋め込みは、基礎となるグラフの固有の特性と構造情報をキャプチャする教師なしの方法で各ノードの潜在表現を学ぶことである。
この分野では、多くのポピュラーなアプローチが自然言語処理からのスキップグラムモデルの影響を受けている。
それらの多くは、類似のペアの埋め込みを近く、負のサンプルの埋め込みを遠くに強制するエンコーダを訓練するために、対照的な目的を使っている。
このような対照的な学習手法の成功の鍵は、正と負のサンプルを引き出す方法である。
ストレートなランダムサンプリングによって生成される負のサンプルはしばしば満足しているが、ポジティブな例を描く方法がホットトピックである。
本稿では, 負のサンプルのみを用いた教師なしネットワーク埋め込みのためのSCEを提案する。
本手法は,よく知られたスパルセストカット問題に触発された新しい対照目標に基づいている。
そこで我々は,グラフ畳み込み演算子を低域通過フィルタとしてノード表現の平滑化に用いるラプラシアン平滑化手法を提案する。
結果として得られるモデルは、エンコーダとしてのGCN型構造と単純な損失関数からなる。
特に,本モデルでは,正のサンプルではなく負のサンプルのみをトレーニングに用いており,実装やチューニングの容易化だけでなく,トレーニング時間を大幅に短縮する。
最後に,実世界のデータセットに関する広範な実験研究を行った。
その結果、GraphSAGE、G2G、DGIといった強力なベースラインと比較して、精度とスケーラビリティの両方において、新しいモデルの利点が明らかとなった。
関連論文リスト
- Graph Ranking Contrastive Learning: A Extremely Simple yet Efficient Method [17.760628718072144]
InfoNCEは2つのビューを得るために拡張技術を使用し、1つのビューのノードがアンカーとして機能し、もう1つのビューの対応するノードが正のサンプルとして機能し、他のすべてのノードが負のサンプルとみなされる。
目標は、アンカーノードと正のサンプルの間の距離を最小化し、負のサンプルまでの距離を最大化することである。
トレーニング中にラベル情報が不足しているため、InfoNCEは必然的に同じクラスのサンプルを負のサンプルとして扱い、偽の負のサンプルの問題を引き起こす。
偽陰性サンプルの問題に対処する簡易かつ効率的なグラフコントラスト学習法であるGraphRankを提案する。
論文 参考訳（メタデータ） (2023-10-23T03:15:57Z) - Efficient Link Prediction via GNN Layers Induced by Negative Sampling [92.05291395292537]
リンク予測のためのグラフニューラルネットワーク(GNN)は、緩やかに2つの広いカテゴリに分けられる。
まず、Emphnode-wiseアーキテクチャは各ノードの個別の埋め込みをプリコンパイルし、後に単純なデコーダで結合して予測を行う。
第二に、エンフェッジワイド法は、ペアワイド関係の表現を強化するために、エッジ固有のサブグラフ埋め込みの形成に依存している。
論文 参考訳（メタデータ） (2023-10-14T07:02:54Z) - Your Negative May not Be True Negative: Boosting Image-Text Matching
with False Negative Elimination [62.18768931714238]
提案手法は, サンプリングによる新規な偽陰性除去 (FNE) 戦略である。
その結果,提案した偽陰性除去戦略の優位性が示された。
論文 参考訳（メタデータ） (2023-08-08T16:31:43Z) - Evaluating Graph Neural Networks for Link Prediction: Current Pitfalls
and New Benchmarking [66.83273589348758]
リンク予測は、グラフのエッジの一部のみに基づいて、目に見えないエッジが存在するかどうかを予測しようとする。
近年,この課題にグラフニューラルネットワーク(GNN)を活用すべく,一連の手法が導入されている。
これらの新しいモデルの有効性をよりよく評価するために、新しい多様なデータセットも作成されている。
論文 参考訳（メタデータ） (2023-06-18T01:58:59Z) - Rethinking Explaining Graph Neural Networks via Non-parametric Subgraph
Matching [68.35685422301613]
そこで我々はMatchExplainerと呼ばれる新しい非パラメトリックな部分グラフマッチングフレームワークを提案し、説明的部分グラフを探索する。
ターゲットグラフと他のインスタンスを結合し、ノードに対応する距離を最小化することで最も重要な結合部分構造を識別する。
合成および実世界のデータセットの実験は、最先端のパラメトリックベースラインをかなりのマージンで上回り、MatchExplainerの有効性を示す。
論文 参考訳（メタデータ） (2023-01-07T05:14:45Z) - Understanding Collapse in Non-Contrastive Learning [122.2499276246997]
モデルがデータセットサイズに対して小さすぎる場合,SimSiam表現が部分次元崩壊することを示す。
本稿では,この崩壊の度合いを計測し,微調整やラベルを使わずに下流のタスク性能を予測できる指標を提案する。
論文 参考訳（メタデータ） (2022-09-29T17:59:55Z) - Siamese Prototypical Contrastive Learning [24.794022951873156]
コントラスト型自己教師学習(Contrastive Self-supervised Learning, CSL)は、大規模データから意味のある視覚的表現を教師なしアプローチで学習する実践的ソリューションである。
本稿では,単純かつ効果的なコントラスト学習フレームワークを導入することで,この問題に対処する。
重要な洞察は、シアメスタイルのメートル法損失を用いて、原型間特徴間の距離を増大させながら、原型内特徴と一致させることである。
論文 参考訳（メタデータ） (2022-08-18T13:25:30Z) - Enhancing Graph Contrastive Learning with Node Similarity [4.60032347615771]
グラフコントラスト学習(GCL)は、自己教師型学習の代表的なフレームワークである。
GCLは、意味的に類似したノード(正のサンプル)と異種ノード(負のサンプル)とアンカーノードとの対比によってノード表現を学習する。
本稿では,全ての正のサンプルと偽陰性サンプルを含まない拡張目的を提案する。
論文 参考訳（メタデータ） (2022-08-13T22:49:20Z) - Distributionally Robust Semi-Supervised Learning Over Graphs [68.29280230284712]
グラフ構造化データに対する半教師付き学習(SSL)は、多くのネットワークサイエンスアプリケーションに現れる。
グラフ上の学習を効率的に管理するために,近年,グラフニューラルネットワーク(GNN)の変種が開発されている。
実際に成功したにも拘わらず、既存の手法のほとんどは、不確実な結節属性を持つグラフを扱うことができない。
ノイズ測定によって得られたデータに関連する分布の不確実性によっても問題が発生する。
分散ロバストな学習フレームワークを開発し,摂動に対する定量的ロバスト性を示すモデルを訓練する。
論文 参考訳（メタデータ） (2021-10-20T14:23:54Z) - Efficient, Simple and Automated Negative Sampling for Knowledge Graph
Embedding [40.97648142355799]
負のサンプリングは、知識グラフ(KG)において観測されていないものから負の三重項をサンプリングするものであり、KGの埋め込みにおいて重要なステップである。
本稿では,大きな勾配を持つ負三重項が重要ではあるが稀であることを示す観測に動機付けられ,キャッシュで直接追跡することを提案する。
提案手法は従来のGAN方式の「蒸留」バージョンとして機能し, 負三重項の完全な分布に適合する追加パラメータの学習時間を無駄にしない。
論文 参考訳（メタデータ） (2020-10-24T14:16:35Z) - Structure Aware Negative Sampling in Knowledge Graphs [18.885368822313254]
対照的な学習アプローチの重要な側面は、強い負のサンプルを生成する汚職分布の選択である。
我々は,ノードのkホップ近傍から負のサンプルを選択することで,リッチグラフ構造を利用した安価な負のサンプリング戦略であるStructure Aware Negative Smpling (SANS)を提案する。
論文 参考訳（メタデータ） (2020-09-23T19:57:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。