論文の概要: Asymptotics of $\ell_2$ Regularized Network Embeddings
- arxiv url: http://arxiv.org/abs/2201.01689v1
- Date: Wed, 5 Jan 2022 16:33:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-06 13:53:53.464980
- Title: Asymptotics of $\ell_2$ Regularized Network Embeddings
- Title（参考訳）: $\ell_2$正規化ネットワーク埋め込みの漸近
- Authors: Andrew Davison
- Abstract要約: ノード分類やリンク予測といったタスクを解決するための一般的なアプローチは、ネットワークのノードのユークリッド埋め込みを学ぶことから始まる。
DeepWalkやnode2vecのような教師なしのランダムウォークメソッドでは、損失に埋め込みベクターに$ell$ペナルティを追加することで、ダウンストリームタスクのパフォーマンスが向上する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A common approach to solving tasks, such as node classification or link
prediction, on a large network begins by learning a Euclidean embedding of the
nodes of the network, from which regular machine learning methods can be
applied. For unsupervised random walk methods such as DeepWalk and node2vec,
adding a $\ell_2$ penalty on the embedding vectors to the loss leads to
improved downstream task performance. In this paper we study the effects of
this regularization and prove that, under exchangeability assumptions on the
graph, it asymptotically leads to learning a nuclear-norm-type penalized
graphon. In particular, the exact form of the penalty depends on the choice of
subsampling method used within stochastic gradient descent to learn the
embeddings. We also illustrate empirically that concatenating node covariates
to $\ell_2$ regularized node2vec embeddings leads to comparable, if not
superior, performance to methods which incorporate node covariates and the
network structure in a non-linear manner.
- Abstract（参考訳）: 大きなネットワーク上のノード分類やリンク予測のようなタスクを解決する一般的なアプローチは、通常の機械学習手法が適用可能なネットワークのノードのユークリッド埋め込みを学習することから始まる。
DeepWalkやnode2vecのような教師なしのランダムウォークメソッドでは、損失に埋め込みベクトルに$\ell_2$ペナルティを追加することで、ダウンストリームタスクのパフォーマンスが向上する。
本稿では,この正規化の効果について検討し,グラフ上の交換可能性仮定の下で漸近的に核ノルム型陰極化グラフを学習することを証明する。
特に、ペナルティの正確な形は、埋め込みを学ぶために確率勾配降下で使用されるサブサンプリング方法の選択に依存する。
また,ノード共変分を$\ell_2$正規化ノード2vecの埋め込みに分解すると,ノード共変分とネットワーク構造を非線形に組み込む手法の性能が同等であることを示す。
関連論文リスト
- Efficient Link Prediction via GNN Layers Induced by Negative Sampling [92.05291395292537]
リンク予測のためのグラフニューラルネットワーク(GNN)は、緩やかに2つの広いカテゴリに分けられる。
まず、Emphnode-wiseアーキテクチャは各ノードの個別の埋め込みをプリコンパイルし、後に単純なデコーダで結合して予測を行う。
第二に、エンフェッジワイド法は、ペアワイド関係の表現を強化するために、エッジ固有のサブグラフ埋め込みの形成に依存している。
論文 参考訳（メタデータ） (2023-10-14T07:02:54Z) - NodeFormer: A Scalable Graph Structure Learning Transformer for Node
Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。
効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。
グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文 参考訳（メタデータ） (2023-06-14T09:21:15Z) - NODDLE: Node2vec based deep learning model for link prediction [0.0]
我々はNODDLE(NOde2vec anD Deep Learning mEthodの統合)を提案する。
実験結果から, この手法は, 従来のソーシャル・ネットワーク・データセットの手法よりも優れた結果が得られることがわかった。
論文 参考訳（メタデータ） (2023-05-25T18:43:52Z) - A Systematic Evaluation of Node Embedding Robustness [77.29026280120277]
本研究では,ノード埋め込みモデルのランダムおよび逆毒攻撃に対する経験的ロバスト性を評価する。
ネットワーク特性とノードラベルを用いて計算したエッジの追加,削除,再切り替えの戦略を比較した。
その結果,ノード分類はネットワーク再構成とは対照的に,高い性能劣化に悩まされていることがわかった。
論文 参考訳（メタデータ） (2022-09-16T17:20:23Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Interpolation-based Correlation Reduction Network for Semi-Supervised
Graph Learning [49.94816548023729]
補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。
提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。
この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
論文 参考訳（メタデータ） (2022-06-06T14:26:34Z) - On the Power of Gradual Network Alignment Using Dual-Perception
Similarities [14.779474659172923]
ネットワークアライメント(NA)は、ネットワーク構造とノード属性に基づいて、2つのネットワーク間のノードの対応を見つけるタスクである。
我々の研究は、既存のNA手法のほとんどが一度に全てのノード対を発見しようとしたため、ノード対応の暫定的な発見によって得られた情報を利用していないという事実に動機づけられている。
強い一貫性を示すノード対をフル活用することにより、ノード対を徐々に発見する新しいNA法であるGrad-Alignを提案する。
論文 参考訳（メタデータ） (2022-01-26T14:01:32Z) - Asymptotics of Network Embeddings Learned via Subsampling [4.23373349945751]
本研究では,ノード2vecのようなサブサンプリング手法を用いて,単一の統一フレームワークへの表現手法について検討する。
これは、埋め込みベクトルが何を表現し、これらのメソッドが下流のタスクでいかにうまく機能するかを理解するための理論的基盤を提供する。
特に、一般的に使用される損失関数は、Fisher整合性の欠如などの欠点を引き起こす可能性があることを観察する。
論文 参考訳（メタデータ） (2021-07-06T02:54:53Z) - Consistency of random-walk based network embedding algorithms [13.214230533788932]
node2vecアルゴリズムとDeepWalkアルゴリズムを行列ファクタリゼーションの観点から検討する。
その結果,観測ネットワークの幅,ランダムウォークのウィンドウサイズ,ノード2vec/DeepWalk埋め込みの収束率との微妙な相互作用が示唆された。
論文 参考訳（メタデータ） (2021-01-18T22:49:22Z) - Anisotropic Graph Convolutional Network for Semi-supervised Learning [7.843067454030999]
グラフ畳み込みネットワークは、高精度な予測結果を達成するのに有用であることが証明された効率的なノード埋め込みを学習する。
これらのネットワークはグラフの過度な平滑化と縮小効果の問題に悩まされており、それはグラフの端に線形ラプラシア流を用いて拡散するからである。
本稿では,ノードからの情報的特徴を捉える非線形関数を導入し,過度なスムーシングを防止し,半教師付きノード分類のための異方性グラフ畳み込みネットワークを提案する。
論文 参考訳（メタデータ） (2020-10-20T13:56:03Z) - Graph Inference Learning for Semi-supervised Classification [50.55765399527556]
半教師付きノード分類の性能を高めるためのグラフ推論学習フレームワークを提案する。
推論過程の学習には,トレーニングノードから検証ノードへの構造関係のメタ最適化を導入する。
4つのベンチマークデータセットの総合的な評価は、最先端の手法と比較して提案したGILの優位性を示している。
論文 参考訳（メタデータ） (2020-01-17T02:52:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。