論文の概要: Ergodic Limits, Relaxations, and Geometric Properties of Random Walk Node Embeddings

• arxiv url: http://arxiv.org/abs/2109.04526v1
• Date: Thu, 9 Sep 2021 19:24:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-13 13:40:47.203619
• Title: Ergodic Limits, Relaxations, and Geometric Properties of Random Walk Node Embeddings
• Title（参考訳）: ランダムウォークノード埋め込みのエルゴディック限界, 緩和, 幾何学的特性
• Authors: Christy Lin, Daniel Sussman, Prakash Ishwar
• Abstract要約: ランダムウォークに基づくノード埋め込みアルゴリズムは,ネットワーク上のランダムウォークから計算したノード埋め込みベクトルとスキップバイグラム統計の客観的関数を最適化することにより,ノードのベクトル表現を学習する。 本稿では,ネットワーク内に隠されたブロック構造を発見するための教師なし設定において,ランダムウォークに基づくノード埋め込みの特性について検討する。
• 参考スコア（独自算出の注目度）: 11.549910517683085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Random walk based node embedding algorithms learn vector representations of nodes by optimizing an objective function of node embedding vectors and skip-bigram statistics computed from random walks on the network. They have been applied to many supervised learning problems such as link prediction and node classification and have demonstrated state-of-the-art performance. Yet, their properties remain poorly understood. This paper studies properties of random walk based node embeddings in the unsupervised setting of discovering hidden block structure in the network, i.e., learning node representations whose cluster structure in Euclidean space reflects their adjacency structure within the network. We characterize the ergodic limits of the embedding objective, its generalization, and related convex relaxations to derive corresponding non-randomized versions of the node embedding objectives. We also characterize the optimal node embedding Grammians of the non-randomized objectives for the expected graph of a two-community Stochastic Block Model (SBM). We prove that the solution Grammian has rank $1$ for a suitable nuclear norm relaxation of the non-randomized objective. Comprehensive experimental results on SBM random networks reveal that our non-randomized ergodic objectives yield node embeddings whose distribution is Gaussian-like, centered at the node embeddings of the expected network within each community, and concentrate in the linear degree-scaling regime as the number of nodes increases.
• Abstract（参考訳）: ランダムウォークに基づくノード埋め込みアルゴリズムは、ノード埋め込みベクトルの目的関数とネットワーク上のランダムウォークから計算されたスキップビグラム統計を最適化することにより、ノードのベクトル表現を学習する。 これらはリンク予測やノード分類といった多くの教師付き学習問題に適用され、最先端のパフォーマンスを示している。 しかし、その性質はよく分かっていない。 本稿では,ネットワーク内の隠れブロック構造,すなわち,ユークリッド空間におけるクラスター構造がネットワーク内の隣接構造を反映した学習ノード表現の教師なし設定におけるランダムウォークベースのノード埋め込みの特性について検討する。 埋め込み対象のエルゴード的限界,その一般化,および関連する凸緩和を特徴付けることにより,ノード埋め込み対象の非ランダム化バージョンを導出する。 また, 2-community stochastic block model (sbm) の期待グラフに対して,非ランダム目的の最適ノード埋め込みグラムを特徴付ける。 我々は、グラミアン解が非ランダム化目的の適切な核ノルム緩和に対して1ドルであることを示す。 SBMランダムネットワークにおける総合的な実験結果から,我々の非ランダム化エルゴード目的は,分布がガウス様であるノード埋め込みを,各コミュニティ内の期待ネットワークのノード埋め込みを中心に生成し,ノード数が増加するにつれて線形次数スケーリング体制に集中することを明らかにする。

関連論文リスト

• Reinforcement Learning for Node Selection in Branch-and-Bound [52.2648997215667]
  現在の最先端セレクタは手作りのアンサンブルを使用して、ナイーブなサブノードセレクタと、個々のノードデータに依存する学習ノードセレクタを自動的に切り替える。 孤立ノードではなく木の状態全体を考慮しながら強化学習(RL)を用いる新しいシミュレーション手法を提案する。
  論文  参考訳（メタデータ） (2023-09-29T19:55:56Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Interpolation-based Correlation Reduction Network for Semi-Supervised Graph Learning [49.94816548023729]
  補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。 この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• A Variational Edge Partition Model for Supervised Graph Representation Learning [51.30365677476971]
  本稿では,重なり合うノード群間の相互作用を集約することで,観測されたエッジがどのように生成されるかをモデル化するグラフ生成プロセスを提案する。 それぞれのエッジを複数のコミュニティ固有の重み付きエッジの和に分割し、コミュニティ固有のGNNを定義する。 エッジを異なるコミュニティに分割するGNNベースの推論ネットワーク,これらのコミュニティ固有のGNN,およびコミュニティ固有のGNNを最終分類タスクに組み合わせたGNNベースの予測器を共同で学習するために,変分推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-07T14:37:50Z)
• Topic-aware latent models for representation learning on networks [5.304857921982132]
  本稿では,トピックベース情報を用いたランダムウォークベースアプローチにより取得したノードの埋め込みを強化する汎用フレームワークであるTNEを紹介する。 提案手法はノード分類とリンク予測という2つのダウンストリームタスクで評価する。
  論文  参考訳（メタデータ） (2021-11-10T08:52:52Z)
• Layer Adaptive Node Selection in Bayesian Neural Networks: Statistical Guarantees and Implementation Details [0.5156484100374059]
  スパースディープニューラルネットワークは、大規模研究において予測モデル構築に効率的であることが証明されている。 本稿では,スパイク・アンド・スラブ型ガウス先行法を用いて,訓練中のノード選択を可能にするベイズスパース解を提案する。 本研究は, 先行パラメータのキャラクタリゼーションとともに, 変動的後続一貫性の基本的な結果を確立する。
  論文  参考訳（メタデータ） (2021-08-25T00:48:07Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Consistency of random-walk based network embedding algorithms [13.214230533788932]
  node2vecアルゴリズムとDeepWalkアルゴリズムを行列ファクタリゼーションの観点から検討する。 その結果,観測ネットワークの幅,ランダムウォークのウィンドウサイズ,ノード2vec/DeepWalk埋め込みの収束率との微妙な相互作用が示唆された。
  論文  参考訳（メタデータ） (2021-01-18T22:49:22Z)
• A Self-Attention Network based Node Embedding Model [17.10479440152652]
  新規な教師なし埋め込みモデルであるSANNEを提案する。 我々のSANNEは、現在のノードだけでなく、新しく見つからないノードにも、プラルーシブルな埋め込みを生成することを目的としています。 実験の結果,提案したSANNEはノード分類タスクの最先端結果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-06-22T09:46:10Z)
• The Effects of Randomness on the Stability of Node Embeddings [5.126380982787905]
  グラフに5つのノード埋め込みアルゴリズムを適用し,その安定性をランダムに評価する。 ノードの中心性に依存しない埋め込み空間の幾何学において重要な不安定性を見出す。 これは、ノードの埋め込みを扱う場合、不安定性の影響を考慮する必要があることを示唆している。
  論文  参考訳（メタデータ） (2020-05-20T13:36:09Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。