論文の概要: UniNet: Scalable Network Representation Learning with
Metropolis-Hastings Sampling
- arxiv url: http://arxiv.org/abs/2010.04895v2
- Date: Sat, 9 Jan 2021 09:46:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 22:54:06.954914
- Title: UniNet: Scalable Network Representation Learning with
Metropolis-Hastings Sampling
- Title（参考訳）: UniNet: Metropolis-Hastings サンプリングによるスケーラブルなネットワーク表現学習
- Authors: Xingyu Yao, Yingxia Shao, Bin Cui, Lei Chen
- Abstract要約: ネットワーク表現学習(NRL)技術は、様々なデータマイニングや機械学習アプリケーションで成功している。
既存のランダムウォークベースのNRLモデルを統一し、大規模ネットワークから効率的に学習するフレームワークがない。
本稿では,メトロポリス・ハスティングスサンプリング法に基づく新しい効率的なエッジサンプリング手法を導入し,任意の離散確率分布に対するエッジサンプリング器の収束特性を理論的に示す。
実世界の11のデータセット上で5つのランダムウォークベースNRLモデルによる総合的な実験を行い、その結果から、数十億のエッジネットワーク上でのUniNetの有効性が明らかとなった。
- 参考スコア（独自算出の注目度）: 25.289553447407304
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Network representation learning (NRL) technique has been successfully adopted
in various data mining and machine learning applications. Random walk based NRL
is one popular paradigm, which uses a set of random walks to capture the
network structural information, and then employs word2vec models to learn the
low-dimensional representations. However, until now there is lack of a
framework, which unifies existing random walk based NRL models and supports to
efficiently learn from large networks. The main obstacle comes from the diverse
random walk models and the inefficient sampling method for the random walk
generation. In this paper, we first introduce a new and efficient edge sampler
based on Metropolis-Hastings sampling technique, and theoretically show the
convergence property of the edge sampler to arbitrary discrete probability
distributions. Then we propose a random walk model abstraction, in which users
can easily define different transition probability by specifying dynamic edge
weights and random walk states. The abstraction is efficiently supported by our
edge sampler, since our sampler can draw samples from unnormalized probability
distribution in constant time complexity. Finally, with the new edge sampler
and random walk model abstraction, we carefully implement a scalable NRL
framework called UniNet. We conduct comprehensive experiments with five random
walk based NRL models over eleven real-world datasets, and the results clearly
demonstrate the efficiency of UniNet over billion-edge networks.
- Abstract（参考訳）: ネットワーク表現学習(NRL)技術は、様々なデータマイニングや機械学習アプリケーションで成功している。
ランダムウォークに基づくNRLは、ランダムウォークを用いてネットワーク構造情報をキャプチャし、ワード2vecモデルを用いて低次元表現を学習する一般的なパラダイムである。
しかし、これまでは、既存のランダムウォークベースのNRLモデルを統一し、大規模ネットワークから効率的に学習するフレームワークが欠如している。
主な障害は多様なランダムウォークモデルとランダムウォーク生成のための非効率的なサンプリング法である。
本稿では,まず,メトロポリス・ハスティングスサンプリング法に基づく新しい効率的なエッジサンプリング手法を導入し,任意の離散確率分布に対するエッジサンプリング器の収束特性を理論的に示す。
次に,動的エッジ重みとランダムウォーク状態を指定することにより,異なる遷移確率を容易に定義できるランダムウォークモデル抽象化を提案する。
この抽象化は,非正規化確率分布のサンプルを一定時間で描画できるため,エッジサンプリングによって効率的に支持される。
最後に、新しいエッジサンプリングとランダムウォークモデル抽象化により、UniNetと呼ばれるスケーラブルNRLフレームワークを慎重に実装する。
実世界の11のデータセット上で5つのランダムウォークベースNRLモデルによる総合的な実験を行い、その結果から、数十億のエッジネットワーク上でのUniNetの有効性が明らかとなった。
関連論文リスト
- RandomNet: Clustering Time Series Using Untrained Deep Neural Networks [1.5860429142045245]
我々は、訓練されていないディープニューラルネットワークをクラスタ時系列に利用する新しいアプローチRandomNetを提案する。
我々は、よく知られたUCR時系列アーカイブにおいて、128のデータセット全てについて広範な実験を行う。
実験の結果,提案手法は既存の最先端手法と競合することがわかった。
論文 参考訳（メタデータ） (2024-08-15T06:09:19Z) - Sampling weights of deep neural networks [1.2370077627846041]
完全に接続されたニューラルネットワークの重みとバイアスに対して,効率的なサンプリングアルゴリズムと組み合わせた確率分布を導入する。
教師付き学習環境では、内部ネットワークパラメータの反復最適化や勾配計算は不要である。
サンプルネットワークが普遍近似器であることを証明する。
論文 参考訳（メタデータ） (2023-06-29T10:13:36Z) - An unfolding method based on conditional Invertible Neural Networks
(cINN) using iterative training [0.0]
非可逆ニューラルネットワーク(INN)のような生成ネットワークは確率的展開を可能にする。
模擬トレーニングサンプルとデータ間のずれを調整した展開のための反復条件INN(IcINN)を導入する。
論文 参考訳（メタデータ） (2022-12-16T19:00:05Z) - Dual Lottery Ticket Hypothesis [71.95937879869334]
Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。
本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。
本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
論文 参考訳（メタデータ） (2022-03-08T18:06:26Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳（メタデータ） (2021-10-20T12:25:22Z) - Learning Semantic Segmentation of Large-Scale Point Clouds with Random
Sampling [52.464516118826765]
我々はRandLA-Netを紹介した。RandLA-Netは、大規模ポイントクラウドのポイントごとの意味を推論する、効率的で軽量なニューラルネットワークアーキテクチャである。
我々のアプローチの鍵は、より複雑な点選択アプローチではなく、ランダムな点サンプリングを使用することである。
我々のRandLA-Netは、既存のアプローチよりも最大200倍高速な1回のパスで100万ポイントを処理できます。
論文 参考訳（メタデータ） (2021-07-06T05:08:34Z) - Fully differentiable model discovery [0.0]
ニューラルネットワークに基づくサロゲートとスパースベイズ学習を組み合わせたアプローチを提案する。
我々の研究は、PINNを様々なタイプのニューラルネットワークアーキテクチャに拡張し、ニューラルネットワークベースのサロゲートをベイズパラメータ推論のリッチフィールドに接続する。
論文 参考訳（メタデータ） (2021-06-09T08:11:23Z) - Provable Model-based Nonlinear Bandit and Reinforcement Learning: Shelve
Optimism, Embrace Virtual Curvature [61.22680308681648]
決定論的報酬を有する1層ニューラルネットバンディットにおいても,グローバル収束は統計的に難解であることを示す。
非線形バンディットとRLの両方に対して,オンラインモデル学習者による仮想アセンジ(Virtual Ascent with Online Model Learner)というモデルベースアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-08T12:41:56Z) - Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。
PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
論文 参考訳（メタデータ） (2020-07-07T03:36:28Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。