論文の概要: Variational Inference: Posterior Threshold Improves Network Clustering Accuracy in Sparse Regimes
- arxiv url: http://arxiv.org/abs/2301.04771v2
- Date: Mon, 20 May 2024 11:00:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-22 01:10:43.979935
- Title: Variational Inference: Posterior Threshold Improves Network Clustering Accuracy in Sparse Regimes
- Title（参考訳）: 変動推論:後部閾値はスパースレジームにおけるネットワーククラスタリング精度を改善する
- Authors: Xuezhen Li, Can M. Le,
- Abstract要約: 本稿では,各反復後のコミュニティ割り当ての後部をハードしきい値にすることで,変分推論法を改善するための簡易な方法を提案する。
提案手法は,ネットワークの平均ノード次数が有界であっても,真のコミュニティラベルを収束させ,正確に復元可能であることを示す。
- 参考スコア（独自算出の注目度）: 2.5782420501870296
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Variational inference has been widely used in machine learning literature to fit various Bayesian models. In network analysis, this method has been successfully applied to solve the community detection problems. Although these results are promising, their theoretical support is only for relatively dense networks, an assumption that may not hold for real networks. In addition, it has been shown recently that the variational loss surface has many saddle points, which may severely affect its performance, especially when applied to sparse networks. This paper proposes a simple way to improve the variational inference method by hard thresholding the posterior of the community assignment after each iteration. Using a random initialization that correlates with the true community assignment, we show that the proposed method converges and can accurately recover the true community labels, even when the average node degree of the network is bounded. Extensive numerical study further confirms the advantage of the proposed method over the classical variational inference and another state-of-the-art algorithm.
- Abstract（参考訳）: 変分推論は機械学習の文献で様々なベイズモデルに適合するために広く用いられている。
ネットワーク解析において,この手法はコミュニティ検出問題の解決に成功している。
これらの結果は有望であるが、理論上の支持は相対的に密度の高いネットワークに限られており、これは実際のネットワークには当てはまらない仮定である。
また, 最近, ばらつき損失面には多くのサドル点があり, 特にスパースネットワークに適用した場合, その性能に深刻な影響を及ぼす可能性があることが示されている。
本稿では,各反復後のコミュニティ割り当ての後部をハードしきい値にすることで,変分推論法を改善するための簡易な方法を提案する。
提案手法は, ネットワークのノード平均次数が有界であっても, 真のコミュニティラベルを収束し, 正確に復元できることを, 真のコミュニティ割り当てと相関するランダム初期化を用いて示す。
大規模な数値研究により、古典的変分推論と別の最先端アルゴリズムに対する提案手法の利点がさらに裏付けられる。
関連論文リスト
- Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。
複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。
提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
論文 参考訳（メタデータ） (2023-10-10T14:06:56Z) - Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳（メタデータ） (2023-09-12T13:03:47Z) - Efficient Estimation for Longitudinal Networks via Adaptive Merging [21.62069959992736]
本稿では, 適応型ネットワークマージ, テンソル分解, 点過程の強みを利用した長手ネットワークの効率的な推定手法を提案する。
近隣のスパースネットワークをマージし、観測されたエッジの数を拡大し、推定分散を低減する。
提案手法は,各イテレーションにおける推定誤差の上限を設定することにより,推定を容易にする。
論文 参考訳（メタデータ） (2022-11-15T03:17:11Z) - On Optimizing Back-Substitution Methods for Neural Network Verification [1.4394939014120451]
本稿では, 後方置換がより厳密な境界を生じさせるアプローチを提案する。
我々の技術は、多くの既存のシンボル境界伝搬技術に統合できるという意味で、一般的なものである。
論文 参考訳（メタデータ） (2022-08-16T11:16:44Z) - Multivariate Deep Evidential Regression [77.34726150561087]
不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。
本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
論文 参考訳（メタデータ） (2021-04-13T12:20:18Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Efficient Variational Inference for Sparse Deep Learning with
Theoretical Guarantee [20.294908538266867]
スパースディープラーニングは、ディープニューラルネットワークによる巨大なストレージ消費の課題に対処することを目的としている。
本稿では,スパイク・アンド・スラブ前処理による完全ベイズ処理により,疎いディープニューラルネットワークを訓練する。
我々はベルヌーイ分布の連続緩和による計算効率の良い変分推論のセットを開発する。
論文 参考訳（メタデータ） (2020-11-15T03:27:54Z) - ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。
本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文 参考訳（メタデータ） (2020-06-28T23:09:27Z) - Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。
さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文 参考訳（メタデータ） (2020-02-24T08:52:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。