論文の概要: Distributed Variational Bayesian Algorithms Over Sensor Networks
- arxiv url: http://arxiv.org/abs/2011.13600v1
- Date: Fri, 27 Nov 2020 08:12:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-20 01:28:17.061738
- Title: Distributed Variational Bayesian Algorithms Over Sensor Networks
- Title（参考訳）: センサネットワーク上の分散変分ベイズアルゴリズム
- Authors: Junhao Hua, Chunguang Li
- Abstract要約: 一般ベイズ推論問題に対する2つの新しい分散VBアルゴリズムを提案する。
提案アルゴリズムは、核融合センターで利用可能な全データに依存する集中型VBアルゴリズムとほぼ同等の性能を有する。
- 参考スコア（独自算出の注目度）: 6.572330981878818
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributed inference/estimation in Bayesian framework in the context of
sensor networks has recently received much attention due to its broad
applicability. The variational Bayesian (VB) algorithm is a technique for
approximating intractable integrals arising in Bayesian inference. In this
paper, we propose two novel distributed VB algorithms for general Bayesian
inference problem, which can be applied to a very general class of
conjugate-exponential models. In the first approach, the global natural
parameters at each node are optimized using a stochastic natural gradient that
utilizes the Riemannian geometry of the approximation space, followed by an
information diffusion step for cooperation with the neighbors. In the second
method, a constrained optimization formulation for distributed estimation is
established in natural parameter space and solved by alternating direction
method of multipliers (ADMM). An application of the distributed
inference/estimation of a Bayesian Gaussian mixture model is then presented, to
evaluate the effectiveness of the proposed algorithms. Simulations on both
synthetic and real datasets demonstrate that the proposed algorithms have
excellent performance, which are almost as good as the corresponding
centralized VB algorithm relying on all data available in a fusion center.
- Abstract（参考訳）: センサネットワークのコンテキストにおけるベイズフレームワークの分散推論/推定は、その幅広い適用性のために最近注目を集めている。
変分ベイズアルゴリズム(英: variational bayesian algorithm)は、ベイズ推論で生じる難解な積分を近似する手法である。
本稿では,非常に一般的な共役指数モデルに適用可能な一般ベイズ推論問題に対する2つの分散vbアルゴリズムを提案する。
最初のアプローチでは、各ノードにおける大域的自然パラメータは、近似空間のリーマン幾何学を利用する確率的自然勾配を用いて最適化され、続いて隣人と協調するための情報拡散ステップが与えられる。
第2の方法では、分散推定のための制約付き最適化定式化を自然パラメータ空間に確立し、乗算器の交互方向法(admm)により解く。
次に,提案手法の有効性を評価するために,ベイズ混合モデルの分散推論・推定の応用について述べる。
合成データと実データの両方のシミュレーションにより、提案アルゴリズムは優れた性能を持つことが示され、これは核融合センターで利用可能な全データに依存するvbアルゴリズムにほぼ匹敵する。
関連論文リスト
- Enhancing Gaussian Process Surrogates for Optimization and Posterior Approximation via Random Exploration [2.984929040246293]
ガウス過程シュロゲートモデルの精度を高めるために、ランダムな探索ステップに依存する新しいノイズフリーベイズ最適化戦略。
新しいアルゴリズムは、古典的なGP-UCBの実装の容易さを維持しているが、さらなる探索がそれらの収束を促進する。
論文 参考訳（メタデータ） (2024-01-30T14:16:06Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - Distributed Linear Regression with Compositional Covariates [5.085889377571319]
大規模合成データにおける分散スパースペナル化線形ログコントラストモデルに着目する。
2つの異なる制約凸最適化問題を解くために2つの分散最適化手法を提案する。
分散化されたトポロジでは、通信効率の高い正規化推定値を得るための分散座標ワイド降下アルゴリズムを導入する。
論文 参考訳（メタデータ） (2023-10-21T11:09:37Z) - Sample Complexity for Quadratic Bandits: Hessian Dependent Bounds and
Optimal Algorithms [64.10576998630981]
最適なヘッセン依存型サンプルの複雑さを, 初めて厳密に評価した。
ヘシアン非依存のアルゴリズムは、すべてのヘシアンインスタンスに対して最適なサンプル複雑さを普遍的に達成する。
本アルゴリズムにより得られたサンプルの最適複雑さは,重み付き雑音分布においても有効である。
論文 参考訳（メタデータ） (2023-06-21T17:03:22Z) - Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。
本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
論文 参考訳（メタデータ） (2023-01-30T15:46:39Z) - Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex
Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。
我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。
我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
論文 参考訳（メタデータ） (2021-06-08T15:54:44Z) - Matrix completion based on Gaussian belief propagation [5.685589351789462]
行列ファクタリゼーションに基づく雑音マトリクス補完問題に対するメッセージパッシングアルゴリズムの開発を行う。
近似メッセージパッシングの文献によく用いられる摂動処理を適用することにより,提案アルゴリズムのメモリフレンドリーなバージョンを導出する。
合成データセットの実験により, 提案アルゴリズムは, 先行アルゴリズムが最適となる条件下では, ほぼ同じ性能を示すが, 非ガウス雑音により観測されたデータセットが破損した場合に有利であることがわかった。
論文 参考訳（メタデータ） (2021-05-01T12:16:49Z) - On the implementation of a global optimization method for mixed-variable
problems [0.30458514384586394]
このアルゴリズムは、グットマンの放射基底関数と、レジスとシューメーカーの計量応答面法に基づいている。
これら2つのアルゴリズムの一般化と改良を目的としたいくつかの修正を提案する。
論文 参考訳（メタデータ） (2020-09-04T13:36:56Z) - Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
異種データセットから学習した後続分布を融合する手法を提案する。
我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
論文 参考訳（メタデータ） (2020-07-13T03:27:45Z) - Mean-Field Approximation to Gaussian-Softmax Integral with Application
to Uncertainty Estimation [23.38076756988258]
ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。
平均場近似式を用いて解析的に難解な積分を計算する。
実験的に,提案手法は最先端の手法と比較して競合的に機能する。
論文 参考訳（メタデータ） (2020-06-13T07:32:38Z) - Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。
我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。
また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文 参考訳（メタデータ） (2020-02-16T09:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。