論文の概要: Distributed Variational Inference for Online Supervised Learning
- arxiv url: http://arxiv.org/abs/2309.02606v1
- Date: Tue, 5 Sep 2023 22:33:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 17:15:22.173680
- Title: Distributed Variational Inference for Online Supervised Learning
- Title（参考訳）: オンライン教師付き学習のための分散変分推論
- Authors: Parth Paritosh, Nikolay Atanasov, Sonia Martinez
- Abstract要約: 本稿では,スケーラブルな分散確率的推論アルゴリズムを提案する。
センサネットワークにおける連続変数、難解な後部データ、大規模リアルタイムデータに適用できる。
- 参考スコア（独自算出の注目度）: 15.038649101409804
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Developing efficient solutions for inference problems in intelligent sensor
networks is crucial for the next generation of location, tracking, and mapping
services. This paper develops a scalable distributed probabilistic inference
algorithm that applies to continuous variables, intractable posteriors and
large-scale real-time data in sensor networks. In a centralized setting,
variational inference is a fundamental technique for performing approximate
Bayesian estimation, in which an intractable posterior density is approximated
with a parametric density. Our key contribution lies in the derivation of a
separable lower bound on the centralized estimation objective, which enables
distributed variational inference with one-hop communication in a sensor
network. Our distributed evidence lower bound (DELBO) consists of a weighted
sum of observation likelihood and divergence to prior densities, and its gap to
the measurement evidence is due to consensus and modeling errors. To solve
binary classification and regression problems while handling streaming data, we
design an online distributed algorithm that maximizes DELBO, and specialize it
to Gaussian variational densities with non-linear likelihoods. The resulting
distributed Gaussian variational inference (DGVI) efficiently inverts a
$1$-rank correction to the covariance matrix. Finally, we derive a diagonalized
version for online distributed inference in high-dimensional models, and apply
it to multi-robot probabilistic mapping using indoor LiDAR data.
- Abstract（参考訳）: インテリジェントセンサーネットワークにおける推論問題に対する効率的なソリューションの開発は、次世代のロケーション、トラッキング、マッピングサービスにとって不可欠である。
本稿では,センサネットワークにおける連続変数,抽出可能な後部および大規模リアルタイムデータに適用可能な,スケーラブルな分散確率推定アルゴリズムを提案する。
集中的な環境では、変分推論は近似ベイズ推定の基本的な手法であり、難解な後方密度をパラメトリック密度で近似する。
センサネットワークにおける1ホップ通信による分散変分推論を可能にする,集中的推定目標に対する分離可能な下限の導出が鍵となる。
我々の分散エビデンスローバウンド(DELBO)は、観測可能性の重み付けと事前密度のばらつきで構成されており、測定エビデンスとのギャップは、コンセンサスとモデリングエラーによるものである。
ストリーミングデータを扱う場合のバイナリ分類と回帰問題を解決するために,DELBOを最大化するオンライン分散アルゴリズムを設計し,非線形確率を持つガウス変分密度に特化する。
結果の分散ガウス変分推論(DGVI)は、共分散行列に1ドルランクの補正を効率的に反転させる。
最後に、高次元モデルにおけるオンライン分散推論のための対角化バージョンを導出し、屋内ライダーデータを用いたマルチロボット確率マッピングに適用する。
関連論文リスト
- Inflationary Flows: Calibrated Bayesian Inference with Diffusion-Based Models [0.0]
本稿では,拡散モデルを用いてベイズ推定を行う方法を示す。
本稿では,新しいノイズスケジュールを用いて,標準的なDBMトレーニングを通じてそのようなマップを学習する方法を示す。
その結果は、低次元の潜在空間上で一意に定義される非常に表現性の高い生成モデルのクラスである。
論文 参考訳（メタデータ） (2024-07-11T19:58:19Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - Distributed Bayesian Estimation in Sensor Networks: Consensus on
Marginal Densities [15.038649101409804]
連続変数上の確率分布の関数空間において、確率的確率的アルゴリズムを導出する。
これらの結果を利用して、個々のエージェントが観測する変数のサブセットに制限された新しい分散推定器を得る。
これは、協調的なローカライゼーションやフェデレートドラーニングのような応用に関係しており、任意のエージェントで収集されたデータは、関心のあるすべての変数のサブセットに依存する。
論文 参考訳（メタデータ） (2023-12-02T21:10:06Z) - Flow-based Distributionally Robust Optimization [23.232731771848883]
We present a framework, called $textttFlowDRO$, for solve flow-based distributionally robust optimization (DRO) problem with Wasserstein uncertainty set。
我々は、連続した最悪のケース分布(Last Favorable Distribution, LFD)とそれからのサンプルを見つけることを目指している。
本稿では、逆学習、分布論的に堅牢な仮説テスト、およびデータ駆動型分布摂動差分プライバシーの新しいメカニズムを実証する。
論文 参考訳（メタデータ） (2023-10-30T03:53:31Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - Reliable amortized variational inference with physics-based latent
distribution correction [0.4588028371034407]
ニューラルネットワークは、既存のモデルとデータのペアの後方分布を近似するように訓練される。
このアプローチの精度は、高忠実度トレーニングデータの可用性に依存する。
補正ステップは, ソース実験数の変化, ノイズ分散, 先行分布の変化に対して, 償却された変分推論の頑健さを向上することを示す。
論文 参考訳（メタデータ） (2022-07-24T02:38:54Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - General stochastic separation theorems with optimal bounds [68.8204255655161]
分離性の現象が明らかになり、機械学習で人工知能(AI)システムのエラーを修正し、AI不安定性を分析するために使用された。
エラーやエラーのクラスタは、残りのデータから分離することができる。
AIシステムを修正する能力は、それに対する攻撃の可能性も開き、高次元性は、同じ分離性によって引き起こされる脆弱性を誘発する。
論文 参考訳（メタデータ） (2020-10-11T13:12:41Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。