論文の概要: Frequentist Guarantees of Distributed (Non)-Bayesian Inference
- arxiv url: http://arxiv.org/abs/2311.08214v3
- Date: Mon, 15 Apr 2024 18:50:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 23:55:11.808221
- Title: Frequentist Guarantees of Distributed (Non)-Bayesian Inference
- Title（参考訳）: 分散(非)-ベイジアン推論の周波数保証
- Authors: Bohan Wu, César A. Uribe,
- Abstract要約: 本稿では,分散(非)ベイズ推論問題に対する後続一貫性,正規性,後続収縮率などの頻繁な特性について述べる。
この結果から,分散ベイズ推定はパラメトリックな効率を保っていることがわかった。
解析結果を時間変化グラフに拡張し,指数関数型ファミリーモデル,分散ロジスティック回帰モデル,分散検出モデルに適用する。
- 参考スコア（独自算出の注目度）: 3.0873935965739685
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Motivated by the need to analyze large, decentralized datasets, distributed Bayesian inference has become a critical research area across multiple fields, including statistics, electrical engineering, and economics. This paper establishes Frequentist properties, such as posterior consistency, asymptotic normality, and posterior contraction rates, for the distributed (non-)Bayes Inference problem among agents connected via a communication network. Our results show that, under appropriate assumptions on the communication graph, distributed Bayesian inference retains parametric efficiency while enhancing robustness in uncertainty quantification. We also explore the trade-off between statistical efficiency and communication efficiency by examining how the design and size of the communication graph impact the posterior contraction rate. Furthermore, We extend our analysis to time-varying graphs and apply our results to exponential family models, distributed logistic regression, and decentralized detection models.
- Abstract（参考訳）: 大規模で分散化されたデータセットを分析する必要性から、分散ベイズ推論は統計学、電気工学、経済学など、様々な分野において重要な研究領域となっている。
本稿では、通信ネットワークを介して接続されたエージェント間の分散(非)ベイズ推論問題に対して、後続一貫性、漸近正規性、後続収縮率などの周波数特性を確立する。
この結果から,分散ベイズ推定は不確実性定量化におけるロバスト性を高めつつ,パラメトリックな効率を保ちながら,通信グラフ上の適切な仮定の下で分散ベイズ推定が維持されることが示唆された。
また,通信グラフの設計とサイズが後部収縮率にどのように影響するかを検討することで,統計的効率と通信効率のトレードオフについても検討する。
さらに,解析結果を時間変化グラフに拡張し,指数関数系モデル,分散ロジスティック回帰モデル,分散検出モデルに適用する。
関連論文リスト
- Distributed Event-Based Learning via ADMM [11.461617927469316]
エージェントがネットワーク上で情報を交換することで,グローバルな目的関数を最小限に抑える分散学習問題を考える。
提案手法には2つの特徴がある: (i) 必要なときにのみ通信をトリガーすることで通信を大幅に削減し, (ii) 異なるエージェント間のデータ分散に非依存である。
論文 参考訳（メタデータ） (2024-05-17T08:30:28Z) - Revealing Decurve Flows for Generalized Graph Propagation [108.80758541147418]
本研究は,有向グラフと重み付きグラフを用いて,m文を一般化した伝播を定義することによって,従来のメッセージパッシング(中心からグラフ学習)の限界に対処する。
この分野ではじめて、データセットにおける学習された伝播パターンの予備的な探索を含む。
論文 参考訳（メタデータ） (2024-02-13T14:13:17Z) - Variational DAG Estimation via State Augmentation With Stochastic Permutations [16.57658783816741]
ベイズネットワークの構造を観測データから推定することは統計的かつ計算的に難しい問題である。
確率的推論の観点から、主な課題は(i) DAG 制約を満たすグラフ上の分布を表すこと、(ii) 基礎空間上の後方を推定することである。
そこで本稿では,DAGと置換の強化空間上に共同分布を定式化することにより,これらの課題に対処するアプローチを提案する。
論文 参考訳（メタデータ） (2024-02-04T23:51:04Z) - Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。
提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。
複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文 参考訳（メタデータ） (2023-06-09T08:30:51Z) - Compressed Regression over Adaptive Networks [58.79251288443156]
分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。
エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
論文 参考訳（メタデータ） (2023-04-07T13:41:08Z) - Finite Sample Guarantees for Distributed Online Parameter Estimation
with Communication Costs [2.2268031040603447]
本研究では,未知パラメータを分散的・オンライン的に推定する問題について検討する。
ネットワーク内の各エージェントが隣人と通信することで,その推定精度を向上させる分散オンライン推定アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-09-12T23:38:19Z) - Fundamental Limits of Communication Efficiency for Model Aggregation in
Distributed Learning: A Rate-Distortion Approach [54.311495894129585]
本研究では,分散学習におけるモデルアグリゲーションの通信コストの限界について,速度歪みの観点から検討する。
SignSGDでは,ワーカノード間の相関を利用した通信利得が重要であることがわかった。
論文 参考訳（メタデータ） (2022-06-28T13:10:40Z) - Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。
グラフが現在の勾配を混合する能力を定量化する計量法を提案する。
そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
論文 参考訳（メタデータ） (2022-04-13T15:54:35Z) - BayesIMP: Uncertainty Quantification for Causal Data Fusion [52.184885680729224]
本研究では,複数の因果グラフに関連するデータセットを組み合わせ,対象変数の平均処理効果を推定する因果データ融合問題について検討する。
本稿では、確率積分とカーネル平均埋め込みのアイデアを組み合わせて、再生されたカーネルヒルベルト空間における干渉分布を表現するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-07T10:14:18Z) - rTop-k: A Statistical Estimation Approach to Distributed SGD [5.197307534263253]
トップkとランダムkのスパーシフィケーション手法は, いずれの手法も単独で適用した場合, 連続的に, 顕著に優れていることを示す。
本稿では,空間性および統計的に最適な通信方式を捉える勾配の簡易な統計的推定モデルを提案する。
CIFAR-10, ImageNet, および Penn Treebank のデータセットを用いて画像領域と言語領域に関する広範な実験を行い、これらの2つのスパーシフィケーション手法のスキュードな適用は、いずれの手法も単独で適用した場合に著しく優れることを示した。
論文 参考訳（メタデータ） (2020-05-21T16:27:46Z) - Identification Methods With Arbitrary Interventional Distributions as
Inputs [8.185725740857595]
因果推論は、データから反事実パラメータを推定することで、原因と影響の関係を定量化する。
我々は、単一世界干渉グラフと混合グラフに関連付けられたモデルのネスト係数化を用いて、実験データに対する既存の識別理論の非常に単純なビューを提供する。
論文 参考訳（メタデータ） (2020-04-02T17:27:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。