論文の概要: Bayesian Over-the-Air FedAvg via Channel Driven Stochastic Gradient
Langevin Dynamics
- arxiv url: http://arxiv.org/abs/2305.04152v1
- Date: Sun, 7 May 2023 00:10:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-09 17:20:15.306415
- Title: Bayesian Over-the-Air FedAvg via Channel Driven Stochastic Gradient
Langevin Dynamics
- Title(参考訳): チャネル駆動確率勾配ランジュバンダイナミクスによるベイジアン・オーバー・ザ・エアフェダブグ
- Authors: Boning Zhang, Dongzhu Liu, Osvaldo Simeone, Guangxu Zhu
- Abstract要約: 本稿では,無線システムにおけるFALDを実現するプロトコルである無線FALDを提案する。
WFALDはモンテカルロ更新のためのオーバー・ザ・エア計算とチャネル駆動サンプリングを統合している。
解析と実験により、信号対雑音比が十分に大きい場合には、モンテカルロサンプリングのためにチャネルノイズを完全に再利用できることが示されている。
- 参考スコア(独自算出の注目度): 41.58760966569499
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recent development of scalable Bayesian inference methods has renewed
interest in the adoption of Bayesian learning as an alternative to conventional
frequentist learning that offers improved model calibration via uncertainty
quantification. Recently, federated averaging Langevin dynamics (FALD) was
introduced as a variant of federated averaging that can efficiently implement
distributed Bayesian learning in the presence of noiseless communications. In
this paper, we propose wireless FALD (WFALD), a novel protocol that realizes
FALD in wireless systems by integrating over-the-air computation and
channel-driven sampling for Monte Carlo updates. Unlike prior work on wireless
Bayesian learning, WFALD enables (\emph{i}) multiple local updates between
communication rounds; and (\emph{ii}) stochastic gradients computed by
mini-batch. A convergence analysis is presented in terms of the 2-Wasserstein
distance between the samples produced by WFALD and the targeted global
posterior distribution. Analysis and experiments show that, when the
signal-to-noise ratio is sufficiently large, channel noise can be fully
repurposed for Monte Carlo sampling, thus entailing no loss in performance.
- Abstract(参考訳): 近年のスケーラブルベイズ推定法の開発は、不確実性定量化によるモデル校正の改善を提供する従来の頻繁学習の代替としてベイズ学習を採用することに再び関心を寄せている。
近年,フェデレート平均ランゲヴィンダイナミクス (FALD) は,ノイズレス通信の存在下で分散ベイズ学習を効率的に実装できるフェデレーション平均化の変種として導入された。
本稿では,モンテカルロ更新において,無線システムにおいてfaldを実現する新しいプロトコルである wireless fald (wfald) を提案する。
無線ベイズ学習の以前の研究とは異なり、WFALDは通信ラウンド間の複数の局所的な更新を可能にし、(\emph{ii})確率勾配をミニバッチで計算する。
wfaldが生成する試料とターゲットのグローバル後方分布との間の2-wasserstein距離を用いて収束解析を行った。
解析と実験により、信号対雑音比が十分に大きい場合には、モンテカルロサンプリングのためにチャネルノイズを完全に再利用することができ、性能の損失を伴わないことが示された。
関連論文リスト
- A Universal Deep Neural Network for Signal Detection in Wireless Communication Systems [35.07773969966621]
無線通信におけるチャネル推定と信号検出のための有望なアプローチとして,Deep Learning (DL) が登場している。
無線チャネルの動的性質に対処するためには、新しい非老化データに基づいてDL手法を再訓練する必要がある。
本稿では,モデルを再学習することなく,様々な無線環境において高い検出性能を達成できる,新しいユニバーサルディープニューラルネットワーク(Uni-DNN)を提案する。
論文 参考訳(メタデータ) (2024-04-03T11:21:10Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳(メタデータ) (2023-10-16T05:49:28Z) - Diffusion Generative Flow Samplers: Improving learning signals through
partial trajectory optimization [87.21285093582446]
Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。
生成フローネットワーク(GFlowNets)のための理論から着想を得た。
論文 参考訳(メタデータ) (2023-10-04T09:39:05Z) - Consistency Trajectory Models: Learning Probability Flow ODE Trajectory of Diffusion [56.38386580040991]
Consistency Trajectory Model (CTM) は Consistency Models (CM) の一般化である
CTMは、対戦訓練とスコアマッチング損失を効果的に組み合わせることで、パフォーマンスを向上させる。
CMとは異なり、CTMのスコア関数へのアクセスは、確立された制御可能/条件生成メソッドの採用を合理化することができる。
論文 参考訳(メタデータ) (2023-10-01T05:07:17Z) - Score-based Source Separation with Applications to Digital Communication
Signals [72.6570125649502]
拡散モデルを用いた重畳音源の分離手法を提案する。
高周波(RF)システムへの応用によって、我々は、基礎となる離散的な性質を持つ情報源に興味を持っている。
提案手法は,最近提案されたスコア蒸留サンプリング方式のマルチソース拡張と見なすことができる。
論文 参考訳(メタデータ) (2023-06-26T04:12:40Z) - Hybrid Far- and Near-Field Channel Estimation for THz Ultra-Massive MIMO
via Fixed Point Networks [15.498866529344275]
テラヘルツ超大容量多重出力(THz UM-MIMO)は6G無線システムのキーイネーブラーとして想定されている。
我々は適応的複雑性と線形収束保証を備えた効率的なディープラーニングに基づくチャネル推定器を開発した。
アルゴリズムの大きな革新は、任意の深さでニューラルネットワークをモデリングし、ハイブリッドフィールドのチャネル条件に適応しながら、チャネル推定を計算するために固定点を適用することである。
論文 参考訳(メタデータ) (2022-05-10T14:57:56Z) - Low Complexity Channel estimation with Neural Network Solutions [1.0499453838486013]
我々は、ダウンリンクシナリオでチャネル推定を実現するために、一般的な残差畳み込みニューラルネットワークをデプロイする。
チャネル推定における他のディープラーニング手法と比較して,平均二乗誤差計算の改善が示唆された。
論文 参考訳(メタデータ) (2022-01-24T19:55:10Z) - On Convergence of Federated Averaging Langevin Dynamics [22.013125418713763]
本稿では,分散クライアントを用いた不確実性定量化と平均予測のための平均ランゲヴィンアルゴリズム(FA-LD)を提案する。
非可解データを用いた強対数分布に対するFA-LDの理論的保証を開発する。
部分的なデバイス更新のみが可能な,さまざまな平均化スキームに基づく収束結果を示す。
論文 参考訳(メタデータ) (2021-12-09T18:54:29Z) - Deep Diffusion Models for Robust Channel Estimation [1.7259824817932292]
深部拡散モデルを用いたマルチインプット・マルチアウトプット(MIMO)チャネル推定のための新しい手法を提案する。
提案手法は,高次元空間の任意の点における無線チャネルのログ状勾配を推定するために訓練されたディープニューラルネットワークを用いている。
論文 参考訳(メタデータ) (2021-11-16T01:32:11Z) - A Generative Learning Approach for Spatio-temporal Modeling in Connected
Vehicular Network [55.852401381113786]
本稿では,コネクテッドカーの無線アクセス遅延を実現するための総合的時間品質フレームワークであるLaMI(Latency Model Inpainting)を提案する。
LaMIはイメージインペイントと合成のアイデアを採用し、2段階の手順で欠落したレイテンシサンプルを再構築することができる。
特に、パッチ方式のアプローチを用いて各地域で収集されたサンプル間の空間的相関を初めて発見し、その後、原点および高度に相関したサンプルをバラエナオートコーダ(VAE)に供給する。
論文 参考訳(メタデータ) (2020-03-16T03:43:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。