論文の概要: Federated Generalized Bayesian Learning via Distributed Stein Variational Gradient Descent

• arxiv url: http://arxiv.org/abs/2009.06419v6
• Date: Tue, 30 Mar 2021 13:14:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 21:26:21.513370
• Title: Federated Generalized Bayesian Learning via Distributed Stein Variational Gradient Descent
• Title（参考訳）: 分散シュタイン変分勾配降下による一般化ベイズ学習
• Authors: Rahif Kassab and Osvaldo Simeone
• Abstract要約: 本稿では,非パラメトリック一般化ベイズ推論フレームワークDSVGDを提案する。 粒子数を変化させることで、DSVGDは粒子間通信負荷と通信ラウンド数との柔軟なトレードオフを可能にする。
• 参考スコア（独自算出の注目度）: 38.41707037232561
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces Distributed Stein Variational Gradient Descent (DSVGD), a non-parametric generalized Bayesian inference framework for federated learning. DSVGD maintains a number of non-random and interacting particles at a central server to represent the current iterate of the model global posterior. The particles are iteratively downloaded and updated by one of the agents with the end goal of minimizing the global free energy. By varying the number of particles, DSVGD enables a flexible trade-off between per-iteration communication load and number of communication rounds. DSVGD is shown to compare favorably to benchmark frequentist and Bayesian federated learning strategies, also scheduling a single device per iteration, in terms of accuracy and scalability with respect to the number of agents, while also providing well-calibrated, and hence trustworthy, predictions.
• Abstract（参考訳）: 本稿では,混合学習のための非パラメトリック一般化ベイズ推定フレームワークである分散スタイン変分勾配降下(dsvgd)について述べる。 DSVGDは、多数の非ランダムと相互作用する粒子を中央サーバに保持し、モデル全体の後部の現在の繰り返しを表現する。 粒子は反復的にダウンロードされ、エージェントの1人によって更新され、グローバルな自由エネルギーを最小化することを目的としている。 粒子数を変化させることで、DSVGDは粒子間通信負荷と通信ラウンド数との柔軟なトレードオフを可能にする。 DSVGDは、頻繁かつベイズ的なフェデレートされた学習戦略をベンチマークし、エージェントの数に関して精度とスケーラビリティの観点から1回に1台のデバイスをスケジューリングすると同時に、十分に校正され、信頼できる予測を提供する。

関連論文リスト

• ELBOing Stein: Variational Bayes with Stein Mixture Inference [12.562946804046051]
  スタイン変分降下(SVGD)は、後方の粒子を一組の粒子で表すことで近似ベイズ推定を行う。 我々は,各粒子が混合モデルの成分分布をパラメータ化することでSVGDを一般化する。 提案手法であるStein Mixture Inference (SMI)は,エビデンス(ELBO)に対する低境界を最適化し,ユーザ特定ガイドを導入する。
  論文  参考訳（メタデータ） (2024-10-30T12:05:12Z)
• Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
  分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。 分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
  論文  参考訳（メタデータ） (2023-06-16T17:59:51Z)
• Augmented Message Passing Stein Variational Gradient Descent [3.5788754401889014]
  収束過程における有限粒子の等方性特性について検討する。 すべての粒子は特定の範囲内で粒子中心の周りに集まる傾向にある。 提案アルゴリズムは, 種々のベンチマーク問題における分散崩壊問題を克服し, 良好な精度を実現する。
  論文  参考訳（メタデータ） (2023-05-18T01:13:04Z)
• Client Selection for Federated Bayesian Learning [6.055038050790775]
  我々は,KSD(Kernelized Stein Discrepancy)とHilbert内積(HIP)に基づくDSVGDの選択方式を提案する。 各種学習課題やデータセットを用いて,モデル精度,収束速度,安定性の観点から,従来のスキームとの比較を行った。
  論文  参考訳（メタデータ） (2022-12-11T12:37:31Z)
• From Points to Functions: Infinite-dimensional Representations in Diffusion Models [23.916417852496608]
  拡散に基づく生成モデルは、非構造的雑音を複雑な対象分布に反復的に伝達することを学ぶ。 異なる時間ステップからの情報コンテンツを組み合わせることで、下流のタスクをより正確に表現できることが示される。
  論文  参考訳（メタデータ） (2022-10-25T05:30:53Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Forget-SVGD: Particle-Based Bayesian Federated Unlearning [32.638916321653554]
  Forget-Stein Variational Gradient Descent (Forget-SVGD)はSVGD上に構築されている。 提案手法は,スクラッチから学習する非パラメトリックスキームとの性能比較により,忘れられるデータを除外して検証する。
  論文  参考訳（メタデータ） (2021-11-23T18:15:50Z)
• DyCo3D: Robust Instance Segmentation of 3D Point Clouds through Dynamic Convolution [136.7261709896713]
  本稿では,インスタンスの性質に応じて適切な畳み込みカーネルを生成するデータ駆動型アプローチを提案する。 提案手法はScanetNetV2とS3DISの両方で有望な結果が得られる。 また、現在の最先端よりも推論速度を25%以上向上させる。
  論文  参考訳（メタデータ） (2020-11-26T14:56:57Z)
• Kernel Stein Generative Modeling [68.03537693810972]
  グラディエント・ランゲヴィン・ダイナミクス(SGLD)は高次元および複雑なデータ分布に関するエネルギーモデルによる印象的な結果を示す。 Stein Variational Gradient Descent (SVGD) は、与えられた分布を近似するために一組の粒子を反復的に輸送する決定論的サンプリングアルゴリズムである。 雑音条件付きカーネルSVGD(NCK-SVGD)を提案する。
  論文  参考訳（メタデータ） (2020-07-06T21:26:04Z)
• Stein Variational Inference for Discrete Distributions [70.19352762933259]
  離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。 提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。 我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。 さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
  論文  参考訳（メタデータ） (2020-03-01T22:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。