論文の概要: Bayesian Federated Neural Matching that Completes Full Information

• arxiv url: http://arxiv.org/abs/2211.08010v1
• Date: Tue, 15 Nov 2022 09:47:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 15:30:18.449395
• Title: Bayesian Federated Neural Matching that Completes Full Information
• Title（参考訳）: 完全な情報を完結するベイズ連邦ニューラルマッチング
• Authors: Peng Xiao, Samuel Cheng
• Abstract要約: フェデレートラーニング(Federated Learning)は、局所的に訓練されたモデルをグローバルモデルに蒸留する機械学習パラダイムである。 そこで本研究では,各イテレーションでKulback-Leibler分散ペナルティを導入することで,この欠陥を克服する新しいアプローチを提案する。
• 参考スコア（独自算出の注目度）: 2.6566593102111473
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Federated learning is a contemporary machine learning paradigm where locally trained models are distilled into a global model. Due to the intrinsic permutation invariance of neural networks, Probabilistic Federated Neural Matching (PFNM) employs a Bayesian nonparametric framework in the generation process of local neurons, and then creates a linear sum assignment formulation in each alternative optimization iteration. But according to our theoretical analysis, the optimization iteration in PFNM omits global information from existing. In this study, we propose a novel approach that overcomes this flaw by introducing a Kullback-Leibler divergence penalty at each iteration. The effectiveness of our approach is demonstrated by experiments on both image classification and semantic segmentation tasks.
• Abstract（参考訳）: 連合学習は、現地で訓練されたモデルをグローバルモデルに蒸留する現代の機械学習パラダイムである。 ニューラルネットワークの固有の置換不変性のため、確率的フェデレートニューラルマッチング(PFNM)は局所ニューロンの生成過程においてベイズ非パラメトリックのフレームワークを使用し、それぞれの代替最適化イテレーションで線形和割り当ての定式化を作成する。 しかし、理論解析によれば、pfnmの最適化イテレーションは既存の情報からグローバル情報を省略する。 本研究では,各イテレーションにkullback-leibler divergence penaltyを導入することにより,この欠陥を克服する新しい手法を提案する。 本手法の有効性は画像分類とセマンティックセグメンテーションの両タスクの実験によって実証された。

関連論文リスト

• Deep Learning and genetic algorithms for cosmological Bayesian inference speed-up [0.0]
  本稿では,ネストサンプリングアルゴリズムに特化してベイズ推論を高速化する新しい手法を提案する。 提案手法は,ベイズ推論過程における確率関数を動的に近似するために,フィードフォワードニューラルネットワークを用いてディープラーニングのパワーを利用する。 この実装はネストサンプリングアルゴリズムと統合され、単純な宇宙学のダークエネルギーモデルと多様な観測データセットの両方を用いて徹底的に評価されている。
  論文  参考訳（メタデータ） (2024-05-06T09:14:58Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Federated Learning as Variational Inference: A Scalable Expectation Propagation Approach [66.9033666087719]
  本稿では,推論の視点を拡張し,フェデレート学習の変分推論の定式化について述べる。 我々は、FedEPを標準フェデレーション学習ベンチマークに適用し、収束速度と精度の両方において、強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-02-08T17:58:11Z)
• Classified as unknown: A novel Bayesian neural network [0.0]
  完全連結ニューラルネットワークのための効率の良いベイズ学習アルゴリズムを開発した。 多層パーセプトロンから多層パーセプトロンへの二元分類のための単一パーセプトロンのアルゴリズムを一般化する。
  論文  参考訳（メタデータ） (2023-01-31T04:27:09Z)
• On the Convergence of Shallow Neural Network Training with Randomly Masked Neurons [11.119895959906085]
  密度の浅いニューラルネットワークを前提として、ランダムに選択された関数の作成、トレーニング、組み合わせに重点を置いています。 i)$ theworks' Neural kernel, $ii)$ the surrogate function' gradient, and $iii)$ surrogate functionのサンプリングと組み合わせの仕方を解析することにより、トレーニングエラーの線形収束率を証明できる。 固定されたニューロン選択確率では、サロゲートモデルの数が増えるにつれて誤差項は減少し、局所的なトレーニングステップの数が増えるにつれて増加する。
  論文  参考訳（メタデータ） (2021-12-05T19:51:14Z)
• Probabilistic Federated Learning of Neural Networks Incorporated with Global Posterior Information [4.067903810030317]
  フェデレートラーニングでは、ローカルクライアントで訓練されたモデルをグローバルモデルに蒸留する。 本稿では,確率的フェデレーションニューラルネットワークの拡張手法を提案する。 我々の新しい手法は、単一のコミュニケーションラウンドと追加のコミュニケーションラウンドの両方において、一般的な最先端のフェデレーション学習方法より優れています。
  論文  参考訳（メタデータ） (2020-12-06T03:54:58Z)
• Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
  異種データセットから学習した後続分布を融合する手法を提案する。 我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
  論文  参考訳（メタデータ） (2020-07-13T03:27:45Z)
• DessiLBI: Exploring Structural Sparsity of Deep Networks via Differential Inclusion Paths [45.947140164621096]
  逆スケール空間の差分包摂に基づく新しい手法を提案する。 DessiLBIが早期に「優勝チケット」を発表することを示す。
  論文  参考訳（メタデータ） (2020-07-04T04:40:16Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。