論文の概要: Probabilistic Federated Learning of Neural Networks Incorporated with Global Posterior Information

• arxiv url: http://arxiv.org/abs/2012.03178v1
• Date: Sun, 6 Dec 2020 03:54:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-21 14:02:46.251093
• Title: Probabilistic Federated Learning of Neural Networks Incorporated with Global Posterior Information
• Title（参考訳）: グローバル後部情報を組み込んだニューラルネットワークの確率的フェデレーション学習
• Authors: Peng Xiao, Samuel Cheng
• Abstract要約: フェデレートラーニングでは、ローカルクライアントで訓練されたモデルをグローバルモデルに蒸留する。 本稿では,確率的フェデレーションニューラルネットワークの拡張手法を提案する。 我々の新しい手法は、単一のコミュニケーションラウンドと追加のコミュニケーションラウンドの両方において、一般的な最先端のフェデレーション学習方法より優れています。
• 参考スコア（独自算出の注目度）: 4.067903810030317
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In federated learning, models trained on local clients are distilled into a global model. Due to the permutation invariance arises in neural networks, it is necessary to match the hidden neurons first when executing federated learning with neural networks. Through the Bayesian nonparametric framework, Probabilistic Federated Neural Matching (PFNM) matches and fuses local neural networks so as to adapt to varying global model size and the heterogeneity of the data. In this paper, we propose a new method which extends the PFNM with a Kullback-Leibler (KL) divergence over neural components product, in order to make inference exploiting posterior information in both local and global levels. We also show theoretically that The additional part can be seamlessly concatenated into the match-and-fuse progress. Through a series of simulations, it indicates that our new method outperforms popular state-of-the-art federated learning methods in both single communication round and additional communication rounds situation.
• Abstract（参考訳）: フェデレートラーニングでは、ローカルクライアントで訓練されたモデルをグローバルモデルに蒸留する。 ニューラルネットワークに置換不変性が生じるため、ニューラルネットワークにフェデレーション学習を実行する際には、まず隠れたニューロンとマッチングする必要がある。 ベイズ的非パラメトリックフレームワークを通じて、確率的フェデレーションニューラルマッチング(PFNM)は、ローカルニューラルネットワークにマッチして融合し、さまざまなグローバルモデルサイズとデータの不均一性に対応する。 本稿では,PFNMをニューラルネットワーク上でのKL(Kullback-Leibler)の拡散により拡張する手法を提案する。 また,追加部分は一致・融合の進行にシームレスに結合可能であることも理論的に示す。 提案手法は,1回のコミュニケーションラウンドと追加のコミュニケーションラウンドの両方において,最先端のフェデレーション学習手法よりも優れていることを示す。

関連論文リスト

• FedPNN: One-shot Federated Classification via Evolving Clustering Method and Probabilistic Neural Network hybrid [4.241208172557663]
  本稿では,プライバシ保護を指向した2段階のフェデレーション学習手法を提案する。 第1段階では、2つの異なる分布をノイズとして利用して合成データセットを生成する。 第2段階では,FedPNN(Federated Probabilistic Neural Network)が開発され,グローバルに共有する分類モデルの構築に利用されている。
  論文  参考訳（メタデータ） (2023-04-09T03:23:37Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Bayesian Federated Neural Matching that Completes Full Information [2.6566593102111473]
  フェデレートラーニング(Federated Learning)は、局所的に訓練されたモデルをグローバルモデルに蒸留する機械学習パラダイムである。 そこで本研究では,各イテレーションでKulback-Leibler分散ペナルティを導入することで,この欠陥を克服する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-15T09:47:56Z)
• Investigating Neuron Disturbing in Fusing Heterogeneous Neural Networks [6.389882065284252]
  本稿では,異種局所モデルのニューロン同士が相互に干渉するニューロン乱れ現象を明らかにする。 本稿では,ニューラルネットワークの乱れを排除し,AMSと呼ばれる局所モデルを適応的に選択して予測を行う実験手法を提案する。
  論文  参考訳（メタデータ） (2022-10-24T06:47:48Z)
• Combined Learning of Neural Network Weights for Privacy in Collaborative Tasks [1.1172382217477126]
  CoLN(Combined Learning of Neural Network Weights)は、データを共有することなく、センシティブなデータ上で機械学習モデルを安全に組み合わせる新しい方法である。 CoLNは、プライバシーの問題がデータ共有を妨げる医療領域で必要とされるように、安全な共同研究に貢献することができる。
  論文  参考訳（メタデータ） (2022-04-30T22:40:56Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
  関係データに対するKENNの拡張を提案する。 その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
  論文  参考訳（メタデータ） (2020-09-13T21:12:20Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Federated Learning with Matched Averaging [43.509797844077426]
  フェデレートされた学習により、エッジデバイスは、トレーニングデータをデバイスに保持しながら、共有モデルを共同で学習することができる。 本稿では,現代のニューラルネットワークアーキテクチャのフェデレーション学習を目的としたフェデレーションマッチング平均化(FedMA)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-15T20:09:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。