論文の概要: FedSI: Federated Subnetwork Inference for Efficient Uncertainty Quantification

• arxiv url: http://arxiv.org/abs/2404.15657v1
• Date: Wed, 24 Apr 2024 05:24:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 20:09:25.134839
• Title: FedSI: Federated Subnetwork Inference for Efficient Uncertainty Quantification
• Title（参考訳）: FedSI: 効率的な不確実性定量化のためのフェデレーションサブネットワーク推論
• Authors: Hui Chen, Hengyu Liu, Zhangkai Wu, Xuhui Fan, Longbing Cao,
• Abstract要約: FedSIは、ベイズDNNベースのサブネットワーク推論PFLフレームワークである。 クライアント固有のサブネットワーク推論機構を実装し、大きなばらつきでネットワークパラメータを選択し、残りを決定論的に修正する。 体系的な不確実性を最大限に保ちながら、高速でスケーラブルな推論を実現する。
• 参考スコア（独自算出の注目度）: 31.11796234526461
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While deep neural networks (DNNs) based personalized federated learning (PFL) is demanding for addressing data heterogeneity and shows promising performance, existing methods for federated learning (FL) suffer from efficient systematic uncertainty quantification. The Bayesian DNNs-based PFL is usually questioned of either over-simplified model structures or high computational and memory costs. In this paper, we introduce FedSI, a novel Bayesian DNNs-based subnetwork inference PFL framework. FedSI is simple and scalable by leveraging Bayesian methods to incorporate systematic uncertainties effectively. It implements a client-specific subnetwork inference mechanism, selects network parameters with large variance to be inferred through posterior distributions, and fixes the rest as deterministic ones. FedSI achieves fast and scalable inference while preserving the systematic uncertainties to the fullest extent. Extensive experiments on three different benchmark datasets demonstrate that FedSI outperforms existing Bayesian and non-Bayesian FL baselines in heterogeneous FL scenarios.
• Abstract（参考訳）: 深層ニューラルネットワーク(DNN)に基づくパーソナライズド・フェデレーション・ラーニング(PFL)は、データの不均一性に対処し、有望な性能を示す一方で、既存のフェデレーションド・ラーニング(FL)の方法は、効率的な体系的不確実性定量化に悩まされている。 ベイズ DNN ベースの PFL は通常、過剰に単純化されたモデル構造か、高い計算とメモリコストのどちらかに疑問を呈する。 本稿では,ベイズDNNベースのサブネットワーク推論PFLフレームワークであるFedSIを紹介する。 FedSIは、ベイズ的手法を利用して体系的な不確実性を効果的に組み込むことにより、シンプルでスケーラブルである。 クライアント固有のサブネットワーク推論機構を実装し、後続分布を通して推論される大きな分散を持つネットワークパラメータを選択し、残りを決定論的パラメータとして修正する。 FedSIは、体系的な不確実性を最大限に保ちながら、高速でスケーラブルな推論を達成する。 3つの異なるベンチマークデータセットに対する大規模な実験により、FedSIは異種FLシナリオにおいて既存のベイズ系および非ベイズ系FLベースラインより優れていることが示された。

関連論文リスト

• Implicit Generative Prior for Bayesian Neural Networks [8.013264410621357]
  複雑なデータ構造のための新しいニューラルネットワーク型経験ベイズ(NA-EB)フレームワークを提案する。 NA-EBフレームワークは変分推論と勾配上昇アルゴリズムを組み合わせたものである。 各種タスクの広範囲な評価を通じて,本フレームワークの実践的応用を実証する。
  論文  参考訳（メタデータ） (2024-04-27T21:00:38Z)
• AdaptSFL: Adaptive Split Federated Learning in Resource-constrained Edge Networks [15.195798715517315]
  Split Federated Learning(SFL)は、モデルのパーティショニングを通じて、最初のトレーニングワークロードをサーバにfloadする、有望なソリューションである。 本稿では,資源制約付きエッジコンピューティングシステムにおいて,SFLを高速化するための新しいリソース適応型SFLフレームワークであるAdaptSFLを提案する。
  論文  参考訳（メタデータ） (2024-03-19T19:05:24Z)
• Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
  本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。 データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。 非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
  論文  参考訳（メタデータ） (2024-03-05T17:49:09Z)
• Inferring Dynamic Networks from Marginals with Iterative Proportional Fitting [57.487936697747024]
  実世界のデータ制約から生じる一般的なネットワーク推論問題は、その時間集約された隣接行列から動的ネットワークを推論する方法である。 本稿では,ネットワーク構造に対する最小限の変更の下でIPFの収束を保証するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-28T20:24:56Z)
• Enabling Quartile-based Estimated-Mean Gradient Aggregation As Baseline for Federated Image Classifications [5.5099914877576985]
  Federated Learning(FL)は、機密データを保護し、モデルパフォーマンスを改善しながら、分散コラボレーションを可能にすることによって、ディープニューラルネットワークのトレーニング方法に革命をもたらした。 本稿では,これらの課題に対処するだけでなく,FLシステムにおける高度な集約技術に対して$mathsfbaseline$として基本的な参照ポイントを提供する,Estimated Mean Aggregation (EMA) という革新的なソリューションを紹介する。
  論文  参考訳（メタデータ） (2023-09-21T17:17:28Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Reliable Federated Disentangling Network for Non-IID Domain Feature [62.73267904147804]
  本稿では、RFedDisと呼ばれる新しい信頼性のあるフェデレーション・ディエンタングリング・ネットワークを提案する。 我々の知る限り、提案するRFedDisは、明らかな不確実性と特徴の混在に基づくFLアプローチを開発する最初の試みである。 提案するRFedDisは,他の最先端FL手法と比較して信頼性の高い優れた性能を提供する。
  論文  参考訳（メタデータ） (2023-01-30T11:46:34Z)
• Why Batch Normalization Damage Federated Learning on Non-IID Data? [34.06900591666005]
  フェデレートラーニング(FL)では、エッジクライアントのプライバシを保護しながら、ネットワークエッジでディープニューラルネットワーク(DNN)モデルをトレーニングする。 バッチ正規化(BN)は、訓練を加速し、能力一般化を改善するためのシンプルで効果的な手段とみなされてきた。 最近の研究では、BNは非i.d.データの存在下でFLの性能を著しく損なうことが示されている。 非i.d.データの下で、BNの局所的および大域的統計パラメータ間のミスマッチが局所的および大域的モデル間の勾配ずれを引き起こすことを示す最初の収束解析を提示する。
  論文  参考訳（メタデータ） (2023-01-08T05:24:12Z)
• SlimFL: Federated Learning with Superposition Coding over Slimmable Neural Networks [56.68149211499535]
  フェデレートラーニング(FL)は、デバイスの分散コンピューティング機能を活用した効率的なコミュニケーションとコンピューティングのための重要な実現手段である。 本稿では、FLと幅調整可能なスリムブルニューラルネットワーク(SNN)を統合した新しい学習フレームワークを提案する。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2022-03-26T15:06:13Z)
• Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees [49.91477656517431]
  量子化に基づく解法は、フェデレートラーニング(FL)において広く採用されている。 上記のプロパティをすべて享受する既存のメソッドはありません。 本稿では,SIGNSGDに基づく直感的かつ理論的に簡易な手法を提案し,そのギャップを埋める。
  論文  参考訳（メタデータ） (2020-02-25T15:12:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。