Fugu-MT 論文翻訳(概要): Federated PAC-Bayesian Learning on Non-IID data

論文の概要: Federated PAC-Bayesian Learning on Non-IID data

arxiv url: http://arxiv.org/abs/2309.06683v1
Date: Wed, 13 Sep 2023 02:44:01 GMT
ステータス: 処理完了
システム内更新日: 2023-09-14 15:41:49.864800
Title: Federated PAC-Bayesian Learning on Non-IID data
Title（参考訳）: 非IIDデータを用いたPACベイズ学習
Authors: Zihao Zhao, Yang Liu, Wenbo Ding, Xiao-Ping Zhang
Abstract要約: 我々は,非IID局所データに適した非空き連合型PAC-Bayesian境界を初めて提示する。導出境界の最適化のための目的関数とイノベーティブなギブスに基づくアルゴリズムを導入する。
参考スコア（独自算出の注目度）: 18.838513808688287
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Existing research has either adapted the Probably Approximately Correct (PAC) Bayesian framework for federated learning (FL) or used information-theoretic PAC-Bayesian bounds while introducing their theorems, but few considering the non-IID challenges in FL. Our work presents the first non-vacuous federated PAC-Bayesian bound tailored for non-IID local data. This bound assumes unique prior knowledge for each client and variable aggregation weights. We also introduce an objective function and an innovative Gibbs-based algorithm for the optimization of the derived bound. The results are validated on real-world datasets.
Abstract（参考訳）: 既存の研究は、連邦学習(FL)のための確率的略正(PAC)ベイズ的枠組みや、それらの定理を導入しながら情報理論のPAC-ベイズ的境界を用いたが、FLの非IID問題を考えることは少ない。本研究は,非IID局所データに適した非空連合PAC-ベイジアン境界を示す。この境界は、各クライアントに固有の事前知識と変数集約重みを仮定する。また,導出境界の最適化のための目的関数と革新的なgibbsに基づくアルゴリズムを提案する。結果は実世界のデータセットで検証される。

関連論文リスト

Uniform Generalization Bounds on Data-Dependent Hypothesis Sets via PAC-Bayesian Theory on Random Sets [25.250314934981233]
我々はまず,データ依存仮説セットを出力するトレーニングアルゴリズムを前提として,厳密な方法でPAC-Bayesianフレームワークを適用した。このアプローチにより、多くのコンテキストに適用可能な、データ依存のバウンダリを証明できます。
論文参考訳（メタデータ） (2024-04-26T14:28:18Z)
Personalized Federated Learning of Probabilistic Models: A PAC-Bayesian Approach [42.59649764999974]
フェデレートラーニングは、複数のクライアントがローカルに格納するプライベートおよび分散データから、共有モデルを推論することを目的としている。 PAC-Bayesian フレームワーク内で確率モデルを学習するための PFL アルゴリズム PAC-PFL を提案する。提案アルゴリズムは,共有されたハイパーポインターを協調的に学習し,各クライアントの後部推論をステップパーソナライズとみなす。
論文参考訳（メタデータ） (2024-01-16T13:30:37Z)
Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。その独特な洞察力のある性質とその分析も提示される。
論文参考訳（メタデータ） (2023-10-30T14:15:47Z)
Going beyond research datasets: Novel intent discovery in the industry setting [60.90117614762879]
本稿では,大規模なeコマースプラットフォームに展開する意図発見パイプラインを改善する手法を提案する。ドメイン内データに基づく事前学習型言語モデルの利点を示す。また,クラスタリングタスクの微調整中に,実生活データセットの会話構造(質問と回答)を利用するための最善の方法も考案した。
論文参考訳（メタデータ） (2023-05-09T14:21:29Z)
DPP-based Client Selection for Federated Learning with Non-IID Data [97.1195165400568]
本稿では,統合学習(FL)のコミュニケーションボトルネックに対処するクライアント選択(CS)手法を提案する。まず、FLにおけるCSの効果を分析し、各学習ラウンドにおけるトレーニングデータセットの多様化に参加者を適切に選択することで、FLトレーニングを加速させることができることを示す。我々は、データプロファイリングと決定点プロセス(DPP)サンプリング技術を活用し、DPPに基づく参加者選択(FL-DP$3$S)によるフェデレートラーニング(Federated Learning)と呼ばれるアルゴリズムを開発する。
論文参考訳（メタデータ） (2023-03-30T13:14:54Z)
Differentially Private Federated Clustering over Non-IID Data [59.611244450530315]
クラスタリングクラスタ(FedC)問題は、巨大なクライアント上に分散されたラベルなしデータサンプルを、サーバのオーケストレーションの下で有限のクライアントに正確に分割することを目的としている。本稿では,DP-Fedと呼ばれる差分プライバシー収束手法を用いた新しいFedCアルゴリズムを提案する。提案するDP-Fedの様々な属性は、プライバシー保護の理論的解析、特に非識別的かつ独立に分散された(非i.d.)データの場合において得られる。
論文参考訳（メタデータ） (2023-01-03T05:38:43Z)
Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文参考訳（メタデータ） (2022-12-02T05:07:50Z)
Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。私たちの観察は直感的である。私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
論文参考訳（メタデータ） (2022-09-30T17:15:19Z)
Information Complexity and Generalization Bounds [0.0]
ランダム化学習アルゴリズムにおけるPAC-Bayesianと相互情報に基づく上限の統一画像を示す。本稿では,ニューラルネットワーク,すなわちEntropy-とPAC-Bayes-SGDの2つの実践例について論じる。
論文参考訳（メタデータ） (2021-05-04T20:37:57Z)
Sample-based and Feature-based Federated Learning via Mini-batch SSCA [18.11773963976481]
本稿ではサンプルベースおよび特徴ベース連合最適化について検討する。提案アルゴリズムは,モデルアグリゲーション機構を通じてデータプライバシを保持できることを示した。また,提案アルゴリズムは,各フェデレーション最適化問題のKarush-Kuhn-Tucker点に収束することを示した。
論文参考訳（メタデータ） (2021-04-13T08:23:46Z)
PAC-Bayes Bounds for Meta-learning with Data-Dependent Prior [36.38937352131301]
PAC-Bayes相対エントロピー境界に基づくメタラーニングのための3つの新しい一般化誤差境界を導出する。メタラーニングのための提案された3つのPAC-Bayes境界は、競合する一般化性能を保証する。
論文参考訳（メタデータ） (2021-02-07T09:03:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。