論文の概要: Federated PAC-Bayesian Learning on Non-IID data
- arxiv url: http://arxiv.org/abs/2309.06683v1
- Date: Wed, 13 Sep 2023 02:44:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-14 15:41:49.864800
- Title: Federated PAC-Bayesian Learning on Non-IID data
- Title(参考訳): 非IIDデータを用いたPACベイズ学習
- Authors: Zihao Zhao, Yang Liu, Wenbo Ding, Xiao-Ping Zhang
- Abstract要約: 我々は,非IID局所データに適した非空き連合型PAC-Bayesian境界を初めて提示する。
導出境界の最適化のための目的関数とイノベーティブなギブスに基づくアルゴリズムを導入する。
- 参考スコア(独自算出の注目度): 18.838513808688287
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing research has either adapted the Probably Approximately Correct (PAC)
Bayesian framework for federated learning (FL) or used information-theoretic
PAC-Bayesian bounds while introducing their theorems, but few considering the
non-IID challenges in FL. Our work presents the first non-vacuous federated
PAC-Bayesian bound tailored for non-IID local data. This bound assumes unique
prior knowledge for each client and variable aggregation weights. We also
introduce an objective function and an innovative Gibbs-based algorithm for the
optimization of the derived bound. The results are validated on real-world
datasets.
- Abstract(参考訳): 既存の研究は、連邦学習(FL)のための確率的略正(PAC)ベイズ的枠組みや、それらの定理を導入しながら情報理論のPAC-ベイズ的境界を用いたが、FLの非IID問題を考えることは少ない。
本研究は,非IID局所データに適した非空連合PAC-ベイジアン境界を示す。
この境界は、各クライアントに固有の事前知識と変数集約重みを仮定する。
また,導出境界の最適化のための目的関数と革新的なgibbsに基づくアルゴリズムを提案する。
結果は実世界のデータセットで検証される。
関連論文リスト
- PIPA: Preference Alignment as Prior-Informed Statistical Estimation [57.24096291517857]
本稿では、RLフリーな統一確率的フレームワークであるPIPA(Pior-Informed Preference Alignment)を紹介する。
PIPAはペアデータとアンペアデータの両方に対応し、回答とステップレベルのアノテーションを提供する。
異なる種類の事前情報を統合することにより,PIPA-MとPIPA-Nの2種類のPIPAを開発した。
論文 参考訳(メタデータ) (2025-02-09T04:31:30Z) - Uniform Generalization Bounds on Data-Dependent Hypothesis Sets via PAC-Bayesian Theory on Random Sets [25.250314934981233]
PAC-Bayesian framework on "random set" を厳密な方法で適用し、トレーニングアルゴリズムがデータ依存仮説セットを出力すると仮定する。
このアプローチにより、多くのコンテキストに適用可能な、データ依存のバウンダリを証明できます。
論文 参考訳(メタデータ) (2024-04-26T14:28:18Z) - Personalized Federated Learning of Probabilistic Models: A PAC-Bayesian
Approach [42.59649764999974]
フェデレートラーニングは、複数のクライアントがローカルに格納するプライベートおよび分散データから、共有モデルを推論することを目的としている。
PAC-Bayesian フレームワーク内で確率モデルを学習するための PFL アルゴリズム PAC-PFL を提案する。
提案アルゴリズムは,共有されたハイパーポインターを協調的に学習し,各クライアントの後部推論をステップパーソナライズとみなす。
論文 参考訳(メタデータ) (2024-01-16T13:30:37Z) - Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。
本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。
その独特な洞察力のある性質とその分析も提示される。
論文 参考訳(メタデータ) (2023-10-30T14:15:47Z) - Going beyond research datasets: Novel intent discovery in the industry
setting [60.90117614762879]
本稿では,大規模なeコマースプラットフォームに展開する意図発見パイプラインを改善する手法を提案する。
ドメイン内データに基づく事前学習型言語モデルの利点を示す。
また,クラスタリングタスクの微調整中に,実生活データセットの会話構造(質問と回答)を利用するための最善の方法も考案した。
論文 参考訳(メタデータ) (2023-05-09T14:21:29Z) - DPP-based Client Selection for Federated Learning with Non-IID Data [97.1195165400568]
本稿では,統合学習(FL)のコミュニケーションボトルネックに対処するクライアント選択(CS)手法を提案する。
まず、FLにおけるCSの効果を分析し、各学習ラウンドにおけるトレーニングデータセットの多様化に参加者を適切に選択することで、FLトレーニングを加速させることができることを示す。
我々は、データプロファイリングと決定点プロセス(DPP)サンプリング技術を活用し、DPPに基づく参加者選択(FL-DP$3$S)によるフェデレートラーニング(Federated Learning)と呼ばれるアルゴリズムを開発する。
論文 参考訳(メタデータ) (2023-03-30T13:14:54Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳(メタデータ) (2022-12-02T05:07:50Z) - Rethinking Data Heterogeneity in Federated Learning: Introducing a New
Notion and Standard Benchmarks [65.34113135080105]
我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。
私たちの観察は直感的である。
私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
論文 参考訳(メタデータ) (2022-09-30T17:15:19Z) - Information Complexity and Generalization Bounds [0.0]
ランダム化学習アルゴリズムにおけるPAC-Bayesianと相互情報に基づく上限の統一画像を示す。
本稿では,ニューラルネットワーク,すなわちEntropy-とPAC-Bayes-SGDの2つの実践例について論じる。
論文 参考訳(メタデータ) (2021-05-04T20:37:57Z) - Sample-based and Feature-based Federated Learning via Mini-batch SSCA [18.11773963976481]
本稿ではサンプルベースおよび特徴ベース連合最適化について検討する。
提案アルゴリズムは,モデルアグリゲーション機構を通じてデータプライバシを保持できることを示した。
また,提案アルゴリズムは,各フェデレーション最適化問題のKarush-Kuhn-Tucker点に収束することを示した。
論文 参考訳(メタデータ) (2021-04-13T08:23:46Z) - PAC-Bayes Bounds for Meta-learning with Data-Dependent Prior [36.38937352131301]
PAC-Bayes相対エントロピー境界に基づくメタラーニングのための3つの新しい一般化誤差境界を導出する。
メタラーニングのための提案された3つのPAC-Bayes境界は、競合する一般化性能を保証する。
論文 参考訳(メタデータ) (2021-02-07T09:03:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。