Fugu-MT 論文翻訳(概要): Federated PAC-Bayesian Learning on Non-IID data

論文の概要: Federated PAC-Bayesian Learning on Non-IID data

arxiv url: http://arxiv.org/abs/2309.06683v1
Date: Wed, 13 Sep 2023 02:44:01 GMT
ステータス: 処理完了
システム内更新日: 2023-09-14 15:41:49.864800
Title: Federated PAC-Bayesian Learning on Non-IID data
Title（参考訳）: 非IIDデータを用いたPACベイズ学習
Authors: Zihao Zhao, Yang Liu, Wenbo Ding, Xiao-Ping Zhang
Abstract要約: 我々は,非IID局所データに適した非空き連合型PAC-Bayesian境界を初めて提示する。導出境界の最適化のための目的関数とイノベーティブなギブスに基づくアルゴリズムを導入する。
参考スコア（独自算出の注目度）: 18.838513808688287
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Existing research has either adapted the Probably Approximately Correct (PAC) Bayesian framework for federated learning (FL) or used information-theoretic PAC-Bayesian bounds while introducing their theorems, but few considering the non-IID challenges in FL. Our work presents the first non-vacuous federated PAC-Bayesian bound tailored for non-IID local data. This bound assumes unique prior knowledge for each client and variable aggregation weights. We also introduce an objective function and an innovative Gibbs-based algorithm for the optimization of the derived bound. The results are validated on real-world datasets.
Abstract（参考訳）: 既存の研究は、連邦学習(FL)のための確率的略正(PAC)ベイズ的枠組みや、それらの定理を導入しながら情報理論のPAC-ベイズ的境界を用いたが、FLの非IID問題を考えることは少ない。本研究は,非IID局所データに適した非空連合PAC-ベイジアン境界を示す。この境界は、各クライアントに固有の事前知識と変数集約重みを仮定する。また,導出境界の最適化のための目的関数と革新的なgibbsに基づくアルゴリズムを提案する。結果は実世界のデータセットで検証される。

関連論文リスト

PIPA: Preference Alignment as Prior-Informed Statistical Estimation [57.24096291517857]
本稿では、RLフリーな統一確率的フレームワークであるPIPA(Pior-Informed Preference Alignment)を紹介する。 PIPAはペアデータとアンペアデータの両方に対応し、回答とステップレベルのアノテーションを提供する。異なる種類の事前情報を統合することにより,PIPA-MとPIPA-Nの2種類のPIPAを開発した。
論文参考訳（メタデータ） (2025-02-09T04:31:30Z)
Uniform Generalization Bounds on Data-Dependent Hypothesis Sets via PAC-Bayesian Theory on Random Sets [25.250314934981233]
PAC-Bayesian framework on "random set" を厳密な方法で適用し、トレーニングアルゴリズムがデータ依存仮説セットを出力すると仮定する。このアプローチにより、多くのコンテキストに適用可能な、データ依存のバウンダリを証明できます。
論文参考訳（メタデータ） (2024-04-26T14:28:18Z)
Personalized Federated Learning of Probabilistic Models: A PAC-Bayesian Approach [42.59649764999974]
フェデレートラーニングは、複数のクライアントがローカルに格納するプライベートおよび分散データから、共有モデルを推論することを目的としている。 PAC-Bayesian フレームワーク内で確率モデルを学習するための PFL アルゴリズム PAC-PFL を提案する。提案アルゴリズムは,共有されたハイパーポインターを協調的に学習し,各クライアントの後部推論をステップパーソナライズとみなす。
論文参考訳（メタデータ） (2024-01-16T13:30:37Z)
Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。その独特な洞察力のある性質とその分析も提示される。
論文参考訳（メタデータ） (2023-10-30T14:15:47Z)
Going beyond research datasets: Novel intent discovery in the industry setting [60.90117614762879]
本稿では,大規模なeコマースプラットフォームに展開する意図発見パイプラインを改善する手法を提案する。ドメイン内データに基づく事前学習型言語モデルの利点を示す。また,クラスタリングタスクの微調整中に,実生活データセットの会話構造(質問と回答)を利用するための最善の方法も考案した。
論文参考訳（メタデータ） (2023-05-09T14:21:29Z)
DPP-based Client Selection for Federated Learning with Non-IID Data [97.1195165400568]
本稿では,統合学習(FL)のコミュニケーションボトルネックに対処するクライアント選択(CS)手法を提案する。まず、FLにおけるCSの効果を分析し、各学習ラウンドにおけるトレーニングデータセットの多様化に参加者を適切に選択することで、FLトレーニングを加速させることができることを示す。我々は、データプロファイリングと決定点プロセス(DPP)サンプリング技術を活用し、DPPに基づく参加者選択(FL-DP$3$S)によるフェデレートラーニング(Federated Learning)と呼ばれるアルゴリズムを開発する。
論文参考訳（メタデータ） (2023-03-30T13:14:54Z)
Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文参考訳（メタデータ） (2022-12-02T05:07:50Z)
Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。私たちの観察は直感的である。私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
論文参考訳（メタデータ） (2022-09-30T17:15:19Z)
Information Complexity and Generalization Bounds [0.0]
ランダム化学習アルゴリズムにおけるPAC-Bayesianと相互情報に基づく上限の統一画像を示す。本稿では,ニューラルネットワーク,すなわちEntropy-とPAC-Bayes-SGDの2つの実践例について論じる。
論文参考訳（メタデータ） (2021-05-04T20:37:57Z)
Sample-based and Feature-based Federated Learning via Mini-batch SSCA [18.11773963976481]
本稿ではサンプルベースおよび特徴ベース連合最適化について検討する。提案アルゴリズムは,モデルアグリゲーション機構を通じてデータプライバシを保持できることを示した。また,提案アルゴリズムは,各フェデレーション最適化問題のKarush-Kuhn-Tucker点に収束することを示した。
論文参考訳（メタデータ） (2021-04-13T08:23:46Z)
PAC-Bayes Bounds for Meta-learning with Data-Dependent Prior [36.38937352131301]
PAC-Bayes相対エントロピー境界に基づくメタラーニングのための3つの新しい一般化誤差境界を導出する。メタラーニングのための提案された3つのPAC-Bayes境界は、競合する一般化性能を保証する。
論文参考訳（メタデータ） (2021-02-07T09:03:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。