論文の概要: Scalable Vertical Federated Learning via Data Augmentation and Amortized Inference

• arxiv url: http://arxiv.org/abs/2405.04043v1
• Date: Tue, 7 May 2024 06:29:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 15:09:09.456891
• Title: Scalable Vertical Federated Learning via Data Augmentation and Amortized Inference
• Title（参考訳）: データ拡張と修正推論によるスケーラブルな垂直フェデレーション学習
• Authors: Conor Hassan, Matthew Sutton, Antonietta Mira, Kerrie Mengersen,
• Abstract要約: 本稿では,ベイズモデルを垂直的フェデレート学習環境に組み込むための,初めての包括的枠組みを紹介する。 本稿では,共同確率がクライアント固有確率の積に分解される,特定のVFLシナリオに対する革新的モデル定式化を提案する。 我々の研究は、垂直に分割されたデータシナリオにおけるプライバシー保護、分散ベイズ推論の道を開いた。
• 参考スコア（独自算出の注目度）: 1.912429179274357
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vertical federated learning (VFL) has emerged as a paradigm for collaborative model estimation across multiple clients, each holding a distinct set of covariates. This paper introduces the first comprehensive framework for fitting Bayesian models in the VFL setting. We propose a novel approach that leverages data augmentation techniques to transform VFL problems into a form compatible with existing Bayesian federated learning algorithms. We present an innovative model formulation for specific VFL scenarios where the joint likelihood factorizes into a product of client-specific likelihoods. To mitigate the dimensionality challenge posed by data augmentation, which scales with the number of observations and clients, we develop a factorized amortized variational approximation that achieves scalability independent of the number of observations. We showcase the efficacy of our framework through extensive numerical experiments on logistic regression, multilevel regression, and a novel hierarchical Bayesian split neural net model. Our work paves the way for privacy-preserving, decentralized Bayesian inference in vertically partitioned data scenarios, opening up new avenues for research and applications in various domains.
• Abstract（参考訳）: 垂直連合学習(VFL)は、複数のクライアント間で協調的なモデル推定のパラダイムとして登場し、それぞれが異なる共変量を持つ。 本稿では、VFL設定にベイズモデルを適用するための最初の包括的枠組みを紹介する。 本稿では,VFL問題を既存のベイズ連邦学習アルゴリズムと互換性のある形式に変換するために,データ拡張手法を活用する新しい手法を提案する。 本稿では,共同確率がクライアント固有確率の積に分解される,特定のVFLシナリオに対する革新的モデル定式化を提案する。 観測数やクライアント数に応じてスケールするデータ拡張による次元性の課題を軽減するため,観測数に依存しない拡張性を実現する因子的補正変分近似を開発した。 我々は,ロジスティック回帰,多レベル回帰,新しい階層型ベイズ分割ニューラルネットモデルに関する広範な数値実験を通じて,我々のフレームワークの有効性を実証する。 我々の研究は、垂直に分割されたデータシナリオにおけるプライバシー保護と分散化ベイズ推論の道を開き、様々な分野の研究や応用のための新たな道を開く。

関連論文リスト

• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Addressing Membership Inference Attack in Federated Learning with Model Compression [8.842172558292027]
  機械学習のプライバシ保護ソリューションとしてフェデレートラーニング(FL)が提案されている。 最近の研究によると、FLはメンバーシップ推論攻撃によってプライベートクライアントデータを漏洩させることができる。 これらの攻撃の有効性は、クライアントのデータセットのサイズとモデルの複雑さと負の相関関係があることを示します。
  論文  参考訳（メタデータ） (2023-11-29T15:54:15Z)
• PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
  パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。 いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
  論文  参考訳（メタデータ） (2023-08-23T22:38:35Z)
• Approximate and Weighted Data Reconstruction Attack in Federated Learning [1.802525429431034]
  分散学習(FL)は、クライアントがプライベートデータを共有せずに、機械学習モデルを構築するためのコラボレーションを可能にする。 最近のデータ再構成攻撃は、攻撃者がFLで共有されたパラメータに基づいてクライアントのトレーニングデータを復元できることを実証している。 本稿では、クライアントのローカルトレーニングプロセスの中間モデル更新を生成することにより、FedAvgシナリオの攻撃を可能にする近似手法を提案する。
  論文  参考訳（メタデータ） (2023-08-13T17:40:56Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Confidence-aware Personalized Federated Learning via Variational Expectation Maximization [34.354154518009956]
  パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。 PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。 階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-21T20:12:27Z)
• FedHB: Hierarchical Bayesian Federated Learning [11.936836827864095]
  フェデレートラーニング(FL)に対する新しい階層的ベイズ的アプローチを提案する。 本モデルは階層ベイズモデルを用いてクライアントの局所データの生成過程を合理的に記述する。 ブロック座標FLアルゴリズムは、O(sqrtt)$の速度で目的の最適値に収束することを示す。
  論文  参考訳（メタデータ） (2023-05-08T18:21:41Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Partitioned Variational Inference: A Framework for Probabilistic Federated Learning [45.9225420256808]
  フェデレートされた環境でVIを実行するためのフレームワークであるパーティショニング付き変分推論(PVI)を導入する。 我々はPVIの新たな支援理論を開発し、実践者にとって魅力的な選択となる多くの特性を実証する。
  論文  参考訳（メタデータ） (2022-02-24T18:15:30Z)
• A Twin Neural Model for Uplift [59.38563723706796]
  Upliftは条件付き治療効果モデリングの特定のケースです。 相対リスクのベイズ解釈との関連性を利用して定義した新たな損失関数を提案する。 本提案手法は,シミュレーション設定の最先端と大規模ランダム化実験による実データとの競合性を示す。
  論文  参考訳（メタデータ） (2021-05-11T16:02:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。