Fugu-MT 論文翻訳(概要): Federated Learning for Non-factorizable Models using Deep Generative Prior Approximations

論文の概要: Federated Learning for Non-factorizable Models using Deep Generative Prior Approximations

arxiv url: http://arxiv.org/abs/2405.16055v1
Date: Sat, 25 May 2024 04:44:06 GMT
ステータス: 処理完了
システム内更新日: 2024-05-29 01:19:52.438743
Title: Federated Learning for Non-factorizable Models using Deep Generative Prior Approximations
Title（参考訳）: 深部生成事前近似を用いた非ファクタブルモデルのフェデレーション学習
Authors: Conor Hassan, Joshua J Bon, Elizaveta Semenova, Antonietta Mira, Kerrie Mengersen,
Abstract要約: フェデレートラーニング(FL)は、データ共有を避けてプライバシを保護しながら、分散クライアント間で協調的なモデルトレーニングを可能にする。 SIGMA(Deep Generative Model Approximation)による構造化独立性(Structured Independence)を導入する。我々は,SIGMA が合成データに有効であることを示すとともに,オーストラリアの空間依存モデルに先立って条件付き自己回帰式を用いて,空間データに対する FL の実例でその有用性を実証する。
参考スコア（独自算出の注目度）: 0.6990493129893112
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated learning (FL) allows for collaborative model training across decentralized clients while preserving privacy by avoiding data sharing. However, current FL methods assume conditional independence between client models, limiting the use of priors that capture dependence, such as Gaussian processes (GPs). We introduce the Structured Independence via deep Generative Model Approximation (SIGMA) prior which enables FL for non-factorizable models across clients, expanding the applicability of FL to fields such as spatial statistics, epidemiology, environmental science, and other domains where modeling dependencies is crucial. The SIGMA prior is a pre-trained deep generative model that approximates the desired prior and induces a specified conditional independence structure in the latent variables, creating an approximate model suitable for FL settings. We demonstrate the SIGMA prior's effectiveness on synthetic data and showcase its utility in a real-world example of FL for spatial data, using a conditional autoregressive prior to model spatial dependence across Australia. Our work enables new FL applications in domains where modeling dependent data is essential for accurate predictions and decision-making.
Abstract（参考訳）: フェデレートラーニング(FL)は、データ共有を避けてプライバシを保護しながら、分散クライアント間で協調的なモデルトレーニングを可能にする。しかし、現在のFLメソッドはクライアントモデル間で条件付き独立性を前提としており、ガウスプロセス(GP)のような依存を捉えた事前の使用を制限する。 SIGMA(Structured Independence by Deep Generative Model Approximation)は、FLの空間統計学、疫学、環境科学、およびモデリング依存が不可欠である分野への適用性を拡大し、クライアント間での非分解性モデルのFLを可能にする。 SIGMA は、事前学習された深層生成モデルであり、所望の事前条件を近似し、潜伏変数の特定の条件独立構造を誘導し、FL設定に適した近似モデルを作成する。我々は,SIGMA が合成データに有効であることを示すとともに,オーストラリアの空間依存モデルに先立って条件付き自己回帰式を用いて,空間データに対する FL の実例でその有用性を実証する。我々の研究は、正確な予測と意思決定に依存したデータをモデリングすることが不可欠である領域における新しいFLアプリケーションを可能にする。

関連論文リスト

SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文参考訳（メタデータ） (2024-08-19T17:32:15Z)
Bridging Data Barriers among Participants: Assessing the Potential of Geoenergy through Federated Learning [2.8498944632323755]
本研究では,XGBoostモデルに基づく新しい連邦学習(FL)フレームワークを提案する。 FLモデルは、異なるモデルと比較して精度と一般化能力が優れていることを示す。本研究は, 協調型・プライバシー保護型FL技術により, 従来と異なる貯水池を評価するための新たな道を開くものである。
論文参考訳（メタデータ） (2024-04-29T09:12:31Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
Federated Bayesian Deep Learning: The Application of Statistical Aggregation Methods to Bayesian Models [0.9940108090221528]
集約戦略は、分散決定論的モデルの重みとバイアスをプールまたはフューズするために開発されている。決定論的モデルに対するFLスキームに付随するアグリゲーション手法の簡単な適用は不可能か、あるいは準最適性能をもたらすかを示す。
論文参考訳（メタデータ） (2024-03-22T15:02:24Z)
Synthetic location trajectory generation using categorical diffusion models [50.809683239937584]
拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
論文参考訳（メタデータ） (2024-02-19T15:57:39Z)
PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文参考訳（メタデータ） (2023-08-23T22:38:35Z)
Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文参考訳（メタデータ） (2023-05-01T20:04:46Z)
Knowledge Distillation for Federated Learning: a Practical Guide [8.2791533759453]
フェデレートラーニング(FL)は、センシティブな生データを集中的に収集することなく、ディープラーニングモデルのトレーニングを可能にする。 FLの最もよく使われるアルゴリズムはパラメータに基づくスキーム(フェデレート平均化など)である。我々は、特定のFL問題に適したKDベースのアルゴリズムのレビューを行う。
論文参考訳（メタデータ） (2022-11-09T08:31:23Z)
FedDAR: Federated Domain-Aware Representation Learning [14.174833360938806]
クロスサイロ・フェデレーション・ラーニング(FL)は、医療のための機械学習アプリケーションにおいて有望なツールとなっている。本稿では,ドメイン共有表現とドメインワイド・パーソナライズされた予測ヘッドを学習する新しい手法であるFedDARを提案する。
論文参考訳（メタデータ） (2022-09-08T19:18:59Z)
Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文参考訳（メタデータ） (2022-03-17T11:18:17Z)
Prototype Guided Federated Learning of Visual Feature Representations [15.021124010665194]
Federated Learning(FL)は、分散モデルトレーニングを可能にするフレームワークである。既存の手法は、内部表現を無視したモデルを集約する。我々は、分散データ上で学習した表現のマージンを用いてクライアントの偏差を計算するFedProtoを紹介する。
論文参考訳（メタデータ） (2021-05-19T08:29:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。