論文の概要: Fed-MIWAE: Federated Imputation of Incomplete Data via Deep Generative
Models
- arxiv url: http://arxiv.org/abs/2304.08054v1
- Date: Mon, 17 Apr 2023 08:14:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 16:03:31.069505
- Title: Fed-MIWAE: Federated Imputation of Incomplete Data via Deep Generative
Models
- Title(参考訳): Fed-MIWAE: 深部生成モデルによる不完全データのフェデレーション
- Authors: Irene Balelli (EPIONE, UCA), Aude Sportisse (MAASAI, UCA,3iA C\^ote
d'Azur), Francesco Cremonesi (EPIONE, UCA), Pierre-Alexandre Mattei (MAASAI,
UCA,3iA C\^ote d'Azur), Marco Lorenzi (EPIONE, UCA,3iA C\^ote d'Azur)
- Abstract要約: フェデレーション学習は、明示的なデータ交換を必要とせずに、複数のローカルデータセット上で機械学習モデルのトレーニングを可能にする。
欠落したデータを扱う戦略を含むデータ前処理は、現実世界のフェデレートされた学習デプロイメントにおいて、依然として大きなボトルネックとなっている。
本稿では,変分オートエンコーダをベースとした遅延変数モデルであるFed-MIWAEを提案する。
- 参考スコア(独自算出の注目度): 5.373862368597948
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning allows for the training of machine learning models on
multiple decentralized local datasets without requiring explicit data exchange.
However, data pre-processing, including strategies for handling missing data,
remains a major bottleneck in real-world federated learning deployment, and is
typically performed locally. This approach may be biased, since the
subpopulations locally observed at each center may not be representative of the
overall one. To address this issue, this paper first proposes a more consistent
approach to data standardization through a federated model. Additionally, we
propose Fed-MIWAE, a federated version of the state-of-the-art imputation
method MIWAE, a deep latent variable model for missing data imputation based on
variational autoencoders. MIWAE has the great advantage of being easily
trainable with classical federated aggregators. Furthermore, it is able to deal
with MAR (Missing At Random) data, a more challenging missing-data mechanism
than MCAR (Missing Completely At Random), where the missingness of a variable
can depend on the observed ones. We evaluate our method on multi-modal medical
imaging data and clinical scores from a simulated federated scenario with the
ADNI dataset. We compare Fed-MIWAE with respect to classical imputation
methods, either performed locally or in a centralized fashion. Fed-MIWAE allows
to achieve imputation accuracy comparable with the best centralized method,
even when local data distributions are highly heterogeneous. In addition,
thanks to the variational nature of Fed-MIWAE, our method is designed to
perform multiple imputation, allowing for the quantification of the imputation
uncertainty in the federated scenario.
- Abstract(参考訳): フェデレーション学習は、明示的なデータ交換を必要とせずに、複数の分散ローカルデータセット上の機械学習モデルのトレーニングを可能にする。
しかしながら、欠落したデータを扱う戦略を含むデータ前処理は、現実のフェデレートされた学習デプロイメントにおいて大きなボトルネックであり、通常はローカルで実行される。
それぞれの中心で局所的に観察されるサブポピュレーションは全体を表すものではないため、このアプローチはバイアスを受ける可能性がある。
この問題に対処するために,本論文ではまず,フェデレートモデルによるデータ標準化への一貫したアプローチを提案する。
さらに, 変分オートエンコーダをベースとした遅延変数モデルであるMIWAEのフェデレーションバージョンであるFed-MIWAEを提案する。
MIWAEは、古典的な連合集合体で容易に訓練できるという大きな利点がある。
さらに、mcar (missing completely at random) よりも難易度の高いデータ機構である mar (missing at random) データを扱うことができ、変数の欠如は観測されたデータに依存することができる。
本手法は,ADNIデータセットを用いた模擬フェデレーションシナリオから,マルチモーダル医療画像データと臨床成績を評価する。
我々は,Fed-MIWAEを,局所的あるいは中央集権的に行われる古典的計算手法と比較した。
fed-miwaeは、ローカルなデータ分散が非常に不均一である場合でも、最適な集中型メソッドに匹敵するインプテーション精度を実現する。
また、Fed-MIWAEの変動特性により、本手法は多重計算を行い、フェデレーションシナリオにおける不確実性の定量化を可能にするように設計されている。
関連論文リスト
- Exploiting Label Skews in Federated Learning with Model Concatenation [39.38427550571378]
Federated Learning(FL)は、生データを交換することなく、さまざまなデータオーナでディープラーニングを実行するための、有望なソリューションとして登場した。
非IID型では、ラベルスキューは困難であり、画像分類やその他のタスクで一般的である。
我々は,これらの局所モデルをグローバルモデルの基礎として分解する,シンプルで効果的なアプローチであるFedConcatを提案する。
論文 参考訳(メタデータ) (2023-12-11T10:44:52Z) - Benchmarking FedAvg and FedCurv for Image Classification Tasks [1.376408511310322]
本稿では,同じフェデレーションネットワークにおけるデータの統計的不均一性の問題に焦点をあてる。
FedAvg、FedProx、Federated Curvature(FedCurv)など、いくつかのフェデレートラーニングアルゴリズムがすでに提案されている。
この研究の副産物として、FLコミュニティからのさらなる比較を容易にするために使用したデータセットの非IIDバージョンをリリースします。
論文 参考訳(メタデータ) (2023-03-31T10:13:01Z) - FedGen: Generalizable Federated Learning for Sequential Data [8.784435748969806]
多くの実世界の分散環境では、バイアスとデータサンプリングの問題により、急激な相関が存在する。
我々はFedGenという汎用的なフェデレーション学習フレームワークを提案し、クライアントが素早い特徴と不変な特徴を識別および識別できるようにする。
FedGenは、より優れた一般化を実現し、現在のフェデレーション学習手法の精度を24%以上上回るモデルが得られることを示す。
論文 参考訳(メタデータ) (2022-11-03T15:48:14Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - Federated Expectation Maximization with heterogeneity mitigation and
variance reduction [0.0]
本稿では、潜在変数モデルに対する期待最大化(EM)アルゴリズムの最初の拡張であるFedEMを紹介する。
通信の複雑さを軽減するため、FedEMは十分なデータ統計を適切に定義した。
その結果,生物多様性モニタリングに欠落した値の計算処理を応用した理論的知見が得られた。
論文 参考訳(メタデータ) (2021-11-03T09:14:34Z) - Federated Learning from Small Datasets [48.879172201462445]
フェデレーション学習は、複数のパーティが、ローカルデータを共有せずに、共同モデルを共同でトレーニングすることを可能にする。
そこで本研究では,局所モデルの置換とモデルアグリゲーションを連動させる新しい手法を提案する。
置換は、各ローカルモデルをローカルデータセットのデージーチェーンに公開することで、データスパースドメインでのより効率的なトレーニングを実現する。
論文 参考訳(メタデータ) (2021-10-07T13:49:23Z) - FedMix: Approximation of Mixup under Mean Augmented Federated Learning [60.503258658382]
フェデレートラーニング(FL)は、エッジデバイスが各デバイス内でデータを直接共有することなく、モデルを集合的に学習することを可能にする。
現在の最先端アルゴリズムは、クライアント間のローカルデータの均一性が増大するにつれて性能劣化に悩まされる。
我々はFedMixという名の新しい拡張アルゴリズムを提案し、これは驚くべきが単純なデータ拡張手法であるMixupにインスパイアされている。
論文 参考訳(メタデータ) (2021-07-01T06:14:51Z) - Decentralized Local Stochastic Extra-Gradient for Variational
Inequalities [125.62877849447729]
我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。
我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。
理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
論文 参考訳(メタデータ) (2021-06-15T17:45:51Z) - Robustness and Personalization in Federated Learning: A Unified Approach
via Regularization [4.7234844467506605]
我々は、Fed+と呼ばれる堅牢でパーソナライズされたフェデレーション学習のための一連の方法を提案する。
Fed+の主な利点は、フェデレートトレーニングで見られる現実世界の特徴をよりよく適応することである。
ベンチマークデータセットに関する広範な実験を通じて、Fed+の利点を実証する。
論文 参考訳(メタデータ) (2020-09-14T10:04:30Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳(メタデータ) (2020-08-13T04:26:31Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳(メタデータ) (2020-05-03T09:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。