論文の概要: Federated Training of Dual Encoding Models on Small Non-IID Client
Datasets
- arxiv url: http://arxiv.org/abs/2210.00092v1
- Date: Fri, 30 Sep 2022 21:03:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 14:04:29.274302
- Title: Federated Training of Dual Encoding Models on Small Non-IID Client
Datasets
- Title（参考訳）: 小型非iidクライアントデータセット上でのデュアルエンコーディングモデルのフェデレーショントレーニング
- Authors: Raviteja Vemulapalli, Warren Richard Morningstar, Philip Andrew
Mansfield, Hubert Eichner, Karan Singhal, Arash Afkanpour, Bradley Green
- Abstract要約: 我々は,非IID(非独立かつ同一の分散)クライアントデータセットを多数含む分散データに基づいて,デュアルエンコーディングモデルのフェデレーショントレーニングを行う。
この知見に基づいて,クライアント間で集約された符号化統計を用いた二重符号化モデルを訓練する,新しいフェデレーショントレーニング手法を提案する。
- 参考スコア（独自算出の注目度）: 6.484823642672743
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dual encoding models that encode a pair of inputs are widely used for
representation learning. Many approaches train dual encoding models by
maximizing agreement between pairs of encodings on centralized training data.
However, in many scenarios, datasets are inherently decentralized across many
clients (user devices or organizations) due to privacy concerns, motivating
federated learning. In this work, we focus on federated training of dual
encoding models on decentralized data composed of many small, non-IID
(independent and identically distributed) client datasets. We show that
existing approaches that work well in centralized settings perform poorly when
naively adapted to this setting using federated averaging. We observe that, we
can simulate large-batch loss computation on individual clients for loss
functions that are based on encoding statistics. Based on this insight, we
propose a novel federated training approach, Distributed Cross Correlation
Optimization (DCCO), which trains dual encoding models using encoding
statistics aggregated across clients, without sharing individual data samples.
Our experimental results on two datasets demonstrate that the proposed DCCO
approach outperforms federated variants of existing approaches by a large
margin.
- Abstract（参考訳）: 一対の入力を符号化するデュアルエンコーディングモデルは、表現学習に広く使われている。
多くのアプローチは、集中的なトレーニングデータ上のペアのエンコーディングの一致を最大化することで、デュアルエンコーディングモデルを訓練する。
しかし、多くのシナリオでは、データセットは本質的に多くのクライアント(ユーザデバイスや組織)で分散化されています。
本研究では,非IID(非独立かつ同一の分散)クライアントデータセットを多数含む分散データに対して,二重符号化モデルのフェデレーショントレーニングを行う。
我々は,この設定に対して,フェデレート平均化を用いて鼻で適応した場合,集中型設定でうまく機能する既存のアプローチが不十分であることを示す。
我々は,エンコーディング統計に基づく損失関数に対して,個々のクライアントに対する大きなバッチ損失計算をシミュレートできることを示す。
そこで本研究では,データサンプルを個別に共有することなく,クライアント間で集約された符号化統計量を用いて二重符号化モデルを訓練する分散相互相関最適化(DCCO)を提案する。
2つのデータセットに対する実験結果から,提案手法が既存手法のフェデレーション変動を大きなマージンで上回ることを示した。
関連論文リスト
- FedSPD: A Soft-clustering Approach for Personalized Decentralized Federated Learning [18.38030098837294]
フェデレーション学習は、分散クライアントがローカルデータを使用して機械学習モデルを協調的にトレーニングするためのフレームワークである。
分散環境のための効率的パーソナライズされたフェデレーション学習アルゴリズムであるFedSPDを提案する。
低接続性ネットワークにおいてもFedSPDが正確なモデルを学ぶことを示す。
論文 参考訳（メタデータ） (2024-10-24T15:48:34Z) - FedClust: Tackling Data Heterogeneity in Federated Learning through Weight-Driven Client Clustering [26.478852701376294]
フェデレートラーニング(Federated Learning, FL)は、分散機械学習のパラダイムである。
FLの主な課題の1つは、クライアントデバイスにまたがる不均一なデータ分散の存在である。
我々は,局所モデル重みとクライアントのデータ分布の相関を利用したCFLの新しい手法であるFedClustを提案する。
論文 参考訳（メタデータ） (2024-07-09T02:47:16Z) - Leveraging Foundation Models for Multi-modal Federated Learning with Incomplete Modality [41.79433449873368]
我々は、事前学習完了(FedMVP)を用いた新しいマルチモーダル・コントラスト学習法、フェデレーション・マルチモーダル・コントラストVeトレーニングを提案する。
FedMVPは、大規模な事前トレーニングモデルを統合して、フェデレーショントレーニングを強化する。
実世界の2つの画像テキスト分類データセットよりも優れた性能を示す。
論文 参考訳（メタデータ） (2024-06-16T19:18:06Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳（メタデータ） (2022-11-10T13:20:56Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling
and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。
局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。
私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。
実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文 参考訳（メタデータ） (2022-03-22T14:06:26Z) - Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。
分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。
本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文 参考訳（メタデータ） (2021-08-17T17:53:05Z) - Decentralized federated learning of deep neural networks on non-iid data [0.6335848702857039]
分散環境でパーソナライズされたディープラーニングモデルを学ぶことの難しさに対処する。
本稿では,PENS(Performance-Based Neighbor Selection)という手法を提案する。
PENSは強力なベースラインに比べて高い精度を達成することができる。
論文 参考訳（メタデータ） (2021-07-18T19:05:44Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z) - Decentralized Federated Learning via Mutual Knowledge Transfer [37.5341683644709]
分散型連合学習(DFL)は、モノのインターネット(IoT)システムにおける問題です。
現地のクライアントが学習した知識を相互に転送することでモデルを融合させる相互知識伝達(Def-KT)アルゴリズムを提案します。
MNIST, Fashion-MNIST, CIFAR10データセットに対する実験により,提案アルゴリズムがベースラインDFL法を著しく上回るデータセットを明らかにした。
論文 参考訳（メタデータ） (2020-12-24T01:43:53Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳（メタデータ） (2020-05-03T09:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。