論文の概要: FedMM: Saddle Point Optimization for Federated Adversarial Domain Adaptation

• arxiv url: http://arxiv.org/abs/2110.08477v1
• Date: Sat, 16 Oct 2021 05:32:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-21 16:49:52.949614
• Title: FedMM: Saddle Point Optimization for Federated Adversarial Domain Adaptation
• Title（参考訳）: FedMM:Federed Adversarial Domain Adaptationのためのサドルポイント最適化
• Authors: Yan Shen and Jian Du and Hao Zhang and Benyu Zhang and Zhanghexuan Ji and Mingchen Gao
• Abstract要約: フェデレートされたドメイン適応は、クライアント間のラベルの不均衡の頻度のため、ユニークなミニマックストレーニングタスクである。 本稿では,フェデレーション適応問題に特化して設計されたFedMMと呼ばれる分散ミニマックスドメインを提案する。 我々はFedMMがドメインシフトした教師なしデータで定常点への収束を保証することを証明した。
• 参考スコア（独自算出の注目度）: 6.3434032890855345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated adversary domain adaptation is a unique distributed minimax training task due to the prevalence of label imbalance among clients, with each client only seeing a subset of the classes of labels required to train a global model. To tackle this problem, we propose a distributed minimax optimizer referred to as FedMM, designed specifically for the federated adversary domain adaptation problem. It works well even in the extreme case where each client has different label classes and some clients only have unsupervised tasks. We prove that FedMM ensures convergence to a stationary point with domain-shifted unsupervised data. On a variety of benchmark datasets, extensive experiments show that FedMM consistently achieves either significant communication savings or significant accuracy improvements over federated optimizers based on the gradient descent ascent (GDA) algorithm. When training from scratch, for example, it outperforms other GDA based federated average methods by around $20\%$ in accuracy over the same communication rounds; and it consistently outperforms when training from pre-trained models with an accuracy improvement from $5.4\%$ to $9\%$ for different networks.
• Abstract（参考訳）: フェデレーションされたドメイン適応は、クライアント間でラベルの不均衡の頻度が高いため、ユニークな分散ミニマックストレーニングタスクであり、各クライアントはグローバルモデルをトレーニングするために必要なラベルのサブセットのみを見ることができる。 この問題に対処するため,フェデレーションドメイン適応問題に特化して設計されたFedMMと呼ばれる分散ミニマックスオプティマイザを提案する。 それぞれのクライアントが異なるラベルクラスを持ち、一部のクライアントが教師なしのタスクしか持たない極端なケースでもうまく機能します。 我々はFedMMがドメインシフトした教師なしデータで定常点への収束を保証することを証明した。 様々なベンチマークデータセットにおいて、fedmmは、勾配降下上昇法(gda)アルゴリズムに基づくフェデレーションオプティマイザよりも、重要な通信の節約または大幅な精度向上を一貫して達成していることを示している。 例えば、scratchからのトレーニングでは、他のgdaベースのフェデレーション平均メソッドよりも、同じ通信ラウンドよりも約20〜$$の精度で優れており、さまざまなネットワークで5.4〜9〜$の精度向上で、事前トレーニングされたモデルからのトレーニングを一貫して上回っています。

関連論文リスト

• Federated Learning under Partially Class-Disjoint Data via Manifold Reshaping [64.58402571292723]
  我々はFedMRと呼ばれる多様体再構成手法を提案し、局所訓練の特徴空間を校正する。 我々は、FedMRがはるかに高い精度と通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行います。
  論文  参考訳（メタデータ） (2024-05-29T10:56:13Z)
• Locally Adaptive Federated Learning [30.19411641685853]
  フェデレートラーニング(Federated Learning)とは、複数のクライアントが中央サーバと協調してモデルを学習する分散機械学習のパラダイムである。 Federated Averaging (FedAvg)のような標準的なフェデレーション最適化手法は、クライアント間の一般化を保証する。 本稿では,各クライアント関数の局所的幾何情報を利用する局所的フェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-12T17:02:32Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated Learning [91.74206675452888]
  本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。 効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
  論文  参考訳（メタデータ） (2022-10-14T08:11:34Z)
• Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction [76.26710990597498]
  本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。 我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。 特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
  論文  参考訳（メタデータ） (2022-09-30T05:42:56Z)
• Federated Multi-Target Domain Adaptation [99.93375364579484]
  フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。 分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。 本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:53:05Z)
• Fairness and Accuracy in Federated Learning [17.218814060589956]
  本稿では,federated learning (fedfa) における公平性と正確性を高めるアルゴリズムを提案する。 二重運動量勾配を採用する最適化スキームを導入し、それによってモデルの収束速度を加速する。 トレーニング精度とトレーニング頻度の情報量を組み合わせてウェイトを測定するための適切なウェイト選択アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-18T06:28:37Z)
• CatFedAvg: Optimising Communication-efficiency and Classification Accuracy in Federated Learning [2.2172881631608456]
  そこで我々はCatFedAvgというフェデレート学習アルゴリズムを新たに導入した。 コミュニケーション効率は向上するが、NIST戦略のカテゴリカバレッジを用いて学習の質を向上させる。 実験の結果,FedAvgよりもネットワーク転送率が70%低いMデータセットでは,10%の絶対点精度が向上していることがわかった。
  論文  参考訳（メタデータ） (2020-11-14T06:52:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。