論文の概要: Robust Federated Learning: The Case of Affine Distribution Shifts

• arxiv url: http://arxiv.org/abs/2006.08907v1
• Date: Tue, 16 Jun 2020 03:43:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 20:04:53.434276
• Title: Robust Federated Learning: The Case of Affine Distribution Shifts
• Title（参考訳）: ロバストなフェデレーション学習:アフィン分布シフトの事例
• Authors: Amirhossein Reisizadeh, Farzan Farnia, Ramtin Pedarsani, Ali Jadbabaie
• Abstract要約: 我々は,ユーザのサンプルの分布変化に対して良好な性能を実現するための,堅牢なフェデレーション学習アルゴリズムを開発した。 新しいテストユーザにおいて,アフィン分布シフトは学習者分類器の性能を著しく低下させるのに十分であることを示す。
• 参考スコア（独自算出の注目度）: 41.27887358989414
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning is a distributed paradigm that aims at training models using samples distributed across multiple users in a network while keeping the samples on users' devices with the aim of efficiency and protecting users privacy. In such settings, the training data is often statistically heterogeneous and manifests various distribution shifts across users, which degrades the performance of the learnt model. The primary goal of this paper is to develop a robust federated learning algorithm that achieves satisfactory performance against distribution shifts in users' samples. To achieve this goal, we first consider a structured affine distribution shift in users' data that captures the device-dependent data heterogeneity in federated settings. This perturbation model is applicable to various federated learning problems such as image classification where the images undergo device-dependent imperfections, e.g. different intensity, contrast, and brightness. To address affine distribution shifts across users, we propose a Federated Learning framework Robust to Affine distribution shifts (FLRA) that is provably robust against affine Wasserstein shifts to the distribution of observed samples. To solve the FLRA's distributed minimax problem, we propose a fast and efficient optimization method and provide convergence guarantees via a gradient Descent Ascent (GDA) method. We further prove generalization error bounds for the learnt classifier to show proper generalization from empirical distribution of samples to the true underlying distribution. We perform several numerical experiments to empirically support FLRA. We show that an affine distribution shift indeed suffices to significantly decrease the performance of the learnt classifier in a new test user, and our proposed algorithm achieves a significant gain in comparison to standard federated learning and adversarial training methods.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning)は、ネットワーク内の複数のユーザ間で分散されたサンプルを使用してモデルをトレーニングすることを目的とした分散パラダイムである。 このような環境では、トレーニングデータは統計的に異種であり、ユーザ間で様々な分散シフトを示し、学習モデルのパフォーマンスを低下させる。 本研究の主な目的は,ユーザのサンプルの分布変化に対して良好な性能を実現する,堅牢なフェデレーション学習アルゴリズムを開発することである。 この目的を達成するために、まず、フェデレーション設定におけるデバイス依存データの不均一性をキャプチャするユーザのデータの構造化アフィン分布シフトを検討する。 この摂動モデルは、画像がデバイス依存の不完全性(例えば、強度、コントラスト、明るさ)を受ける画像分類などの様々な連邦学習問題に適用できる。 本稿では,ユーザ間でのアフィン分布シフトに対処するため,アフィン分布シフトに対して確実に頑健であるFederated Learning framework Robust to Affine Distribution shifts (FLRA)を提案する。 FLRAの分散ミニマックス問題を解くために,高速かつ効率的な最適化法を提案し,勾配Descent Ascent (GDA) 法による収束保証を提供する。 さらに,サンプル実験分布から真の基底分布への適切な一般化を示すために,学習者分類器の一般化誤差境界を証明した。 FLRAを実証的に支援するための数値実験を行った。 実験では,アフィン分布の変化が学習者分類器の性能を著しく低下させるには十分であり,本アルゴリズムは標準連関学習法や逆学習法と比較して有意な利得が得られることを示す。

関連論文リスト

• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• FedRC: Tackling Diverse Distribution Shifts Challenge in Federated Learning by Robust Clustering [4.489171618387544]
  Federated Learning(FL)は、エッジデバイス上でクライアントデータを保持することによって、プライバシを保護する機械学習パラダイムである。 本稿では,多様な分布シフトの同時発生による学習課題を特定する。 提案するクラスタリングの原理に従う新しいクラスタリングアルゴリズムフレームワークであるFedRCを提案する。
  論文  参考訳（メタデータ） (2023-01-29T06:50:45Z)
• Depersonalized Federated Learning: Tackling Statistical Heterogeneity by Alternating Stochastic Gradient Descent [6.394263208820851]
  フェデレート・ラーニング(FL)は、デバイスがデータ共有なしでインテリジェントな推論のために共通の機械学習(ML)モデルをトレーニングすることを可能にする。 様々な共役者によって保持される生データは、常に不特定に分散される。 本稿では,このプロセスのデスピードにより統計的に大幅に最適化できる新しいFLを提案する。
  論文  参考訳（メタデータ） (2022-10-07T10:30:39Z)
• Multi-Scale Positive Sample Refinement for Few-Shot Object Detection [61.60255654558682]
  Few-shot Object Detection (FSOD) は、ディテクターがトレーニングインスタンスをほとんど持たない未確認のクラスに適応するのに役立つ。 FSODにおけるオブジェクトスケールを拡張化するためのMPSR(Multi-scale Positive Sample Refinement)アプローチを提案する。 MPSRは、オブジェクトピラミッドとして多スケールの正のサンプルを生成し、様々なスケールで予測を洗練させる。
  論文  参考訳（メタデータ） (2020-07-18T09:48:29Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)
• Imbalanced Data Learning by Minority Class Augmentation using Capsule Adversarial Networks [31.073558420480964]
  本稿では,2つの同時手法を合体させて,不均衡な画像のバランスを回復する手法を提案する。 我々のモデルでは、生成的および識別的ネットワークは、新しい競争力のあるゲームをする。 カプセルGANの合体は、畳み込みGANと比較して非常に少ないパラメータで重なり合うクラスを認識するのに効果的である。
  論文  参考訳（メタデータ） (2020-04-05T12:36:06Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。