論文の概要: On the Generalization of Wasserstein Robust Federated Learning
- arxiv url: http://arxiv.org/abs/2206.01432v1
- Date: Fri, 3 Jun 2022 07:44:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-07 00:05:56.679396
- Title: On the Generalization of Wasserstein Robust Federated Learning
- Title（参考訳）: Wasserstein Robust Federated Learningの一般化について
- Authors: Tung-Anh Nguyen, Tuan Dung Nguyen, Long Tan Le, Canh T. Dinh and
Nguyen H. Tran
- Abstract要約: 本稿では,WAFLと呼ばれる分散ロバストな最適化手法を提案する。
我々は、WAFLを実証的なサロゲートリスク最小化問題とみなし、収束保証付き局所SGDアルゴリズムを用いて解決する。
WAFLのロバスト性は関連するアプローチよりも一般であることを示し、一般化境界はワッサーシュタイン球内のすべての逆分布に対してロバストであることを示す。
- 参考スコア（独自算出の注目度）: 13.236134841888857
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In federated learning, participating clients typically possess non-i.i.d.
data, posing a significant challenge to generalization to unseen distributions.
To address this, we propose a Wasserstein distributionally robust optimization
scheme called WAFL. Leveraging its duality, we frame WAFL as an empirical
surrogate risk minimization problem, and solve it using a local SGD-based
algorithm with convergence guarantees. We show that the robustness of WAFL is
more general than related approaches, and the generalization bound is robust to
all adversarial distributions inside the Wasserstein ball (ambiguity set).
Since the center location and radius of the Wasserstein ball can be suitably
modified, WAFL shows its applicability not only in robustness but also in
domain adaptation. Through empirical evaluation, we demonstrate that WAFL
generalizes better than the vanilla FedAvg in non-i.i.d. settings, and is more
robust than other related methods in distribution shift settings. Further,
using benchmark datasets we show that WAFL is capable of generalizing to unseen
target domains.
- Abstract（参考訳）: フェデレーション学習では、参加するクライアントは通常非i.i.d.データを持ち、非知覚分布への一般化にとって大きな課題となる。
そこで本研究では,WAFLと呼ばれる分散ロバストな最適化手法を提案する。
その双対性を利用して、WAFLを実証的なサロゲートリスク最小化問題とみなし、収束保証付き局所SGDアルゴリズムを用いて解決する。
WAFLのロバスト性は関連するアプローチよりも一般的であることを示し、一般化境界はワッサーシュタイン球内のすべての逆分布に対して堅牢であること(曖昧性集合)を示す。
ワッサースタイン球の中心位置と半径は好適に修正できるため、waflはロバスト性だけでなくドメイン適応においても適用性を示している。
実験的な評価により、WAFLは非I.d.設定のバニラFedAvgよりも一般化され、分布シフト設定の他の関連手法よりも堅牢であることを示す。
さらに、ベンチマークデータセットを用いて、WAFLがターゲットドメインの見えない領域に一般化可能であることを示す。
関連論文リスト
- Sketched Adaptive Federated Deep Learning: A Sharp Convergence Analysis [7.303912285452846]
本研究では,周辺次元の対数的にのみ(線形ではなく)通信コストが保証される,特定のスケッチ適応型連邦学習(SAFL)アルゴリズムを提案する。
我々の理論的主張は、視覚と言語タスクに関する実証的研究と、微調整とスクラッチからのトレーニングの両方で支持されている。
驚いたことに,提案手法は,誤りフィードバックに基づく,最先端のコミュニケーション効率の高いフェデレーション学習アルゴリズムと競合する。
論文 参考訳（メタデータ） (2024-11-11T07:51:22Z) - Analytic Federated Learning [34.15482252496494]
我々は、分析的(クローズドな)ソリューションを連邦学習(FL)コミュニティにもたらす新しい訓練パラダイムである分析的連合学習(AFL)を紹介した。
私たちのAFLは、分析学習からインスピレーションを受けています -- ニューラルネットワークを1つの時代における分析ソリューションでトレーニングする、勾配のないテクニックです。
極めて非IIDな設定や多数のクライアントによるシナリオを含む、さまざまなFL設定で実験を行う。
論文 参考訳（メタデータ） (2024-05-25T13:58:38Z) - Generalized Schrödinger Bridge Matching [54.171931505066]
一般化Schr"odinger Bridge (GSB) 問題設定は、機械学習の内外を問わず、多くの科学領域で一般的である。
我々は最近の進歩に触発された新しいマッチングアルゴリズムである一般化シュリンガーブリッジマッチング(GSBM)を提案する。
このような一般化は条件最適制御の解法として、変分近似を用いることができることを示す。
論文 参考訳（メタデータ） (2023-10-03T17:42:11Z) - Generalizing to Unseen Domains with Wasserstein Distributional Robustness under Limited Source Knowledge [22.285156929279207]
ドメインの一般化は、目に見えないターゲットドメインでうまく機能する普遍的なモデルを学ぶことを目的としている。
We propose a novel domain generalization framework called Wasserstein Distributionally Robust Domain Generalization (WDRDG)。
論文 参考訳（メタデータ） (2022-07-11T14:46:50Z) - Localized Adversarial Domain Generalization [83.4195658745378]
対数領域の一般化は、領域の一般化に対する一般的なアプローチである。
空間コンパクト性維持(LADG)を用いた局所対向領域の一般化を提案する。
我々はWilds DGベンチマークで包括的な実験を行い、我々のアプローチを検証する。
論文 参考訳（メタデータ） (2022-05-09T08:30:31Z) - On the Convergence of Heterogeneous Federated Learning with Arbitrary
Adaptive Online Model Pruning [15.300983585090794]
任意適応型オンラインモデルプルーニングを用いた異種FLアルゴリズムの一元化フレームワークを提案する。
特に、ある十分な条件下では、これらのアルゴリズムは一般的なスムーズなコスト関数に対して標準FLの定常点に収束する。
コンバージェンスに影響を与える2つの要因として,プルーニング誘導雑音と最小カバレッジ指数を照らす。
論文 参考訳（メタデータ） (2022-01-27T20:43:38Z) - Regularization Guarantees Generalization in Bayesian Reinforcement
Learning through Algorithmic Stability [48.62272919754204]
ベイズ RL の一般化を、おそらくほぼ正しい (PAC) フレームワークで研究する。
我々の主な貢献は、正規化を加えることで、最適な政策が適切な意味で安定することを示しています。
論文 参考訳（メタデータ） (2021-09-24T07:48:34Z) - Generalize then Adapt: Source-Free Domain Adaptive Semantic Segmentation [78.38321096371106]
先行技術はラベル付きソースとラベルなしターゲットの両方への同時アクセスを前提としており、ソースフリー適応を必要とするシナリオには適さない。
本研究では、タスクをa)ソースのみのドメイン一般化とb)ソースフリーなターゲット適応の2つに分割することで、ソースフリーのDAを可能にする。
本研究では,空間的不規則性を回避し,擬似ラベル品質を向上する条件付き事前強化オートエンコーダを提案する。
論文 参考訳（メタデータ） (2021-08-25T14:18:59Z) - Anarchic Federated Learning [9.440407984695904]
我々は、Anarchic Federated Learning' (AFL)と呼ばれる連邦学習の新しいパラダイムを提案する。
AFLでは、各作業者は、(i)いつFLに参加するか、(i)現在の状況に基づいて各ラウンドで行うローカルステップの数を選択できる。
クロスデバイスとクロスサイロの両方の設定に対して、双方向の学習率を持つ2つのAnarchic FedAvgライクなアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-08-23T00:38:37Z) - Decentralized Local Stochastic Extra-Gradient for Variational
Inequalities [125.62877849447729]
我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。
我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。
理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
論文 参考訳（メタデータ） (2021-06-15T17:45:51Z) - KL Guided Domain Adaptation [88.19298405363452]
ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。
ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。
確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
論文 参考訳（メタデータ） (2021-06-14T22:24:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。