論文の概要: On the Generalization of Wasserstein Robust Federated Learning
- arxiv url: http://arxiv.org/abs/2206.01432v1
- Date: Fri, 3 Jun 2022 07:44:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-07 00:05:56.679396
- Title: On the Generalization of Wasserstein Robust Federated Learning
- Title(参考訳): Wasserstein Robust Federated Learningの一般化について
- Authors: Tung-Anh Nguyen, Tuan Dung Nguyen, Long Tan Le, Canh T. Dinh and
Nguyen H. Tran
- Abstract要約: 本稿では,WAFLと呼ばれる分散ロバストな最適化手法を提案する。
我々は、WAFLを実証的なサロゲートリスク最小化問題とみなし、収束保証付き局所SGDアルゴリズムを用いて解決する。
WAFLのロバスト性は関連するアプローチよりも一般であることを示し、一般化境界はワッサーシュタイン球内のすべての逆分布に対してロバストであることを示す。
- 参考スコア(独自算出の注目度): 13.236134841888857
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In federated learning, participating clients typically possess non-i.i.d.
data, posing a significant challenge to generalization to unseen distributions.
To address this, we propose a Wasserstein distributionally robust optimization
scheme called WAFL. Leveraging its duality, we frame WAFL as an empirical
surrogate risk minimization problem, and solve it using a local SGD-based
algorithm with convergence guarantees. We show that the robustness of WAFL is
more general than related approaches, and the generalization bound is robust to
all adversarial distributions inside the Wasserstein ball (ambiguity set).
Since the center location and radius of the Wasserstein ball can be suitably
modified, WAFL shows its applicability not only in robustness but also in
domain adaptation. Through empirical evaluation, we demonstrate that WAFL
generalizes better than the vanilla FedAvg in non-i.i.d. settings, and is more
robust than other related methods in distribution shift settings. Further,
using benchmark datasets we show that WAFL is capable of generalizing to unseen
target domains.
- Abstract(参考訳): フェデレーション学習では、参加するクライアントは通常非i.i.d.データを持ち、非知覚分布への一般化にとって大きな課題となる。
そこで本研究では,WAFLと呼ばれる分散ロバストな最適化手法を提案する。
その双対性を利用して、WAFLを実証的なサロゲートリスク最小化問題とみなし、収束保証付き局所SGDアルゴリズムを用いて解決する。
WAFLのロバスト性は関連するアプローチよりも一般的であることを示し、一般化境界はワッサーシュタイン球内のすべての逆分布に対して堅牢であること(曖昧性集合)を示す。
ワッサースタイン球の中心位置と半径は好適に修正できるため、waflはロバスト性だけでなくドメイン適応においても適用性を示している。
実験的な評価により、WAFLは非I.d.設定のバニラFedAvgよりも一般化され、分布シフト設定の他の関連手法よりも堅牢であることを示す。
さらに、ベンチマークデータセットを用いて、WAFLがターゲットドメインの見えない領域に一般化可能であることを示す。
関連論文リスト
- Generalized Schr\"odinger Bridge Matching [57.40143569424158]
一般化Schr"odinger Bridge (GSB) 問題設定は、機械学習の内外を問わず、多くの科学領域に広く見られる。
我々は最近の進歩に触発された新しいマッチングアルゴリズムである一般化シュリンガーブリッジマッチング(GSBM)を提案する。
このような一般化は、効率的な変分近似を利用できる条件付き最適制御を解くのに役立てることができることを示す。
論文 参考訳(メタデータ) (2023-10-03T17:42:11Z) - Generalizing to Unseen Domains with Wasserstein Distributional
Robustness under Limited Source Knowledge [20.943456253048033]
ドメインの一般化は、目に見えないターゲットドメインでうまく機能する普遍的なモデルを学ぶことを目的としている。
We propose a novel domain generalization framework called Wasserstein Distributionally Robust Domain Generalization (WDRDG)。
本研究では、最適輸送を利用したテスト時間適応モジュールを開発し、未確認対象ドメインとソースドメインの関係を定量化する。
論文 参考訳(メタデータ) (2022-07-11T14:46:50Z) - Localized Adversarial Domain Generalization [83.4195658745378]
対数領域の一般化は、領域の一般化に対する一般的なアプローチである。
空間コンパクト性維持(LADG)を用いた局所対向領域の一般化を提案する。
我々はWilds DGベンチマークで包括的な実験を行い、我々のアプローチを検証する。
論文 参考訳(メタデータ) (2022-05-09T08:30:31Z) - Optimal Correlated Equilibria in General-Sum Extensive-Form Games:
Fixed-Parameter Algorithms, Hardness, and Two-Sided Column-Generation [99.00383370823839]
様々な種類の最適相関平衡を求める問題について検討する。
本稿では,特定の解の概念に依存する相関戦略の空間の表現である相関DAGを紹介する。
また、カードゲームブリッジのエンドゲームフェーズをエミュレートするトリックテイクゲームと、ライドシェアリングゲームという2つの新しいベンチマークゲームも導入した。
論文 参考訳(メタデータ) (2022-03-14T15:21:18Z) - On the Convergence of Heterogeneous Federated Learning with Arbitrary
Adaptive Online Model Pruning [15.300983585090794]
任意適応型オンラインモデルプルーニングを用いた異種FLアルゴリズムの一元化フレームワークを提案する。
特に、ある十分な条件下では、これらのアルゴリズムは一般的なスムーズなコスト関数に対して標準FLの定常点に収束する。
コンバージェンスに影響を与える2つの要因として,プルーニング誘導雑音と最小カバレッジ指数を照らす。
論文 参考訳(メタデータ) (2022-01-27T20:43:38Z) - Regularization Guarantees Generalization in Bayesian Reinforcement
Learning through Algorithmic Stability [48.62272919754204]
ベイズ RL の一般化を、おそらくほぼ正しい (PAC) フレームワークで研究する。
我々の主な貢献は、正規化を加えることで、最適な政策が適切な意味で安定することを示しています。
論文 参考訳(メタデータ) (2021-09-24T07:48:34Z) - Class-conditioned Domain Generalization via Wasserstein Distributional
Robust Optimization [12.10885662305154]
複数のソースドメインが与えられた場合、ドメインの一般化は、目に見えないが関連するターゲットドメインでよく機能する普遍的なモデルを学ぶことを目的としている。
同じクラスが与えられた条件分布の変動が大きい場合、既存のアプローチは十分に堅牢ではない。
我々は、クラス条件領域の一般化問題を解決するために、分散ロバスト最適化の概念を拡張した。
論文 参考訳(メタデータ) (2021-09-08T14:23:03Z) - Anarchic Federated Learning [9.440407984695904]
我々は、Anarchic Federated Learning' (AFL)と呼ばれる連邦学習の新しいパラダイムを提案する。
AFLでは、各作業者は、(i)いつFLに参加するか、(i)現在の状況に基づいて各ラウンドで行うローカルステップの数を選択できる。
クロスデバイスとクロスサイロの両方の設定に対して、双方向の学習率を持つ2つのAnarchic FedAvgライクなアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-08-23T00:38:37Z) - Decentralized Local Stochastic Extra-Gradient for Variational
Inequalities [125.62877849447729]
我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。
我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。
理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
論文 参考訳(メタデータ) (2021-06-15T17:45:51Z) - KL Guided Domain Adaptation [88.19298405363452]
ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。
ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。
確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
論文 参考訳(メタデータ) (2021-06-14T22:24:23Z) - Robustness and Personalization in Federated Learning: A Unified Approach
via Regularization [4.7234844467506605]
我々は、Fed+と呼ばれる堅牢でパーソナライズされたフェデレーション学習のための一連の方法を提案する。
Fed+の主な利点は、フェデレートトレーニングで見られる現実世界の特徴をよりよく適応することである。
ベンチマークデータセットに関する広範な実験を通じて、Fed+の利点を実証する。
論文 参考訳(メタデータ) (2020-09-14T10:04:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。