論文の概要: Federated Distributionally Robust Optimization with Non-Convex
Objectives: Algorithm and Analysis
- arxiv url: http://arxiv.org/abs/2307.14364v1
- Date: Tue, 25 Jul 2023 01:56:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-28 17:15:29.218480
- Title: Federated Distributionally Robust Optimization with Non-Convex
Objectives: Algorithm and Analysis
- Title（参考訳）: 非凸対象による分散ロバスト最適化:アルゴリズムと解析
- Authors: Yang Jiao, Kai Yang, Dongjin Song
- Abstract要約: Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。
新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。
実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
- 参考スコア（独自算出の注目度）: 24.64654924173679
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributionally Robust Optimization (DRO), which aims to find an optimal
decision that minimizes the worst case cost over the ambiguity set of
probability distribution, has been widely applied in diverse applications,
e.g., network behavior analysis, risk management, etc. However, existing DRO
techniques face three key challenges: 1) how to deal with the asynchronous
updating in a distributed environment; 2) how to leverage the prior
distribution effectively; 3) how to properly adjust the degree of robustness
according to different scenarios. To this end, we propose an asynchronous
distributed algorithm, named Asynchronous Single-looP alternatIve gRadient
projEction (ASPIRE) algorithm with the itErative Active SEt method (EASE) to
tackle the federated distributionally robust optimization (FDRO) problem.
Furthermore, a new uncertainty set, i.e., constrained D-norm uncertainty set,
is developed to effectively leverage the prior distribution and flexibly
control the degree of robustness. Finally, our theoretical analysis elucidates
that the proposed algorithm is guaranteed to converge and the iteration
complexity is also analyzed. Extensive empirical studies on real-world datasets
demonstrate that the proposed method can not only achieve fast convergence, and
remain robust against data heterogeneity as well as malicious attacks, but also
tradeoff robustness with performance.
- Abstract（参考訳）: 分布的ロバスト最適化(DRO)は、確率分布のあいまいさセットよりも最悪のケースコストを最小限に抑える最適な決定を行うことを目的としており、ネットワークの挙動分析、リスク管理など様々な用途に広く適用されている。
しかし、既存のDRO技術は3つの大きな課題に直面している。
1) 分散環境における非同期更新の扱い方
2) 事前分布を効果的に活用する方法
3) 異なるシナリオに応じてロバスト性の程度を適切に調整する方法。
そこで本研究では,非同期分散アルゴリズムであるAsynchronous Single-looP alternatIve gRadient projEction (ASPIRE) と itErative Active SEt method (EASE) を提案し,FDRO (Federated Distributionally robust optimization) 問題に対処する。
さらに、制約付きD-ノルムの不確実性集合と呼ばれる新しい不確実性集合が、事前分布を効果的に活用し、強靭性の度合いを柔軟に制御するために開発された。
最後に,提案アルゴリズムが収束することが保証され,繰り返しの複雑さも解析されることを示す。
実世界のデータセットに関する広範囲な実証研究は、提案手法が高速収束を達成できるだけでなく、データの不均一性や悪意のある攻撃にも頑健であり続けることを証明している。
関連論文リスト
- Distributionally and Adversarially Robust Logistic Regression via Intersecting Wasserstein Balls [8.720733751119994]
逆堅牢最適化(Adversarially robust optimization, ARO)は、テスト中に敵の攻撃に対して防御する訓練モデルのデファクトスタンダードとなっている。
その頑丈さにもかかわらず、これらのモデルはしばしば過度なオーバーフィットに悩まされる。
学習における経験的分布を, (i) あいまいさ集合内の最悪のケース分布, (ii) 補助的データセットから派生した経験的分布の混合に置き換える2つの方法を提案する。
論文 参考訳（メタデータ） (2024-07-18T15:59:37Z) - Single-Trajectory Distributionally Robust Reinforcement Learning [21.955807398493334]
本研究では,分散ロバストRL (DRRL) を提案する。
既存のDRRLアルゴリズムはモデルベースか、1つのサンプル軌道から学習できないかのいずれかである。
単一軌道を用いた分散ロバストQ-ラーニング(DRQ)と呼ばれる,完全モデルフリーなDRRLアルゴリズムを設計する。
論文 参考訳（メタデータ） (2023-01-27T14:08:09Z) - Distributed Distributionally Robust Optimization with Non-Convex
Objectives [24.64654924173679]
Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。
新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。
実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
論文 参考訳（メタデータ） (2022-10-14T07:39:13Z) - Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。
これらの問題に対する新規で簡単な最適化法を開発した。
結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
論文 参考訳（メタデータ） (2021-09-23T17:38:24Z) - Federated Distributionally Robust Optimization for Phase Configuration
of RISs [106.4688072667105]
我々は、教師付き学習環境において、多種多様なRISタイプ上での堅牢な再構成可能なインテリジェントサーフェス(RIS)支援ダウンリンク通信の問題について検討する。
異種RIS設計上のダウンリンク通信を分散的に位相構成を最適化する方法を学ぶ異なる労働者としてモデル化することにより、分散学習問題を解決することができる。
提案アルゴリズムは, 競合するベースラインと比較して, 最悪の分布精度を実現するために, 通信ラウンドを少なくする必要がある。
論文 参考訳（メタデータ） (2021-08-20T07:07:45Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳（メタデータ） (2021-07-02T16:21:52Z) - Distributionally Robust Learning with Stable Adversarial Training [34.74504615726101]
経験的リスク最小化を伴う機械学習アルゴリズムは、分散シフトの下で脆弱である。
そこで本稿では,異種データソースを活用して,より実用的な不確実性セットを構築する,SAL(Stable Adversarial Learning)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-30T03:05:45Z) - Complexity-Free Generalization via Distributionally Robust Optimization [4.313143197674466]
分散ロバスト最適化(DRO)から解の一般化境界を得るための代替経路を提案する。
我々の DRO 境界は、あいまいな集合の幾何と真の損失関数との整合性に依存する。
特に、DRO距離計量として最大平均誤差を用いる場合、我々の分析は、我々の知識の最も良いところは、真の損失関数にのみ依存する文献における第一の一般化であることを示している。
論文 参考訳（メタデータ） (2021-06-21T15:19:52Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳（メタデータ） (2021-03-18T14:26:26Z) - Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。
強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
論文 参考訳（メタデータ） (2020-03-05T19:56:23Z) - Distributionally Robust Bayesian Optimization [121.71766171427433]
そこで本研究では,ゼロ次雑音最適化のための分散ロバストなベイズ最適化アルゴリズム(DRBO)を提案する。
提案アルゴリズムは, 種々の設定において, 線形に頑健な後悔を確実に得る。
提案手法は, 実世界のベンチマークと実世界のベンチマークの両方において, 頑健な性能を示す。
論文 参考訳（メタデータ） (2020-02-20T22:04:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。