論文の概要: Distributed Distributionally Robust Optimization with Non-Convex
Objectives
- arxiv url: http://arxiv.org/abs/2210.07588v1
- Date: Fri, 14 Oct 2022 07:39:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 15:21:48.527447
- Title: Distributed Distributionally Robust Optimization with Non-Convex
Objectives
- Title（参考訳）: 非凸目的を用いた分散分布ロバスト最適化
- Authors: Yang Jiao, Kai Yang, Dongjin Song
- Abstract要約: Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。
新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。
実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
- 参考スコア（独自算出の注目度）: 24.64654924173679
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributionally Robust Optimization (DRO), which aims to find an optimal
decision that minimizes the worst case cost over the ambiguity set of
probability distribution, has been widely applied in diverse applications,
e.g., network behavior analysis, risk management, etc. However, existing DRO
techniques face three key challenges: 1) how to deal with the asynchronous
updating in a distributed environment; 2) how to leverage the prior
distribution effectively; 3) how to properly adjust the degree of robustness
according to different scenarios. To this end, we propose an asynchronous
distributed algorithm, named Asynchronous Single-looP alternatIve gRadient
projEction (ASPIRE) algorithm with the itErative Active SEt method (EASE) to
tackle the distributed distributionally robust optimization (DDRO) problem.
Furthermore, a new uncertainty set, i.e., constrained D-norm uncertainty set,
is developed to effectively leverage the prior distribution and flexibly
control the degree of robustness. Finally, our theoretical analysis elucidates
that the proposed algorithm is guaranteed to converge and the iteration
complexity is also analyzed. Extensive empirical studies on real-world datasets
demonstrate that the proposed method can not only achieve fast convergence, and
remain robust against data heterogeneity as well as malicious attacks, but also
tradeoff robustness with performance.
- Abstract（参考訳）: 分布的ロバスト最適化(DRO)は、確率分布のあいまいさセットよりも最悪のケースコストを最小限に抑える最適な決定を行うことを目的としており、ネットワークの挙動分析、リスク管理など様々な用途に広く適用されている。
しかし、既存のDRO技術は3つの大きな課題に直面している。
1) 分散環境における非同期更新の扱い方
2) 事前分布を効果的に活用する方法
3) 異なるシナリオに応じてロバスト性の程度を適切に調整する方法。
そこで本研究では,分散分散分散ロバスト最適化(DDRO)問題に対処するため,分散分散アルゴリズムであるAsynchronous Single-looP alternatIve gRadient projEction (ASPIRE) アルゴリズムと itErative Active SEt method (EASE) を提案する。
さらに、制約付きD-ノルムの不確実性集合と呼ばれる新しい不確実性集合が、事前分布を効果的に活用し、強靭性の度合いを柔軟に制御するために開発された。
最後に,提案アルゴリズムが収束することが保証され,繰り返しの複雑さも解析されることを示す。
実世界のデータセットに関する広範囲な実証研究は、提案手法が高速収束を達成できるだけでなく、データの不均一性や悪意のある攻撃にも頑健であり続けることを証明している。
関連論文リスト
- Distributionally and Adversarially Robust Logistic Regression via Intersecting Wasserstein Balls [8.720733751119994]
逆堅牢最適化(Adversarially robust optimization, ARO)は、テスト中に敵の攻撃に対して防御する訓練モデルのデファクトスタンダードとなっている。
その頑丈さにもかかわらず、これらのモデルはしばしば過度なオーバーフィットに悩まされる。
学習における経験的分布を, (i) あいまいさ集合内の最悪のケース分布, (ii) 補助的データセットから派生した経験的分布の混合に置き換える2つの方法を提案する。
論文 参考訳（メタデータ） (2024-07-18T15:59:37Z) - Federated Distributionally Robust Optimization with Non-Convex
Objectives: Algorithm and Analysis [24.64654924173679]
Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。
新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。
実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
論文 参考訳（メタデータ） (2023-07-25T01:56:57Z) - Single-Trajectory Distributionally Robust Reinforcement Learning [21.955807398493334]
本研究では,分散ロバストRL (DRRL) を提案する。
既存のDRRLアルゴリズムはモデルベースか、1つのサンプル軌道から学習できないかのいずれかである。
単一軌道を用いた分散ロバストQ-ラーニング(DRQ)と呼ばれる,完全モデルフリーなDRRLアルゴリズムを設計する。
論文 参考訳（メタデータ） (2023-01-27T14:08:09Z) - False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。
SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
論文 参考訳（メタデータ） (2021-10-24T15:34:03Z) - Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。
これらの問題に対する新規で簡単な最適化法を開発した。
結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
論文 参考訳（メタデータ） (2021-09-23T17:38:24Z) - Federated Distributionally Robust Optimization for Phase Configuration
of RISs [106.4688072667105]
我々は、教師付き学習環境において、多種多様なRISタイプ上での堅牢な再構成可能なインテリジェントサーフェス(RIS)支援ダウンリンク通信の問題について検討する。
異種RIS設計上のダウンリンク通信を分散的に位相構成を最適化する方法を学ぶ異なる労働者としてモデル化することにより、分散学習問題を解決することができる。
提案アルゴリズムは, 競合するベースラインと比較して, 最悪の分布精度を実現するために, 通信ラウンドを少なくする必要がある。
論文 参考訳（メタデータ） (2021-08-20T07:07:45Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳（メタデータ） (2021-03-18T14:26:26Z) - Online Optimization and Ambiguity-based Learning of Distributionally Uncertain Dynamic Systems [1.6709415233613623]
本稿では,分散的に不確実な力学系のクラスを対象とする最適化問題 (P) に対して,データ駆動型オンラインソリューションを構築するための新しい手法を提案する。
導入されたフレームワークは、パラメータ化された制御依存のあいまいさセットを通じて、分散システムの不確実性の同時学習を可能にする。
また、Nesterovの高速化段階アルゴリズムのオンライン版を導入し、その性能を分析して、分散性理論を用いてこの問題のクラスを解く。
論文 参考訳（メタデータ） (2021-02-18T01:49:06Z) - Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。
強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
論文 参考訳（メタデータ） (2020-03-05T19:56:23Z) - Distributionally Robust Bayesian Optimization [121.71766171427433]
そこで本研究では,ゼロ次雑音最適化のための分散ロバストなベイズ最適化アルゴリズム(DRBO)を提案する。
提案アルゴリズムは, 種々の設定において, 線形に頑健な後悔を確実に得る。
提案手法は, 実世界のベンチマークと実世界のベンチマークの両方において, 頑健な性能を示す。
論文 参考訳（メタデータ） (2020-02-20T22:04:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。