論文の概要: Distributed Online Optimization with Byzantine Adversarial Agents
- arxiv url: http://arxiv.org/abs/2109.12340v1
- Date: Sat, 25 Sep 2021 11:19:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-28 15:06:54.801155
- Title: Distributed Online Optimization with Byzantine Adversarial Agents
- Title（参考訳）: Byzantine Adversarial Agentによる分散オンライン最適化
- Authors: Sourav Sahoo, Anand Gokhale and Rachel Kalpana Kalaimani
- Abstract要約: マルチエージェントシステムにおける非制約,離散時間,オンライン分散最適化の問題について検討する。
いずれのエージェントも、欠陥のあるエージェントの身元に関する事前情報を持っておらず、いかなるエージェントも、そのすぐ隣のエージェントとしか通信できない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the problem of non-constrained, discrete-time, online distributed
optimization in a multi-agent system where some of the agents do not follow the
prescribed update rule either due to failures or malicious intentions. None of
the agents have prior information about the identities of the faulty agents and
any agent can communicate only with its immediate neighbours. At each time
step, a Lipschitz strongly convex cost function is revealed locally to all the
agents and the non-faulty agents update their states using their local
information and the information obtained from their neighbours. We measure the
performance of the online algorithm by comparing it to its offline version when
the cost functions are known apriori. The difference between the same is termed
as regret. Under sufficient conditions on the graph topology, the number and
location of the adversaries, the defined regret grows sublinearly. We further
conduct numerical experiments to validate our theoretical results.
- Abstract（参考訳）: 本研究では,複数のエージェントが所定の更新ルールに従わないようなマルチエージェントシステムにおいて,非制約,離散時間,オンライン分散最適化の問題について検討する。
エージェントには、欠陥のあるエージェントの身元に関する事前情報がなく、任意のエージェントは、そのすぐ隣のエージェントとのみ通信することができる。
それぞれの時間ステップで、リプシッツの強い凸コスト関数がすべてのエージェントにローカルに暴露され、非デフォルトエージェントはローカル情報と隣人から得られた情報を使用して状態を更新する。
コスト関数が既知の場合,オフライン版と比較することにより,オンラインアルゴリズムの性能を測定する。
両者の違いは「後悔」と呼ばれる。
グラフトポロジー、敵の数と位置に関する十分な条件の下では、定義された後悔は次々に増加する。
さらに,理論結果を検証するために数値実験を行う。
関連論文リスト
- Distributed Policy Gradient for Linear Quadratic Networked Control with
Limited Communication Range [23.500806437272487]
局所的な情報のみを用いて正確な勾配を近似できることを示す。
集中型最適制御器と比較して、通信と制御範囲が増加するにつれて性能ギャップは指数関数的に減少する。
論文 参考訳（メタデータ） (2024-03-05T15:38:54Z) - Counterfactual Conservative Q Learning for Offline Multi-agent
Reinforcement Learning [54.788422270960496]
我々はCounterFactual conservative Q-Learning (CFCQL) という新しいマルチエージェントオフラインRLアルゴリズムを提案する。
CFCQLは、各エージェントの保守的正規化を非現実的に別々に計算し、それらを線形に組み合わせて全体的な保守的価値推定を実現する。
単一エージェントの保守的手法のように, まだ過小評価特性と性能保証を享受していることが証明されているが, 誘導正規化と安全な政策改善境界はエージェント番号とは無関係である。
論文 参考訳（メタデータ） (2023-09-22T08:10:25Z) - Communication-Efficient Zeroth-Order Distributed Online Optimization:
Algorithm, Theory, and Applications [9.045332526072828]
本稿では,目標追跡のためのフェデレーション学習環境におけるマルチエージェントゼロ階オンライン最適化問題に焦点を当てる。
提案手法は、2つの関連するアプリケーションにおけるエラーとエラーの観点からさらに解析される。
論文 参考訳（メタデータ） (2023-06-09T03:51:45Z) - Compressed Regression over Adaptive Networks [58.79251288443156]
分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。
エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
論文 参考訳（メタデータ） (2023-04-07T13:41:08Z) - Byzantine-Robust Online and Offline Distributed Reinforcement Learning [60.970950468309056]
本稿では,複数のエージェントが環境を探索し,その経験を中央サーバを通じて伝達する分散強化学習環境について考察する。
エージェントの$alpha$-fractionは敵対的であり、任意の偽情報を報告することができる。
我々は、これらの対立エージェントの存在下で、マルコフ決定プロセスの根底にある準最適政策を特定することを模索する。
論文 参考訳（メタデータ） (2022-06-01T00:44:53Z) - Private and Byzantine-Proof Cooperative Decision-Making [15.609414012418043]
協調バンディット問題は、多腕バンディットと同時に相互作用するエージェントのグループを含むマルチエージェント決定問題である。
本稿では、エージェントがアクションシーケンスに関して通信をプライベートにしたい場合と、エージェントがビザンチンになり得る場合の2つの設定の下で、バンドイット問題を調査する。
我々は,(a)微分プライベートかつ(b)プライベートでありながら,最適な後悔を得る高信頼有界アルゴリズムを提供する。
我々の分散アルゴリズムはエージェント間の接続のネットワークに関する情報を必要とせず、大規模な動的システムにスケーラブルにします。
論文 参考訳（メタデータ） (2022-05-27T18:03:54Z) - LobsDICE: Offline Imitation Learning from Observation via Stationary
Distribution Correction Estimation [37.31080581310114]
定常分布の空間における最適化を通じて専門家のポリシーを模倣することを学ぶオフラインのifOアルゴリズムであるLobsDICEを提案する。
提案アルゴリズムは,専門家によって誘導される2つの状態遷移分布とエージェントポリシーとのばらつきを最小限に抑える,単一の凸最小化問題を解く。
論文 参考訳（メタデータ） (2022-02-28T04:24:30Z) - Distributed Adaptive Learning Under Communication Constraints [54.22472738551687]
本研究では,コミュニケーション制約下での運用を目的とした適応型分散学習戦略について検討する。
我々は,ストリーミングデータの連続的な観察から,オンライン最適化問題を解決しなければならないエージェントのネットワークを考える。
論文 参考訳（メタデータ） (2021-12-03T19:23:48Z) - Plan Better Amid Conservatism: Offline Multi-Agent Reinforcement
Learning with Actor Rectification [74.10976684469435]
オフライン強化学習(RL)アルゴリズムは、直接マルチエージェント設定に転送することができる。
本稿では,この重要な課題に対処するために,Actor Rectification (OMAR) を用いたオフラインマルチエージェント RL を提案する。
OMARはマルチエージェント連続制御ベンチマークにおける最先端性能と強いベースラインを著しく上回る。
論文 参考訳（メタデータ） (2021-11-22T13:27:42Z) - A New Bandit Setting Balancing Information from State Evolution and
Corrupted Context [52.67844649650687]
本稿では,2つの確立されたオンライン学習問題と包括的フィードバックを組み合わせた,逐次的意思決定方式を提案する。
任意の瞬間にプレーする最適なアクションは、エージェントによって直接観察できない基礎となる変化状態に付随する。
本稿では,レフェリーを用いて,コンテキストブレイジットとマルチアームブレイジットのポリシーを動的に組み合わせるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-11-16T14:35:37Z) - The Gossiping Insert-Eliminate Algorithm for Multi-Agent Bandits [20.259428328004738]
N$エージェントからなる分散マルチエージェントMulti Armed Bandit (MAB) のセットアップを検討する。
我々のモデルでは、エージェントは任意の連結グラフ上で、ペアワイズなゴシップスタイルの通信を通じてメッセージを交換することで協調する。
論文 参考訳（メタデータ） (2020-01-15T17:49:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。