論文の概要: Multi-Agent Online Optimization with Delays: Asynchronicity, Adaptivity, and Optimism

• arxiv url: http://arxiv.org/abs/2012.11579v1
• Date: Mon, 21 Dec 2020 18:55:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-27 06:16:55.146422
• Title: Multi-Agent Online Optimization with Delays: Asynchronicity, Adaptivity, and Optimism
• Title（参考訳）: 遅延を伴うマルチエージェントオンライン最適化:非同期性、適応性、楽観性
• Authors: Yu-Guan Hsieh, Franck Iutzeler, J\'er\^ome Malick, Panayotis Mertikopoulos
• Abstract要約: 遅延と非同期性を考慮したマルチエージェントオンライン学習問題の研究を行った。 エージェントレベルとネットワークレベルの両方で、最適な後悔の境界を持つ適応学習戦略を導き出します。
• 参考スコア（独自算出の注目度）: 33.116006446428756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online learning has been successfully applied to many problems in which data are revealed over time. In this paper, we provide a general framework for studying multi-agent online learning problems in the presence of delays and asynchronicities. Specifically, we propose and analyze a class of adaptive dual averaging schemes in which agents only need to accumulate gradient feedback received from the whole system, without requiring any between-agent coordination. In the single-agent case, the adaptivity of the proposed method allows us to extend a range of existing results to problems with potentially unbounded delays between playing an action and receiving the corresponding feedback. In the multi-agent case, the situation is significantly more complicated because agents may not have access to a global clock to use as a reference point; to overcome this, we focus on the information that is available for producing each prediction rather than the actual delay associated with each feedback. This allows us to derive adaptive learning strategies with optimal regret bounds, at both the agent and network levels. Finally, we also analyze an "optimistic" variant of the proposed algorithm which is capable of exploiting the predictability of problems with a slower variation and leads to improved regret bounds.
• Abstract（参考訳）: オンライン学習は、データが時間とともに明らかにされる多くの問題にうまく適用されている。 本稿では,遅延と非同期性の存在下でマルチエージェントオンライン学習問題を研究するための汎用フレームワークを提案する。 具体的には,エージェント間の協調を必要とせず,システム全体から受信した勾配フィードバックのみを蓄積する適応型二重平均化スキームの提案と解析を行う。 単一エージェントの場合、提案手法の適応性により、動作の再生とそれに対応するフィードバックの受信の間に有界な遅延が生じる可能性のある問題に対して、既存の結果の範囲を拡張できる。 マルチエージェントの場合、エージェントが基準点として使用するグローバルクロックにアクセスできない場合があるため、状況ははるかに複雑である。 これにより、エージェントレベルとネットワークレベルの両方において、最適な後悔境界を持つ適応学習戦略を導出することができる。 最後に,提案アルゴリズムの「最適」変種を解析し,より遅い変動を伴う問題の予測可能性を利用して,残差を改善できることを示した。

関連論文リスト

• Active Learning for Fair and Stable Online Allocations [6.23798328186465]
  我々は、オンラインリソース割り当てプロセスの各エポックにおいて、エージェントの特定のサブセットからのフィードバックを検討する。 提案アルゴリズムは,様々な測度に対して,時系列のサブ線形な後悔境界を提供する。 我々は,効率的な意思決定には広範なフィードバックは必要とせず,様々な問題クラスに対して効率的な結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-06-20T23:23:23Z)
• Online Decision Mediation [72.80902932543474]
  意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。 臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
  論文  参考訳（メタデータ） (2023-10-28T05:59:43Z)
• Federated Multi-Level Optimization over Decentralized Networks [55.776919718214224]
  エージェントが隣人としか通信できないネットワーク上での分散マルチレベル最適化の問題について検討する。 ネットワーク化されたエージェントが1つの時間スケールで異なるレベルの最適化問題を解くことができる新しいゴシップに基づく分散マルチレベル最適化アルゴリズムを提案する。 提案アルゴリズムは, ネットワークサイズと線形にスケーリングし, 各種アプリケーション上での最先端性能を示す。
  論文  参考訳（メタデータ） (2023-10-10T00:21:10Z)
• Communication-Efficient Zeroth-Order Distributed Online Optimization: Algorithm, Theory, and Applications [9.045332526072828]
  本稿では,目標追跡のためのフェデレーション学習環境におけるマルチエージェントゼロ階オンライン最適化問題に焦点を当てる。 提案手法は、2つの関連するアプリケーションにおけるエラーとエラーの観点からさらに解析される。
  論文  参考訳（メタデータ） (2023-06-09T03:51:45Z)
• On the Complexity of Multi-Agent Decision Making: From Learning in Games to Partial Monitoring [105.13668993076801]
  マルチエージェント強化学習(MARL)理論における中心的な問題は、構造条件やアルゴリズムの原理がサンプル効率の学習保証につながるかを理解することである。 本稿では,複数のエージェントを用いた対話型意思決定のための一般的な枠組みとして,この問題について考察する。 マルチエージェント意思決定における統計的複雑性を特徴付けることは、単一エージェント決定の統計的複雑性を特徴付けることと等価であることを示す。
  論文  参考訳（メタデータ） (2023-05-01T06:46:22Z)
• Multi-surrogate Assisted Efficient Global Optimization for Discrete Problems [0.9127162004615265]
  本稿では、離散的な問題を解くために、複数のシミュレーションベースの代理モデルの同時利用の可能性について検討する。 以上の結果から,SAMA-DiEGOはテスト問題の大部分において,より優れた解に迅速に収束できることが示唆された。
  論文  参考訳（メタデータ） (2022-12-13T09:10:08Z)
• Sequential Bayesian Optimization for Adaptive Informative Path Planning with Multimodal Sensing [34.86734745942814]
  本稿では,複数のセンサを備えたエージェントの問題点について考察する。 エージェントの目標は、未知の、部分的に観測可能な環境において、環境を探索し、そのリソース制約の対象となる情報を集めることである。 我々は,AIPPMS問題を,ガウス過程の信念を用いたマルコフ決定過程として定式化し,オンラインプランニングによる逐次ベイズ最適化アプローチを用いて解決する。
  論文  参考訳（メタデータ） (2022-09-16T00:50:36Z)
• Online Nonsubmodular Minimization with Delayed Costs: From Full Information to Bandit Feedback [98.7678704343537]
  我々は,オンラインおよび近似的オンライン帯域勾配勾配アルゴリズムのいくつかの変種に対する後悔の保証を,特別な構造を持つ非部分モジュラ関数のクラスに焦点をあてる。 我々は,決定の選択と帰属費用の受け取りの遅れが無拘束である場合でも,エージェントの完全な情報と盗賊のフィードバック設定に対する後悔の限界を導出する。
  論文  参考訳（メタデータ） (2022-05-15T08:27:12Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• Delay-Aware Multi-Agent Reinforcement Learning for Cooperative and Competitive Environments [23.301322095357808]
  アクションと観察の遅延は、現実世界のサイバー物理システムに多く存在する。 本稿では,遅延に対処する新しいフレームワークと,マルチエージェントタスクの非定常トレーニング問題を提案する。 実験は, 協調コミュニケーション, 協調ナビゲーション, 競争実験を含む多エージェント粒子環境下で実施される。
  論文  参考訳（メタデータ） (2020-05-11T21:21:50Z)
• Dynamic Federated Learning [57.14673504239551]
  フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。 我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。 集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
  論文  参考訳（メタデータ） (2020-02-20T15:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。