論文の概要: A Communication-Efficient Decentralized Actor-Critic Algorithm

• arxiv url: http://arxiv.org/abs/2510.19199v1
• Date: Wed, 22 Oct 2025 03:15:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:15.01875
• Title: A Communication-Efficient Decentralized Actor-Critic Algorithm
• Title（参考訳）: 通信効率の良い分散型アクタ・クライブアルゴリズム
• Authors: Xiaoxing Ren, Nicola Bastianello, Thomas Parisini, Andreas A. Malikopoulos,
• Abstract要約: 本研究では,各エージェントがポリシーと値関数の局所的な更新を行う分散アクタ批判学習フレームワークを開発する。 このローカルトレーニング戦略は、ネットワーク間の協調を維持しながら、通信負担を大幅に削減する。
• 参考スコア（独自算出の注目度）: 5.138643040049347
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this paper, we study the problem of reinforcement learning in multi-agent systems where communication among agents is limited. We develop a decentralized actor-critic learning framework in which each agent performs several local updates of its policy and value function, where the latter is approximated by a multi-layer neural network, before exchanging information with its neighbors. This local training strategy substantially reduces the communication burden while maintaining coordination across the network. We establish finite-time convergence analysis for the algorithm under Markov-sampling. Specifically, to attain the $\varepsilon$-accurate stationary point, the sample complexity is of order $\mathcal{O}(\varepsilon^{-3})$ and the communication complexity is of order $\mathcal{O}(\varepsilon^{-1}\tau^{-1})$, where tau denotes the number of local training steps. We also show how the final error bound depends on the neural network's approximation quality. Numerical experiments in a cooperative control setting illustrate and validate the theoretical findings.
• Abstract（参考訳）: 本稿では,エージェント間の通信が制限されたマルチエージェントシステムにおける強化学習の問題について検討する。 我々は,各エージェントが複数のポリシーと値関数をローカルに更新し,後者を多層ニューラルネットワークで近似し,隣人と情報を交換する分散アクタ批判学習フレームワークを開発する。 このローカルトレーニング戦略は、ネットワーク間の協調を維持しながら、通信負担を大幅に削減する。 我々はマルコフ・サンプリングの下でアルゴリズムの有限時間収束解析を確立する。 具体的には、$\varepsilon$-正確な定常点を達成するために、サンプル複雑性は$\mathcal{O}(\varepsilon^{-3})$で、通信複雑性は$\mathcal{O}(\varepsilon^{-1}\tau^{-1})$である。 また、最終的なエラーがニューラルネットワークの近似品質に依存するかを示す。 協調制御設定における数値実験は、理論的な結果を示し、検証する。

関連論文リスト

• Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [86.99017195607077]
  統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。 我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
  論文  参考訳（メタデータ） (2024-04-04T06:24:11Z)
• INTERACT: Achieving Low Sample and Communication Complexities in Decentralized Bilevel Learning over Networks [24.02913189682224]
  分散化された双方向最適化問題は、ネットワーク機械学習コミュニティで注目を集めている。 低サンプリングと通信の複雑さは、未調査のままである2つの基本的な課題である。 我々の研究は、ネットワーク上の分散化された二段階最適化問題を解決するために、低サンプリングと通信の複雑さの両方を初めて解決した。
  論文  参考訳（メタデータ） (2022-07-27T04:19:28Z)
• On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network [55.56019538079826]
  バイレベル最適化は、幅広い機械学習モデルに適用されている。 既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。 そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-30T05:29:52Z)
• Decentralized Gossip-Based Stochastic Bilevel Optimization over Communication Networks [42.76623191830371]
  本稿では,ゴシップに基づく分散二段階最適化アルゴリズムを提案する。 エージェントはネットワークと外部の両方の問題を一度に解くことができる。 我々のアルゴリズムは最先端の効率とテスト精度を達成する。
  論文  参考訳（メタデータ） (2022-06-22T06:38:54Z)
• Acceleration in Distributed Optimization Under Similarity [72.54787082152278]
  集中ノードを持たないエージェントネットワーク上での分散(強い凸)最適化問題について検討する。 $varepsilon$-solutionは$tildemathcalrhoObig(sqrtfracbeta/mu (1-)log1/varepsilonbig)$通信ステップ数で達成される。 この速度は、関心のクラスに適用される分散ゴシップ-アルゴリズムの、初めて(ポリログ因子まで)より低い複雑性の通信境界と一致する。
  論文  参考訳（メタデータ） (2021-10-24T04:03:00Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Multi-Agent Off-Policy TD Learning: Finite-Time Analysis with Near-Optimal Sample Complexity and Communication Complexity [13.100926925535578]
  マルチエージェントオフポリシーTD学習のための2つの分散型TD補正(TDC)アルゴリズムを開発しています。 提案アルゴリズムは,エージェントの行動,ポリシー,報酬の完全なプライバシを保持し,サンプリングのばらつきと通信頻度を低減するためにミニバッチサンプリングを採用する。
  論文  参考訳（メタデータ） (2021-03-24T12:48:08Z)
• Communication-efficient Decentralized Local SGD over Undirected Networks [2.3572498744567123]
  我々は、$n$エージェントのネットワークがグローバル関数$F$を最小化しようとする分散学習問題を考察する。 通信ラウンド数と各エージェントの計算労力のトレードオフを分析する。 その結果,R=Omega(n)$通信ラウンドのみを用いることで,O(1/nT)$というスケールの誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2020-11-06T09:34:00Z)
• A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning [49.15799302636519]
  我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。 我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。 本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-29T13:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。