論文の概要: Zeroth-order Asynchronous Learning with Bounded Delays with a Use-case
in Resource Allocation in Communication Networks
- arxiv url: http://arxiv.org/abs/2311.04604v1
- Date: Wed, 8 Nov 2023 11:12:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-09 15:59:26.286660
- Title: Zeroth-order Asynchronous Learning with Bounded Delays with a Use-case
in Resource Allocation in Communication Networks
- Title(参考訳): 通信ネットワークにおけるリソース割当を考慮した境界遅延によるゼロ階非同期学習
- Authors: Pourya Behmandpoor, Marc Moonen, Panagiotis Patrinos
- Abstract要約: 本稿では、エージェントが個別のタスクを持ちながら、統一されたミッションに向けて協力するシナリオに焦点を当てる。
この文脈において、エージェントの目的は、局所的な報酬関数の集合に基づいて、それらの局所パラメータを最適化することである。
本稿では,理論収束解析を行い,提案手法の収束率を確立する。
- 参考スコア(独自算出の注目度): 12.216015676346032
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributed optimization has experienced a significant surge in interest due
to its wide-ranging applications in distributed learning and adaptation. While
various scenarios, such as shared-memory, local-memory, and consensus-based
approaches, have been extensively studied in isolation, there remains a need
for further exploration of their interconnections. This paper specifically
concentrates on a scenario where agents collaborate toward a unified mission
while potentially having distinct tasks. Each agent's actions can potentially
impact other agents through interactions. Within this context, the objective
for the agents is to optimize their local parameters based on the aggregate of
local reward functions, where only local zeroth-order oracles are available.
Notably, the learning process is asynchronous, meaning that agents update and
query their zeroth-order oracles asynchronously while communicating with other
agents subject to bounded but possibly random communication delays. This paper
presents theoretical convergence analyses and establishes a convergence rate
for the proposed approach. Furthermore, it addresses the relevant issue of deep
learning-based resource allocation in communication networks and conducts
numerical experiments in which agents, acting as transmitters, collaboratively
train their individual (possibly unique) policies to maximize a common
performance metric.
- Abstract(参考訳): 分散最適化は、分散学習と適応における幅広い応用のために、大きな関心を集めている。
共有メモリ、ローカルメモリ、コンセンサスベースのアプローチといった様々なシナリオは独立して研究されてきたが、相互接続をさらに探究する必要がある。
本稿では、エージェントが統合されたミッションに向けて協力し、異なるタスクをこなすシナリオに特に焦点をあてる。
各エージェントのアクションは、インタラクションを通じて他のエージェントに影響を及ぼす可能性がある。
このコンテキスト内では、エージェントの目標は、ローカルのゼロ次オラクルのみが利用できるローカル報酬関数の集約に基づいて、ローカルパラメータを最適化することである。
特に、学習プロセスは非同期であり、つまりエージェントは、有界でランダムな通信遅延を受けた他のエージェントと通信しながら、ゼロ階のオーラクルを非同期に更新し、クエリする。
本稿では,理論収束解析を行い,提案手法の収束率を確立する。
さらに,コミュニケーションネットワークにおける深層学習に基づく資源配分の問題にも対処し,エージェントがトランスミッターとして,個々の(おそらくユニークな)ポリシーを協調的に訓練し,共通のパフォーマンス指標を最大化する数値実験を行う。
関連論文リスト
- Decentralized and Lifelong-Adaptive Multi-Agent Collaborative Learning [57.652899266553035]
分散型および生涯適応型多エージェント協調学習は、中央サーバを使わずに複数のエージェント間のコラボレーションを強化することを目的としている。
動的協調グラフを用いた分散マルチエージェント生涯協調学習アルゴリズムであるDeLAMAを提案する。
論文 参考訳(メタデータ) (2024-03-11T09:21:11Z) - Communication-Efficient Zeroth-Order Distributed Online Optimization:
Algorithm, Theory, and Applications [9.045332526072828]
本稿では,目標追跡のためのフェデレーション学習環境におけるマルチエージェントゼロ階オンライン最適化問題に焦点を当てる。
提案手法は、2つの関連するアプリケーションにおけるエラーとエラーの観点からさらに解析される。
論文 参考訳(メタデータ) (2023-06-09T03:51:45Z) - Exact Subspace Diffusion for Decentralized Multitask Learning [17.592204922442832]
マルチタスク学習のための分散戦略は、よりニュアンスな方法でエージェント間の関係を誘導し、コンセンサスを強制せずにコラボレーションを促進する。
本研究では,ネットワーク上の部分空間制約付きマルチタスク学習のための正確な拡散アルゴリズムの一般化を開発し,その平均二乗偏差の正確な式を導出する。
予測された性能表現の精度を数値的に検証するとともに,近似予測に基づく代替案に対する提案手法の性能向上を検証した。
論文 参考訳(メタデータ) (2023-04-14T19:42:19Z) - Compressed Regression over Adaptive Networks [58.79251288443156]
分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。
エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
論文 参考訳(メタデータ) (2023-04-07T13:41:08Z) - Policy Evaluation in Decentralized POMDPs with Belief Sharing [39.550233049869036]
エージェントが直接環境状態を観察しないような協調的政策評価タスクについて検討する。
本稿では,コミュニケーションネットワーク上での個別更新と局所的インタラクションに依存する,完全に分散化された信念形成戦略を提案する。
論文 参考訳(メタデータ) (2023-02-08T15:54:15Z) - Universally Expressive Communication in Multi-Agent Reinforcement
Learning [6.086083595135936]
与えられた通信プロトコルが任意のポリシーを表現できるかどうかという問題を考察する。
標準のGNNアプローチは表現能力に十分制限されているため,(1)一意なエージェントIDと(2)ランダムノイズによるエージェント観察の増強を検討する。
我々は,これらの手法が普遍的に表現力のあるコミュニケーションをいかに生み出すかの理論分析を行い,同一のエージェントに対する任意の行動群を対象とすることができることを証明した。
論文 参考訳(メタデータ) (2022-06-14T11:16:33Z) - Distributed Adaptive Learning Under Communication Constraints [54.22472738551687]
本研究では,コミュニケーション制約下での運用を目的とした適応型分散学習戦略について検討する。
我々は,ストリーミングデータの連続的な観察から,オンライン最適化問題を解決しなければならないエージェントのネットワークを考える。
論文 参考訳(メタデータ) (2021-12-03T19:23:48Z) - Finite-Time Consensus Learning for Decentralized Optimization with
Nonlinear Gossiping [77.53019031244908]
本稿では,非線形ゴシップ(NGO)に基づく分散学習フレームワークを提案する。
コミュニケーション遅延とランダム化チャットが学習にどう影響するかを解析することで,実践的なバリエーションの導出が可能となる。
論文 参考訳(メタデータ) (2021-11-04T15:36:25Z) - Distributed Bayesian Online Learning for Cooperative Manipulation [9.582645137247667]
ベイズ原理を用いた協調操作の模範的タスクのための新しい分散学習フレームワークを提案する。
各エージェントは、局所状態情報のみを使用して、オブジェクトダイナミクスの推定を取得し、キネマティクスを把握する。
対象のダイナミクスと把持キネマティックスの各々の推定には不確実性の尺度が伴うため、高い確率で有界な予測誤差を保証できる。
論文 参考訳(メタデータ) (2021-04-09T13:03:09Z) - Exploring Zero-Shot Emergent Communication in Embodied Multi-Agent
Populations [59.608216900601384]
本研究では,3次元環境下で関節を作動させることでコミュニケーションを学ぶエージェントについて検討する。
現実的な仮定、意図の非一様分布、共通知識エネルギーコストにおいて、これらのエージェントは新規パートナーに一般化するプロトコルを見つけることができることを示す。
論文 参考訳(メタデータ) (2020-10-29T19:23:10Z) - Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。
提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。
シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
論文 参考訳(メタデータ) (2020-10-06T16:51:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。