論文の概要: Zeroth-order Asynchronous Learning with Bounded Delays with a Use-case
in Resource Allocation in Communication Networks
- arxiv url: http://arxiv.org/abs/2311.04604v1
- Date: Wed, 8 Nov 2023 11:12:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-09 15:59:26.286660
- Title: Zeroth-order Asynchronous Learning with Bounded Delays with a Use-case
in Resource Allocation in Communication Networks
- Title（参考訳）: 通信ネットワークにおけるリソース割当を考慮した境界遅延によるゼロ階非同期学習
- Authors: Pourya Behmandpoor, Marc Moonen, Panagiotis Patrinos
- Abstract要約: 本稿では、エージェントが個別のタスクを持ちながら、統一されたミッションに向けて協力するシナリオに焦点を当てる。
この文脈において、エージェントの目的は、局所的な報酬関数の集合に基づいて、それらの局所パラメータを最適化することである。
本稿では,理論収束解析を行い,提案手法の収束率を確立する。
- 参考スコア（独自算出の注目度）: 12.216015676346032
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributed optimization has experienced a significant surge in interest due
to its wide-ranging applications in distributed learning and adaptation. While
various scenarios, such as shared-memory, local-memory, and consensus-based
approaches, have been extensively studied in isolation, there remains a need
for further exploration of their interconnections. This paper specifically
concentrates on a scenario where agents collaborate toward a unified mission
while potentially having distinct tasks. Each agent's actions can potentially
impact other agents through interactions. Within this context, the objective
for the agents is to optimize their local parameters based on the aggregate of
local reward functions, where only local zeroth-order oracles are available.
Notably, the learning process is asynchronous, meaning that agents update and
query their zeroth-order oracles asynchronously while communicating with other
agents subject to bounded but possibly random communication delays. This paper
presents theoretical convergence analyses and establishes a convergence rate
for the proposed approach. Furthermore, it addresses the relevant issue of deep
learning-based resource allocation in communication networks and conducts
numerical experiments in which agents, acting as transmitters, collaboratively
train their individual (possibly unique) policies to maximize a common
performance metric.
- Abstract（参考訳）: 分散最適化は、分散学習と適応における幅広い応用のために、大きな関心を集めている。
共有メモリ、ローカルメモリ、コンセンサスベースのアプローチといった様々なシナリオは独立して研究されてきたが、相互接続をさらに探究する必要がある。
本稿では、エージェントが統合されたミッションに向けて協力し、異なるタスクをこなすシナリオに特に焦点をあてる。
各エージェントのアクションは、インタラクションを通じて他のエージェントに影響を及ぼす可能性がある。
このコンテキスト内では、エージェントの目標は、ローカルのゼロ次オラクルのみが利用できるローカル報酬関数の集約に基づいて、ローカルパラメータを最適化することである。
特に、学習プロセスは非同期であり、つまりエージェントは、有界でランダムな通信遅延を受けた他のエージェントと通信しながら、ゼロ階のオーラクルを非同期に更新し、クエリする。
本稿では,理論収束解析を行い,提案手法の収束率を確立する。
さらに,コミュニケーションネットワークにおける深層学習に基づく資源配分の問題にも対処し,エージェントがトランスミッターとして,個々の(おそらくユニークな)ポリシーを協調的に訓練し,共通のパフォーマンス指標を最大化する数値実験を行う。
関連論文リスト
- Decentralized and Lifelong-Adaptive Multi-Agent Collaborative Learning [57.652899266553035]
分散型および生涯適応型多エージェント協調学習は、中央サーバを使わずに複数のエージェント間のコラボレーションを強化することを目的としている。
動的協調グラフを用いた分散マルチエージェント生涯協調学習アルゴリズムであるDeLAMAを提案する。
論文 参考訳（メタデータ） (2024-03-11T09:21:11Z) - Asynchronous Local Computations in Distributed Bayesian Learning [8.516532665507835]
本稿では,高速な計算と通信オーバヘッドを同時に低減するために,ゴシップに基づく通信を提案する。
我々は、特に低データ範囲において、より高速な初期収束と性能精度の向上を観察する。
UCI MLレポジトリのガンマ望遠鏡とmHealthデータセットで,それぞれ平均78%,90%以上の分類精度を達成した。
論文 参考訳（メタデータ） (2023-11-06T20:11:41Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Personalized Decentralized Multi-Task Learning Over Dynamic
Communication Graphs [59.96266198512243]
本稿では,正と負の相関関係を持つタスクに対する分散・フェデレーション学習アルゴリズムを提案する。
本アルゴリズムでは,タスク間の相関関係を自動的に計算し,コミュニケーショングラフを動的に調整して相互に有益なタスクを接続し,互いに悪影響を及ぼす可能性のあるタスクを分離する。
合成ガウスデータセットと大規模セレブ属性(CelebA)データセットについて実験を行った。
論文 参考訳（メタデータ） (2022-12-21T18:58:24Z) - Distributed Adaptive Learning Under Communication Constraints [54.22472738551687]
本研究では,コミュニケーション制約下での運用を目的とした適応型分散学習戦略について検討する。
我々は,ストリーミングデータの連続的な観察から,オンライン最適化問題を解決しなければならないエージェントのネットワークを考える。
論文 参考訳（メタデータ） (2021-12-03T19:23:48Z) - Cost-Effective Federated Learning in Mobile Edge Networks [37.16466118235272]
フェデレートラーニング(FL)は、多くのモバイルデバイスが生データを共有せずに協調的にモデルを学習できる分散ラーニングパラダイムである。
本研究は,モバイルエッジネットワークにおける適応FLの設計手法を解析し,本質的な制御変数を最適に選択し,総コストを最小化する。
我々は,収束関連未知パラメータを学習するために,低コストなサンプリングベースアルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-09-12T03:02:24Z) - Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。
提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。
シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
論文 参考訳（メタデータ） (2020-10-06T16:51:09Z) - Jointly Optimizing Dataset Size and Local Updates in Heterogeneous
Mobile Edge Learning [11.191719032853527]
本稿では、リソース制約のある無線エッジを介して接続された学習者を対象に訓練された分散機械学習(ML)モデルの精度を最大化する。
我々は,各学習者の不均一なコミュニケーションと計算能力を考慮して,ローカル/グローバルな更新数とタスクサイズ割り当てを共同で最適化し,損失を最小限に抑える。
論文 参考訳（メタデータ） (2020-06-12T18:19:20Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳（メタデータ） (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。