論文の概要: A Multi-Agent Multi-Environment Mixed Q-Learning for Partially Decentralized Wireless Network Optimization
- arxiv url: http://arxiv.org/abs/2409.16450v1
- Date: Tue, 24 Sep 2024 20:34:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-27 08:21:10.146906
- Title: A Multi-Agent Multi-Environment Mixed Q-Learning for Partially Decentralized Wireless Network Optimization
- Title（参考訳）: 部分分散無線ネットワーク最適化のためのマルチエージェント混在Qラーニング
- Authors: Talha Bozkus, Urbashi Mitra,
- Abstract要約: 複数の移動体送信機(TX)と基地局(BS)を備えた部分分散無線ネットワークのための新しいマルチエージェントMEMQアルゴリズムを提案する。
提案手法は集中型MEMQよりも50%高速で、平均ポリシエラー(APE)は20%増加し、APEを40%削減した先進的な分散Q-ラーニングアルゴリズムよりも25%高速である。
- 参考スコア（独自算出の注目度）: 18.035417008213077
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Q-learning is a powerful tool for network control and policy optimization in wireless networks, but it struggles with large state spaces. Recent advancements, like multi-environment mixed Q-learning (MEMQ), improves performance and reduces complexity by integrating multiple Q-learning algorithms across multiple related environments so-called digital cousins. However, MEMQ is designed for centralized single-agent networks and is not suitable for decentralized or multi-agent networks. To address this challenge, we propose a novel multi-agent MEMQ algorithm for partially decentralized wireless networks with multiple mobile transmitters (TXs) and base stations (BSs), where TXs do not have access to each other's states and actions. In uncoordinated states, TXs act independently to minimize their individual costs. In coordinated states, TXs use a Bayesian approach to estimate the joint state based on local observations and share limited information with leader TX to minimize joint cost. The cost of information sharing scales linearly with the number of TXs and is independent of the joint state-action space size. The proposed scheme is 50% faster than centralized MEMQ with only a 20% increase in average policy error (APE) and is 25% faster than several advanced decentralized Q-learning algorithms with 40% less APE. The convergence of the algorithm is also demonstrated.
- Abstract（参考訳）: Q-learningは、無線ネットワークにおけるネットワーク制御とポリシー最適化のための強力なツールであるが、大きな状態空間では苦労している。
マルチ環境混合Q-ラーニング(MEMQ)のような最近の進歩は、複数の関連する環境をまたいだ複数のQ-ラーニングアルゴリズムを統合することで、パフォーマンスを改善し、複雑さを低減する。
しかし、MEMQは集中型単一エージェントネットワーク用に設計されており、分散化やマルチエージェントネットワークには適していない。
この課題に対処するために,複数の移動体送信機 (TX) と基地局 (BS) を持つ部分分散無線ネットワークのための新しいマルチエージェントMEMQアルゴリズムを提案する。
非協調状態においては、TXは個々のコストを最小限に抑えるために独立に作用する。
協調状態においては、TXは局所的な観測に基づいて結合状態を推定するためにベイズ的アプローチを使用し、共同コストを最小限に抑えるためにリーダーTXと限られた情報を共有する。
情報共有のコストは、TXの個数と線形にスケールし、共同状態-作用空間サイズとは無関係である。
提案手法は集中型MEMQよりも50%高速で、平均ポリシエラー(APE)は20%増加し、APEを40%削減した先進的な分散Q-ラーニングアルゴリズムよりも25%高速である。
アルゴリズムの収束性も示される。
関連論文リスト
- Coverage Analysis for Digital Cousin Selection -- Improving Multi-Environment Q-Learning [24.212773534280387]
近年の進歩としては、マルチ環境混合Q-ラーニング(MEMQ)アルゴリズムがある。
MEMQアルゴリズムは、精度、複雑さ、堅牢性の点で、最先端のQ-ラーニングアルゴリズムよりも優れています。
本稿では,既存のMEMQアルゴリズムの精度と複雑さを改善するために,新しいCCベースのMEMQアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-11-13T06:16:12Z) - Federated Learning for Energy-limited Wireless Networks: A Partial Model
Aggregation Approach [79.59560136273917]
デバイス間の限られた通信資源、帯域幅とエネルギー、およびデータ不均一性は、連邦学習(FL)の主要なボトルネックである
まず、部分モデルアグリゲーション(PMA)を用いた新しいFLフレームワークを考案する。
提案されたPMA-FLは、2つの典型的な異種データセットにおいて2.72%と11.6%の精度を改善する。
論文 参考訳（メタデータ） (2022-04-20T19:09:52Z) - Collaborative Intelligent Reflecting Surface Networks with Multi-Agent
Reinforcement Learning [63.83425382922157]
インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。
本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
論文 参考訳（メタデータ） (2022-03-26T20:37:14Z) - Asynchronous Parallel Incremental Block-Coordinate Descent for
Decentralized Machine Learning [55.198301429316125]
機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。
急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。
本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
論文 参考訳（メタデータ） (2022-02-07T15:04:15Z) - CDMA: A Practical Cross-Device Federated Learning Algorithm for General
Minimax Problems [21.595391808043484]
ミニマックス問題は、堅牢な敵対学習やGAN(Generative Adversarial Network)トレーニングを含む、幅広い重要な応用で発生する。
我々は,クロスデバイスFL設定における汎用ミニマックス問題に対して,CDMAと呼ばれる最初の実用的アルゴリズムを開発した。
CDMAはStart-Immediately-With-Enough-Ensponsesメカニズムに基づいており、サーバはまずクライアントのサブセットに信号を送り、各ラウンドで十分なクライアントから応答を受けたときにクライアントが報告したローカル結果の集約を開始する。
論文 参考訳（メタデータ） (2021-05-29T05:18:02Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z) - Scheduling Policy and Power Allocation for Federated Learning in NOMA
Based MEC [21.267954799102874]
Federated Learning(FL)は、データ分散を維持しながらモデルを集中的にトレーニングできる、高度に追求された機械学習技術である。
重み付き和データレートを最大化するために、非直交多重アクセス(NOMA)設定を用いた新しいスケジューリングポリシーと電力割当方式を提案する。
シミュレーションの結果,提案手法は,NOMAベースの無線ネットワークにおいて高いFLテスト精度を実現するのに有効であることがわかった。
論文 参考訳（メタデータ） (2020-06-21T23:07:41Z) - F2A2: Flexible Fully-decentralized Approximate Actor-critic for
Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。
本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。
当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
論文 参考訳（メタデータ） (2020-04-17T14:56:29Z) - Multi-agent Reinforcement Learning for Resource Allocation in IoT
networks with Edge Computing [16.129649374251088]
エンドユーザーが計算をオフロードするのは、スペクトルとリソースに対する大きな要求のためである。
本稿では,IoTエッジコンピューティングネットワークにおけるリソース割り当てを伴うオフロード機構をゲームとして定式化することによって検討する。
論文 参考訳（メタデータ） (2020-04-05T20:59:20Z) - Monotonic Value Function Factorisation for Deep Multi-Agent
Reinforcement Learning [55.20040781688844]
QMIXは、中央集権的なエンドツーエンドで分散ポリシーをトレーニングできる新しい価値ベースの手法である。
深層多エージェント強化学習のための新しいベンチマークとして,StarCraft Multi-Agent Challenge (SMAC)を提案する。
論文 参考訳（メタデータ） (2020-03-19T16:51:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。