論文の概要: Cooperative Multi-Agent Reinforcement Learning Based Distributed Dynamic
Spectrum Access in Cognitive Radio Networks
- arxiv url: http://arxiv.org/abs/2106.09274v1
- Date: Thu, 17 Jun 2021 06:52:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-18 15:42:23.252483
- Title: Cooperative Multi-Agent Reinforcement Learning Based Distributed Dynamic
Spectrum Access in Cognitive Radio Networks
- Title（参考訳）: 認知無線ネットワークにおける協調的マルチエージェント強化学習に基づく分散動的スペクトルアクセス
- Authors: Xiang Tan, Li Zhou, Haijun Wang, Yuli Sun, Haitao Zhao, Boon-Chong
Seet, Jibo Wei and Victor C.M. Leung
- Abstract要約: ダイナミックスペクトルアクセス(DSA)は、非効率的なスペクトル利用の問題を改善するための、有望なパラダイムである。
本稿では,一般的な認知無線ネットワークにおけるマルチユーザに対する分散DSA問題について検討する。
我々は、各認知ユーザに対する状態の部分的観測可能性に対処するために、DRQN(Deep Recurrent Q-network)を用いている。
- 参考スコア（独自算出の注目度）: 46.723006378363785
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the development of the 5G and Internet of Things, amounts of wireless
devices need to share the limited spectrum resources. Dynamic spectrum access
(DSA) is a promising paradigm to remedy the problem of inefficient spectrum
utilization brought upon by the historical command-and-control approach to
spectrum allocation. In this paper, we investigate the distributed DSA problem
for multi-user in a typical multi-channel cognitive radio network. The problem
is formulated as a decentralized partially observable Markov decision process
(Dec-POMDP), and we proposed a centralized off-line training and distributed
on-line execution framework based on cooperative multi-agent reinforcement
learning (MARL). We employ the deep recurrent Q-network (DRQN) to address the
partial observability of the state for each cognitive user. The ultimate goal
is to learn a cooperative strategy which maximizes the sum throughput of
cognitive radio network in distributed fashion without coordination information
exchange between cognitive users. Finally, we validate the proposed algorithm
in various settings through extensive experiments. From the simulation results,
we can observe that the proposed algorithm can converge fast and achieve almost
the optimal performance.
- Abstract（参考訳）: 5GとInternet of Thingsの開発により、無線デバイスは限られたスペクトル資源を共有する必要がある。
動的スペクトルアクセス(dsa)は、過去のスペクトル割り当てに対する指令制御アプローチによってもたらされた非効率的なスペクトル利用の問題を改善するための有望なパラダイムである。
本稿では,典型的なマルチチャネル認知無線ネットワークにおけるマルチユーザに対する分散DSA問題について検討する。
この問題は分散部分可観測マルコフ決定プロセス(dec-pomdp)として定式化されており,協調型マルチエージェント強化学習(marl)に基づく集中型オフライントレーニングと分散オンライン実行フレームワークを提案する。
我々は,認知的ユーザ毎に状態の部分的可観測性に対処するために,deep recurrent q-network (drqn) を用いる。
最終目標は,認知的ユーザ間の情報交換を調整せずに,認知無線ネットワークの総スループットを分散的に最大化する協調戦略を学習することである。
最後に,提案アルゴリズムを広範囲な実験により様々な設定で検証する。
シミュレーション結果から,提案アルゴリズムが高速に収束し,ほぼ最適性能が得られることを示した。
関連論文リスト
- Decentralized multi-agent reinforcement learning algorithm using a cluster-synchronized laser network [1.124958340749622]
競合するマルチアームバンディット問題に対処するフォトニクスに基づく意思決定アルゴリズムを提案する。
シミュレーションにより,光結合型レーザーのカオス振動とクラスタ同期,分散結合調整,探索と利用の効率向上が示された。
論文 参考訳（メタデータ） (2024-07-12T09:38:47Z) - Multi-Agent Hybrid SAC for Joint SS-DSA in CRNs [17.162697767466085]
機会論的スペクトルアクセスは、認知無線ネットワーク(CRN)におけるスペクトル利用の効率を高める可能性がある
CRNでは、スペクトルセンシングとリソース割り当て(SSRA)の両方がシステムスループットの最大化に不可欠である。
我々は,ハイブリッドソフトアクター批評家MHSACのマルチエージェント実装を開発した。
論文 参考訳（メタデータ） (2024-04-22T16:30:03Z) - Decentralized Learning over Wireless Networks: The Effect of Broadcast
with Random Access [56.91063444859008]
本稿では,D-SGDのコンバージェンス性能に及ぼす放送送信と確率的ランダムアクセスポリシーの影響について検討する。
この結果から,アクセス確率を最適化し,期待されるリンク数の最大化が,システム収束を加速するための極めて効果的な戦略であることが示唆された。
論文 参考訳（メタデータ） (2023-05-12T10:32:26Z) - MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion
Control in Real Networks [63.24965775030673]
そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。
我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。
我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
論文 参考訳（メタデータ） (2023-02-02T18:27:20Z) - Semantic-Aware Collaborative Deep Reinforcement Learning Over Wireless
Cellular Networks [82.02891936174221]
複数のエージェントが無線ネットワーク上で協調できるコラボレーティブディープ強化学習(CDRL)アルゴリズムは有望なアプローチである。
本稿では,リソース制約のある無線セルネットワーク上で,意味的にリンクされたDRLタスクを持つ未学習エージェントのグループを効率的に協調させる,新しい意味認識型CDRL手法を提案する。
論文 参考訳（メタデータ） (2021-11-23T18:24:47Z) - A Deep Reinforcement Learning Framework for Contention-Based Spectrum
Sharing [31.640828282666245]
我々は、無許可の共有スペクトルで動作する基地局の分散競合に基づく媒体アクセスについて検討する。
各タイムスロットに2段階のマルコフ決定プロセスを導入し、スペクトルセンシングと受信品質の情報を用いて媒体アクセス決定を行う。
我々の定式化は、分散推論、オンライン適応性、および環境の一部的な可観測性を提供する。
論文 参考訳（メタデータ） (2021-10-05T03:00:33Z) - Distributed Deep Reinforcement Learning for Adaptive Medium Access and
Modulation in Shared Spectrum [42.54329256803276]
本研究では,非ライセンス共有スペクトルで動作する基地局の分散競合に基づく媒体アクセスについて検討する。
我々は,ネットワーク全体のダウンリンクスループットを最大化するために,競合と適応変調の両方のための学習に基づくアルゴリズムを考案した。
実証的に、政策勾配法によって蓄積された(比例的公正性)報酬は、ジェニーエイドによる適応エネルギー検出閾値よりも著しく高い。
論文 参考訳（メタデータ） (2021-09-24T03:33:45Z) - Distributed Deep Reinforcement Learning for Collaborative Spectrum
Sharing [29.23509739013885]
本稿では,中央管理を伴わない分散スペクトル協調の問題点について述べる。
ゲーム理論の洞察と深層Q-ラーニングを組み合わせることで,スペクトル協調問題に対する新たな最適解を提供する。
論文 参考訳（メタデータ） (2021-04-06T04:33:06Z) - Deep Multi-Task Learning for Cooperative NOMA: System Design and
Principles [52.79089414630366]
我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。
我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
論文 参考訳（メタデータ） (2020-07-27T12:38:37Z) - Modality Compensation Network: Cross-Modal Adaptation for Action
Recognition [77.24983234113957]
異なるモダリティの関係を探索するためのモダリティ補償ネットワーク(MCN)を提案する。
我々のモデルは、適応表現学習を実現するために、モーダリティ適応ブロックによって、ソースおよび補助モーダリティからのデータをブリッジする。
実験の結果,MCNは4つの広く使用されている行動認識ベンチマークにおいて,最先端のアプローチよりも優れていることがわかった。
論文 参考訳（メタデータ） (2020-01-31T04:51:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。