論文の概要: Structured Reinforcement Learning for Delay-Optimal Data Transmission in Dense mmWave Networks
- arxiv url: http://arxiv.org/abs/2404.16920v1
- Date: Thu, 25 Apr 2024 17:26:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-29 14:54:11.615433
- Title: Structured Reinforcement Learning for Delay-Optimal Data Transmission in Dense mmWave Networks
- Title（参考訳）: 重み付きミリ波ネットワークにおける遅延最適データ伝送のための構造強化学習
- Authors: Shufan Wang, Guojun Xiong, Shichen Zhang, Huacheng Zeng, Jian Li, Shivendra Panwar,
- Abstract要約: 本研究では,高密度セルフリーミリ波(mmWave)ネットワークにおけるデータパケット伝送問題(mmDPT)について検討する。
我々の目標は、APsのサービス容量の制限とAPとユーザ間の無線チャネルによるシステムの遅延を最小化することである。
- 参考スコア（独自算出の注目度）: 16.503911829712717
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the data packet transmission problem (mmDPT) in dense cell-free millimeter wave (mmWave) networks, i.e., users sending data packet requests to access points (APs) via uplinks and APs transmitting requested data packets to users via downlinks. Our objective is to minimize the average delay in the system due to APs' limited service capacity and unreliable wireless channels between APs and users. This problem can be formulated as a restless multi-armed bandits problem with fairness constraint (RMAB-F). Since finding the optimal policy for RMAB-F is intractable, existing learning algorithms are computationally expensive and not suitable for practical dynamic dense mmWave networks. In this paper, we propose a structured reinforcement learning (RL) solution for mmDPT by exploiting the inherent structure encoded in RMAB-F. To achieve this, we first design a low-complexity and provably asymptotically optimal index policy for RMAB-F. Then, we leverage this structure information to develop a structured RL algorithm called mmDPT-TS, which provably achieves an \tilde{O}(\sqrt{T}) Bayesian regret. More importantly, mmDPT-TS is computation-efficient and thus amenable to practical implementation, as it fully exploits the structure of index policy for making decisions. Extensive emulation based on data collected in realistic mmWave networks demonstrate significant gains of mmDPT-TS over existing approaches.
- Abstract（参考訳）: 本研究では,高密度セルフリーミリ波(mmWave)ネットワークにおけるデータパケット送信問題(mmDPT)について検討する。
我々の目標は、APsの限られたサービス容量と、APとユーザ間の信頼性の低い無線チャネルにより、システムの平均遅延を最小限にすることである。
この問題は、フェアネス制約(RMAB-F)を伴うレスレスマルチアームバンディット問題として定式化することができる。
RMAB-Fの最適ポリシーを見つけることは困難であるため、既存の学習アルゴリズムは計算コストが高く、実用的な高密度ミリ波ネットワークには適さない。
本稿では、RMAB-Fで符号化された固有構造を利用して、mmDPTのための構造強化学習(RL)ソリューションを提案する。
そこで我々はまず,RMAB-Fのための低複雑さかつ漸近的に最適な指標ポリシーを設計する。
そこで我々は,この構造情報を利用してmmDPT-TSと呼ばれる構造的RLアルゴリズムを開発し,ベイズ的後悔を証明できることを示す。
さらに重要なことは、mDPT-TSは計算効率が良く、意思決定のためにインデックスポリシーの構造を完全に活用するため、実用的な実装に適している。
現実的なmmWaveネットワークで収集されたデータに基づく広範囲なエミュレーションは、既存のアプローチに比べて、mDPT-TSの顕著な増加を示している。
関連論文リスト
- Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳（メタデータ） (2023-09-12T13:03:47Z) - Beam Management in Ultra-dense mmWave Network via Federated
Reinforcement Learning: An Intelligent and Secure Approach [19.01563068819449]
超高密度ミリ波ネットワーク(UDmmWave)の鍵となる課題は、高伝搬遅延制限ビームカバレッジによるビーム管理である。
本稿では,ユーザプライバシを理論的に保護し,ハンドオフコストを低減できる新しいビーム管理手法を提案する。
論文 参考訳（メタデータ） (2022-10-04T01:47:33Z) - Learning OFDM Waveforms with PAPR and ACLR Constraints [15.423422040627331]
達成可能な情報レートを最大化しつつ,選択した制約を満たすOFDMベースの波形を設計するための学習ベース手法を提案する。
エンドツーエンドシステムは,PAPRとACLRの制約を満たすことができ,スループットを著しく向上させることができることを示す。
論文 参考訳（メタデータ） (2021-10-21T08:58:59Z) - Unit-Modulus Wireless Federated Learning Via Penalty Alternating
Minimization [64.76619508293966]
Wireless Federated Learning(FL)は、分散データセットから無線通信を介してグローバルパラメトリックモデルをトレーニングする、新興機械学習パラダイムである。
本稿では、ローカルモデルパラメータをアップロードし、無線通信を介してグローバルモデルパラメータを算出する無線FLフレームワークを提案する。
論文 参考訳（メタデータ） (2021-08-31T08:19:54Z) - Low-Latency Federated Learning over Wireless Channels with Differential
Privacy [142.5983499872664]
フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。
本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
論文 参考訳（メタデータ） (2021-06-20T13:51:18Z) - Ultra-Reliable Indoor Millimeter Wave Communications using Multiple
Artificial Intelligence-Powered Intelligent Surfaces [115.85072043481414]
複数人工知能(AI)対応再構成可能なインテリジェントサーフェス(RIS)を用いた超信頼性ミリ波(mmW)通信を保証する新しいフレームワークを提案する。
複数のAI駆動RISを使用することで、mmWアクセスポイント(AP)から送信される信号の伝搬方向を変更できます。
mmW APとRISのポリシーを制御するために、2つの集中型および分散コントローラが提案されている。
論文 参考訳（メタデータ） (2021-03-31T19:15:49Z) - Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels [69.18343801164741]
パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
論文 参考訳（メタデータ） (2020-10-08T15:27:50Z) - Optimization-driven Deep Reinforcement Learning for Robust Beamforming
in IRS-assisted Wireless Communications [54.610318402371185]
Intelligent Reflecting Surface (IRS)は、マルチアンテナアクセスポイント(AP)から受信機へのダウンリンク情報伝達を支援する有望な技術である。
我々は、APのアクティブビームフォーミングとIRSのパッシブビームフォーミングを共同最適化することで、APの送信電力を最小化する。
過去の経験からビームフォーミング戦略に適応できる深層強化学習(DRL)手法を提案する。
論文 参考訳（メタデータ） (2020-05-25T01:42:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。