論文の概要: Joint Beamforming and Resource Allocation for Delay Optimization in RIS-Assisted OFDM Systems: A DRL Approach
- arxiv url: http://arxiv.org/abs/2506.03586v1
- Date: Wed, 04 Jun 2025 05:33:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-05 21:20:14.165736
- Title: Joint Beamforming and Resource Allocation for Delay Optimization in RIS-Assisted OFDM Systems: A DRL Approach
- Title（参考訳）: RIS支援OFDMシステムにおける複合ビームフォーミングと資源配分による遅延最適化:DRLアプローチ
- Authors: Yu Ma, Chongtao Guo, Le Liang, Xiao Li, Shi Jin,
- Abstract要約: 本稿では、ダウンリンク再構成可能なインテリジェントサーフェス(RIS)アシスト直交周波数分割多重化(OFDM)システムにおける相設計と資源配分問題について検討する。
混合作用空間を扱い, 状態空間次元を低減するために, ハイブリッド深部強化学習(DRL)手法を提案する。
シミュレーションの結果、提案アルゴリズムは平均遅延を著しく低減し、資源配分効率を向上し、ベースライン法と比較してシステムロバスト性と公正性が優れていることが示された。
- 参考スコア（独自算出の注目度）: 28.300241782442566
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper investigates a joint phase design and resource allocation problem in downlink reconfigurable intelligent surface (RIS)-assisted orthogonal frequency division multiplexing (OFDM) systems to optimize average delay, where data packets for each user arrive at the base station stochastically. The sequential optimization problem is inherently a Markov decision process (MDP), making it fall within the scope of reinforcement learning. To effectively handle the mixed action space and reduce the state space dimensionality, a hybrid deep reinforcement learning (DRL) approach is proposed. Specifically, proximal policy optimization (PPO)-$\Theta$ is employed to optimize RIS phase shift design, while PPO-N is responsible for subcarrier allocation decisions. To further mitigate the curse of dimensionality associated with subcarrier allocation, a multi-agent strategy is introduced to optimize subcarrier allocation indicater more efficiently. Moreover, to achieve more adaptive resource allocation and accurately capture network dynamics, key factors closely related to average delay, including the number of backlogged packets in buffers and the current packet arrivals, are incorporated into the state space. Furthermore, a transfer learning framework is introduced to enhance training efficiency and accelerate convergence. Simulation results demonstrate that the proposed algorithm significantly reduces average delay, enhances resource allocation efficiency, and achieves superior system robustness and fairness compared to baseline methods.
- Abstract（参考訳）: 本稿では、ダウンリンク再構成可能なインテリジェントサーフェス(RIS)を用いた直交周波数分割多重化(OFDM)システムにおいて、各ユーザのデータパケットが基地局に確率的に到着する平均遅延を最適化するための共同位相設計と資源配分問題について検討する。
逐次最適化問題は本質的にマルコフ決定過程(MDP)であり、強化学習の範囲内に収まる。
混合作用空間を効果的に処理し, 状態空間次元を低減するために, ハイブリッド深部強化学習(DRL)手法を提案する。
具体的には、PPO-$\Theta$はRIS位相シフト設計の最適化に使われ、PPO-Nはサブキャリア割り当て決定に責任がある。
サブキャリア割り当てに伴う次元性の呪いを緩和するため、マルチエージェント戦略を導入し、サブキャリア割り当て指示器をより効率的に最適化する。
さらに、より適応的なリソース割り当てを実現し、ネットワークダイナミクスを正確に捉えるために、バッファ内のバックログパケットの数や現在のパケット到着数など、平均遅延に密接に関連する重要な要素を状態空間に組み込む。
さらに、トレーニング効率を高め、収束を加速する転写学習フレームワークを導入する。
シミュレーションの結果,提案アルゴリズムは平均遅延を著しく低減し,資源配分効率を向上し,ベースライン法と比較してシステムロバスト性と公平性を向上することを示した。
関連論文リスト
- Diffusion Model Based Resource Allocation Strategy in Ultra-Reliable Wireless Networked Control Systems [10.177917426690701]
拡散モデルは、複雑なデータ分散をキャプチャするその能力を活用することによって、生成AIで大いに利用されている。
本稿では,無線ネットワーク制御システムのための新しい拡散モデルに基づく資源配分手法を提案する。
提案手法は,従来提案されていたDeep Reinforcement Learning (DRL) ベースの手法よりも高い性能を示し,全消費電力に関する最適性能を示した。
論文 参考訳（メタデータ） (2024-07-22T16:44:57Z) - Design Optimization of NOMA Aided Multi-STAR-RIS for Indoor Environments: A Convex Approximation Imitated Reinforcement Learning Approach [51.63921041249406]
非直交多重アクセス(Noma)により、複数のユーザが同じ周波数帯域を共有でき、同時に再構成可能なインテリジェントサーフェス(STAR-RIS)を送信および反射することができる。
STAR-RISを屋内に展開することは、干渉緩和、電力消費、リアルタイム設定における課題を提示する。
複数のアクセスポイント(AP)、STAR-RIS、NOMAを利用した新しいネットワークアーキテクチャが屋内通信のために提案されている。
論文 参考訳（メタデータ） (2024-06-19T07:17:04Z) - Intelligent Hybrid Resource Allocation in MEC-assisted RAN Slicing Network [72.2456220035229]
我々は,協調型MEC支援RANスライシングシステムにおける異種サービス要求に対するSSRの最大化を目指す。
最適ハイブリッドRAポリシーをインテリジェントに学習するためのRGRLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-05-02T01:36:13Z) - Proactive Resilient Transmission and Scheduling Mechanisms for mmWave
Networks [29.17280879786624]
本稿では、任意のミリ波(mmWave)ネットワークにおいて、複数の経路にまたがるトラフィックを適切に分散するレジリエント伝送機構を開発することを目的とする。
リンク障害に対するレジリエンスを実現するため,ネットワークを介した情報の流れに適応する最先端のソフトアクタ・クリティカルDRLについて検討した。
論文 参考訳（メタデータ） (2022-11-17T02:52:27Z) - Decentralized Federated Reinforcement Learning for User-Centric Dynamic
TFDD Control [37.54493447920386]
非対称かつ不均一なトラフィック要求を満たすための学習に基づく動的時間周波数分割二重化(D-TFDD)方式を提案する。
分散化された部分観測可能なマルコフ決定過程(Dec-POMDP)として問題を定式化する。
本稿では,グローバルリソースを分散的に最適化するために,Wolpertinger Deep Deterministic Policy gradient (FWDDPG)アルゴリズムという,連合強化学習(RL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-11-04T07:39:21Z) - MIX-MAB: Reinforcement Learning-based Resource Allocation Algorithm for
LoRaWAN [6.22984202194369]
本稿では,パケット配信率(PDR)の観点から資源配分アルゴリズムの改善に焦点をあてる。
そこで本稿では,EDが送信パラメータを分散的に設定できる資源割当アルゴリズムを提案する。
数値計算の結果,提案手法は収束時間やPDRの点で既存の手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-06-07T15:50:05Z) - Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels [69.18343801164741]
パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
論文 参考訳（メタデータ） (2020-10-08T15:27:50Z) - Resource Allocation via Model-Free Deep Learning in Free Space Optical
Communications [119.81868223344173]
本稿では,自由空間光学(FSO)通信におけるチャネルフェージング効果の緩和のための資源配分の一般的な問題について検討する。
本フレームワークでは,FSO資源割り当て問題を解決する2つのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-27T17:38:51Z) - Optimization-driven Deep Reinforcement Learning for Robust Beamforming
in IRS-assisted Wireless Communications [54.610318402371185]
Intelligent Reflecting Surface (IRS)は、マルチアンテナアクセスポイント(AP)から受信機へのダウンリンク情報伝達を支援する有望な技術である。
我々は、APのアクティブビームフォーミングとIRSのパッシブビームフォーミングを共同最適化することで、APの送信電力を最小化する。
過去の経験からビームフォーミング戦略に適応できる深層強化学習(DRL)手法を提案する。
論文 参考訳（メタデータ） (2020-05-25T01:42:55Z) - Stacked Auto Encoder Based Deep Reinforcement Learning for Online
Resource Scheduling in Large-Scale MEC Networks [44.40722828581203]
オンラインリソーススケジューリングフレームワークは、IoT(Internet of Things)の全ユーザに対して、重み付けされたタスクレイテンシの総和を最小化するために提案されている。
以下を含む深層強化学習(DRL)に基づく解法を提案する。
DRLがポリシーネットワークをトレーニングし、最適なオフロードポリシーを見つけるのを支援するために、保存および優先されたエクスペリエンスリプレイ(2p-ER)を導入する。
論文 参考訳（メタデータ） (2020-01-24T23:01:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。