論文の概要: Leveraging Digital Cousins for Ensemble Q-Learning in Large-Scale Wireless Networks

• arxiv url: http://arxiv.org/abs/2402.08022v1
• Date: Mon, 12 Feb 2024 19:39:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 17:41:26.095335
• Title: Leveraging Digital Cousins for Ensemble Q-Learning in Large-Scale Wireless Networks
• Title（参考訳）: 大規模無線ネットワークにおけるQ-Learningの活用
• Authors: Talha Bozkus, Urbashi Mitra
• Abstract要約: 無線ネットワークを最適化する新しいアンサンブルQ-ラーニングアルゴリズムを提案する。 提案アルゴリズムは、最先端の強化学習アルゴリズムよりも実行時複雑性を最大40%低減し、平均誤差を最大50%低減することができる。
• 参考スコア（独自算出の注目度）: 21.30645601474163
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimizing large-scale wireless networks, including optimal resource management, power allocation, and throughput maximization, is inherently challenging due to their non-observable system dynamics and heterogeneous and complex nature. Herein, a novel ensemble Q-learning algorithm that addresses the performance and complexity challenges of the traditional Q-learning algorithm for optimizing wireless networks is presented. Ensemble learning with synthetic Markov Decision Processes is tailored to wireless networks via new models for approximating large state-space observable wireless networks. In particular, digital cousins are proposed as an extension of the traditional digital twin concept wherein multiple Q-learning algorithms on multiple synthetic Markovian environments are run in parallel and their outputs are fused into a single Q-function. Convergence analyses of key statistics and Q-functions and derivations of upper bounds on the estimation bias and variance are provided. Numerical results across a variety of real-world wireless networks show that the proposed algorithm can achieve up to 50% less average policy error with up to 40% less runtime complexity than the state-of-the-art reinforcement learning algorithms. It is also shown that theoretical results properly predict trends in the experimental results.
• Abstract（参考訳）: 最適な資源管理、電力割り当て、スループットの最大化を含む大規模無線ネットワークの最適化は、観測不能なシステムダイナミクスと不均一で複雑な性質のために本質的に困難である。 ここでは、無線ネットワークを最適化するための従来のQ学習アルゴリズムの性能と複雑さに対処する新しいアンサンブルQ学習アルゴリズムを提案する。 合成マルコフ決定プロセスを用いたアンサンブル学習は、大局的な観測可能な無線ネットワークを近似する新しいモデルを介して無線ネットワークに適合する。 特に、デジタル従兄弟は、複数の合成マルコフ環境上の複数のQ-ラーニングアルゴリズムを並列に実行し、その出力を単一のQ-関数に融合する従来のデジタルツインの概念の拡張として提案されている。 重要な統計値とQ-関数の収束解析と、推定バイアスと分散に対する上限の導出を行う。 実世界の無線ネットワークにまたがる数値的な結果から,提案アルゴリズムは,最先端の強化学習アルゴリズムよりも実行時複雑性が最大40%少ない平均的ポリシー誤差を最大50%低減できることがわかった。 また, 理論結果は実験結果の傾向を適切に予測することを示した。

関連論文リスト

• Coverage Analysis of Multi-Environment Q-Learning Algorithms for Wireless Network Optimization [18.035417008213077]
  最近の進歩には、アンサンブルマルチ環境ハイブリッドQ-ラーニングアルゴリズムが含まれる。 提案アルゴリズムは,現状の強化学習アルゴリズムよりも,ポリシエラーの50パーセント,実行時複雑性の40パーセントを達成可能であることを示す。
  論文  参考訳（メタデータ） (2024-08-29T20:09:20Z)
• Multi-Timescale Ensemble Q-learning for Markov Decision Process Policy Optimization [21.30645601474163]
  元々のQ-ラーニングは、非常に大きなネットワークにわたるパフォーマンスと複雑性の課題に悩まされている。 従来のQ-ラーニングに適応したモデルフリーアンサンブル強化学習アルゴリズムを提案する。 計算結果から,提案アルゴリズムは平均ポリシエラーを最大55%,実行時複雑性を最大50%削減できることがわかった。
  論文  参考訳（メタデータ） (2024-02-08T08:08:23Z)
• Deep Learning Based Uplink Multi-User SIMO Beamforming Design [32.00286337259923]
  5G無線通信ネットワークは、高いデータレート、広範なカバレッジ、最小レイテンシ、エネルギー効率のパフォーマンスを提供する。 計算複雑性や動的条件に適応する能力に関して、従来のアプローチには欠点がある。 本稿では,アップリンク受信型マルチユーザ入力多重出力(MU-SIMO)ビームフォーミングの設計のための,NNBFと呼ばれる新しい教師なしディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-28T17:04:41Z)
• Pervasive Machine Learning for Smart Radio Environments Enabled by Reconfigurable Intelligent Surfaces [56.35676570414731]
  Reconfigurable Intelligent Surfaces(RIS)の新たな技術は、スマート無線環境の実現手段として準備されている。 RISは、無線媒体上の電磁信号の伝搬を動的に制御するための、高度にスケーラブルで低コストで、ハードウェア効率が高く、ほぼエネルギーニュートラルなソリューションを提供する。 このような再構成可能な無線環境におけるRISの密配置に関する大きな課題の1つは、複数の準曲面の効率的な構成である。
  論文  参考訳（メタデータ） (2022-05-08T06:21:33Z)
• Phase Shift Design in RIS Empowered Wireless Networks: From Optimization to AI-Based Methods [83.98961686408171]
  再構成可能なインテリジェントサーフェス(RIS)は、無線ネットワークのための無線伝搬環境をカスタマイズする革命的な機能を持つ。 無線システムにおけるRISの利点を完全に活用するには、反射素子の位相を従来の通信資源と共同で設計する必要がある。 本稿では、RISが課す制約を扱うための現在の最適化手法と人工知能に基づく手法についてレビューする。
  論文  参考訳（メタデータ） (2022-04-28T09:26:14Z)
• Learn to Communicate with Neural Calibration: Scalability and Generalization [10.775558382613077]
  本稿では,将来の無線システム設計のためのスケーラブルで一般化可能なニューラルネットワークキャリブレーションフレームワークを提案する。 提案するニューラルキャリブレーションフレームワークは,大規模マルチインプットマルチアウトプット(MIMO)システムにおける資源管理の課題を解決するために応用される。
  論文  参考訳（メタデータ） (2021-10-01T09:00:25Z)
• Learning to Beamform in Heterogeneous Massive MIMO Networks [48.62625893368218]
  大規模マルチインプット多重出力(MIMO)ネットワークにおいて最適なビームフォーマを見つけることはよく知られている問題である。 本稿では,この問題に対処するための新しい深層学習に基づく論文アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-08T12:48:06Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)
• Deep Multi-Task Learning for Cooperative NOMA: System Design and Principles [52.79089414630366]
  我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。 我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-07-27T12:38:37Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。