論文の概要: Heterogeneous Multi-Agent Reinforcement Learning for Distributed Channel Access in WLANs

• arxiv url: http://arxiv.org/abs/2412.14218v1
• Date: Wed, 18 Dec 2024 13:50:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:32:33.955453
• Title: Heterogeneous Multi-Agent Reinforcement Learning for Distributed Channel Access in WLANs
• Title（参考訳）: WLANにおける分散チャネルアクセスのための不均一なマルチエージェント強化学習
• Authors: Jiaming Yu, Le Liang, Chongtao Guo, Ziyang Guo, Shi Jin, Geoffrey Ye Li,
• Abstract要約: 本稿では,マルチエージェント強化学習(MARL)を用いて,無線ローカルネットワークにおける分散チャネルアクセスに対処する。 特に、エージェントがモデルトレーニングに価値ベースまたはポリシーベースの強化学習アルゴリズムを不均一に採用する、より実践的なケースについて考察する。 我々は、分散実行パラダイムを用いた集中型トレーニングを採用し、異種エージェントの協調を可能にする、異種MARLトレーニングフレームワークQPMIXを提案する。
• 参考スコア（独自算出の注目度）: 47.600901884970845
• License:
• Abstract: This paper investigates the use of multi-agent reinforcement learning (MARL) to address distributed channel access in wireless local area networks. In particular, we consider the challenging yet more practical case where the agents heterogeneously adopt value-based or policy-based reinforcement learning algorithms to train the model. We propose a heterogeneous MARL training framework, named QPMIX, which adopts a centralized training with distributed execution paradigm to enable heterogeneous agents to collaborate. Moreover, we theoretically prove the convergence of the proposed heterogeneous MARL method when using the linear value function approximation. Our method maximizes the network throughput and ensures fairness among stations, therefore, enhancing the overall network performance. Simulation results demonstrate that the proposed QPMIX algorithm improves throughput, mean delay, delay jitter, and collision rates compared with conventional carrier-sense multiple access with collision avoidance in the saturated traffic scenario. Furthermore, the QPMIX is shown to be robust in unsaturated and delay-sensitive traffic scenarios, and promotes cooperation among heterogeneous agents.
• Abstract（参考訳）: 本稿では,マルチエージェント強化学習(MARL)を用いて,無線ローカルネットワークにおける分散チャネルアクセスに対処する。 特に、エージェントがモデルトレーニングに価値ベースまたはポリシーベースの強化学習アルゴリズムを不均一に採用する、より実践的なケースについて考察する。 我々は、分散実行パラダイムを用いた集中型トレーニングを採用し、異種エージェントの協調を可能にする、異種MARLトレーニングフレームワークQPMIXを提案する。 さらに,線形値関数近似を用いて提案手法の収束性を理論的に証明する。 提案手法は,ネットワークスループットを最大化し,局間の公平性を保証し,ネットワーク全体の性能を向上させる。 シミュレーションの結果、飽和交通シナリオにおける衝突回避を伴う従来のキャリアセンス多重アクセスと比較して、QPMIXアルゴリズムはスループット、平均遅延、遅延ジッタ、衝突速度を改善することが示された。 さらに、QPMIXは不飽和かつ遅延感受性の交通シナリオにおいて堅牢であることが示され、不均一なエージェント間の協調を促進する。

関連論文リスト

• Distributed Autonomous Swarm Formation for Dynamic Network Bridging [40.27919181139919]
  離散化された部分観測可能なマルコフ決定過程(Dec-POMDP)における動的ネットワークブリッジ問題について定式化する。 グラフ畳み込み強化学習(DGN)に基づく問題に対するマルチエージェント強化学習(MARL)アプローチを提案する。 提案手法はシミュレーション環境で評価し,将来性を示す集中型ベースラインと比較した。
  論文  参考訳（メタデータ） (2024-04-02T01:45:03Z)
• A Bayesian Framework of Deep Reinforcement Learning for Joint O-RAN/MEC Orchestration [12.914011030970814]
  マルチアクセスエッジコンピューティング(MEC)は、コモディティプラットフォーム上でOpen Radio Access Network(O-RAN)と一緒に実装することで、低コストなデプロイメントを実現する。 本稿では,ベイジアンディープ強化学習(RL)を用いたO-RAN/MEC協調オーケストレーションを提案する。
  論文  参考訳（メタデータ） (2023-12-26T18:04:49Z)
• Mobilizing Personalized Federated Learning in Infrastructure-Less and Heterogeneous Environments via Random Walk Stochastic ADMM [0.14597673707346284]
  本稿では,データヘテロジニティを持つ孤立ノードを特徴とする実践シナリオにおいて,フェデレートラーニング(FL)を実装する上での課題について考察する。 これらの課題を克服するために,モビリティとレジリエンスの促進を目的とした,パーソナライズされたFLアプローチを提案する。 我々はRWSADMM(Random Walk Alternating Direction Method of Multipliers)と呼ばれる新しい最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-04-25T03:00:18Z)
• IPCC-TP: Utilizing Incremental Pearson Correlation Coefficient for Joint Multi-Agent Trajectory Prediction [73.25645602768158]
  IPCC-TPはインクリメンタルピアソン相関係数に基づく新しい関連認識モジュールであり,マルチエージェントインタラクションモデリングを改善する。 我々のモジュールは、既存のマルチエージェント予測手法に便利に組み込んで、元の動き分布デコーダを拡張することができる。
  論文  参考訳（メタデータ） (2023-03-01T15:16:56Z)
• MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion Control in Real Networks [63.24965775030673]
  そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。 我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。 我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
  論文  参考訳（メタデータ） (2023-02-02T18:27:20Z)
• Large-Scale Traffic Signal Control by a Nash Deep Q-network Approach [7.23135508361981]
  本稿では,完全集中型とMARLの両アプローチの弱点を緩和する,非政治的な深いQ-Network (OPNDQN) アルゴリズムを提案する。 OPNDQNの主な利点の1つはマルチエージェントマルコフ過程の非定常性を緩和することである。 平均キュー長,エピソードトレーニング報酬,平均待ち時間の観点から,既存のMARLアプローチよりもOPNDQNの方が優位であることを示す。
  論文  参考訳（メタデータ） (2023-01-02T12:58:51Z)
• Differentiated Federated Reinforcement Learning Based Traffic Offloading on Space-Air-Ground Integrated Networks [12.080548048901374]
  本稿では,SAGINにおけるトラヒックオフロード問題を解決するために,DFRL(differated federated reinforcement learning)を用いることを提案する。 SAGINの各領域の異なる特性を考慮すると、DFRLはトラフィックオフロードポリシー最適化プロセスをモデル化する。 本稿では,この問題を解決するために,新たな微分型フェデレート・ソフト・アクター・クリティカル (DFSAC) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-05T07:40:29Z)
• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)
• Semantic-Aware Collaborative Deep Reinforcement Learning Over Wireless Cellular Networks [82.02891936174221]
  複数のエージェントが無線ネットワーク上で協調できるコラボレーティブディープ強化学習(CDRL)アルゴリズムは有望なアプローチである。 本稿では,リソース制約のある無線セルネットワーク上で,意味的にリンクされたDRLタスクを持つ未学習エージェントのグループを効率的に協調させる,新しい意味認識型CDRL手法を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:24:47Z)
• Adaptive Stochastic ADMM for Decentralized Reinforcement Learning in Edge Industrial IoT [106.83952081124195]
  強化学習 (Reinforcement Learning, RL) は, 意思決定および最適制御プロセスのための有望な解法として広く研究されている。 本稿では,Adaptive ADMM (asI-ADMM)アルゴリズムを提案する。 実験の結果,提案アルゴリズムは通信コストやスケーラビリティの観点から技術状況よりも優れており,複雑なIoT環境に適応できることがわかった。
  論文  参考訳（メタデータ） (2021-06-30T16:49:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。