論文の概要: DeepCQ+: Robust and Scalable Routing with Multi-Agent Deep Reinforcement Learning for Highly Dynamic Networks

• arxiv url: http://arxiv.org/abs/2111.15013v1
• Date: Mon, 29 Nov 2021 23:05:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-01 14:20:20.573468
• Title: DeepCQ+: Robust and Scalable Routing with Multi-Agent Deep Reinforcement Learning for Highly Dynamic Networks
• Title（参考訳）: DeepCQ+: 高ダイナミックネットワークのためのマルチエージェントディープ強化学習によるロバストでスケーラブルなルーティング
• Authors: Saeed Kaviani, Bo Ryu, Ejaz Ahmed, Kevin Larson, Anh Le, Alex Yahja, and Jae H. Kim
• Abstract要約: DeepCQ+ルーティングプロトコルは、新しいマルチエージェントディープ強化学習(MADRL)技術を既存のQラーニングベースのルーティングプロトコルに統合する。 大規模なシミュレーションにより、DeepCQ+は、オーバーヘッドを小さくして、エンドツーエンドのスループットを著しく向上させることが示された。 DeepCQ+は、トレーニングされていない多くのシナリオにおいて、非常に類似したパフォーマンス向上を維持している。
• 参考スコア（独自算出の注目度）: 2.819857535390181
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Highly dynamic mobile ad-hoc networks (MANETs) remain as one of the most challenging environments to develop and deploy robust, efficient, and scalable routing protocols. In this paper, we present DeepCQ+ routing protocol which, in a novel manner integrates emerging multi-agent deep reinforcement learning (MADRL) techniques into existing Q-learning-based routing protocols and their variants and achieves persistently higher performance across a wide range of topology and mobility configurations. While keeping the overall protocol structure of the Q-learning-based routing protocols, DeepCQ+ replaces statically configured parameterized thresholds and hand-written rules with carefully designed MADRL agents such that no configuration of such parameters is required a priori. Extensive simulation shows that DeepCQ+ yields significantly increased end-to-end throughput with lower overhead and no apparent degradation of end-to-end delays (hop counts) compared to its Q-learning based counterparts. Qualitatively, and perhaps more significantly, DeepCQ+ maintains remarkably similar performance gains under many scenarios that it was not trained for in terms of network sizes, mobility conditions, and traffic dynamics. To the best of our knowledge, this is the first successful application of the MADRL framework for the MANET routing problem that demonstrates a high degree of scalability and robustness even under environments that are outside the trained range of scenarios. This implies that our MARL-based DeepCQ+ design solution significantly improves the performance of Q-learning based CQ+ baseline approach for comparison and increases its practicality and explainability because the real-world MANET environment will likely vary outside the trained range of MANET scenarios. Additional techniques to further increase the gains in performance and scalability are discussed.
• Abstract（参考訳）: 高ダイナミックなモバイルアドホックネットワーク(MANET)は、堅牢で効率的でスケーラブルなルーティングプロトコルを開発し、デプロイする上で最も困難な環境の1つである。 本稿では,新たなマルチエージェント深層強化学習(madrl)手法を既存のq-learningベースのルーティングプロトコルとその変種に統合し,多種多様なトポロジーおよびモビリティ構成において持続的に高いパフォーマンスを実現する,deepcq+ルーティングプロトコルを提案する。 Qラーニングベースのルーティングプロトコルの全体的なプロトコル構造を維持しながら、DeepCQ+は静的に設定されたパラメータ化しきい値と手書きのルールを、慎重に設計されたMADRLエージェントで置き換える。 大規模なシミュレーションにより、DeepCQ+は、Qラーニングベースのものと比較して、オーバーヘッドが低く、エンドツーエンドの遅延(ホップカウント)が明らかに低下しないため、エンドツーエンドのスループットが大幅に向上することが示された。 deepcq+は、ネットワークサイズ、モビリティ条件、およびトラフィックダイナミクスに関して訓練されていない多くのシナリオにおいて、非常によく似たパフォーマンス向上を維持している。 私たちの知る限りでは、これはmaetルーティング問題に対するmadrlフレームワークの最初の成功例であり、トレーニングされたシナリオの範囲外の環境においても高いスケーラビリティと堅牢性を示している。 このことは、我々のMARLベースのDeepCQ+設計ソリューションが、Q-learningベースのCQ+ベースラインアプローチの性能を大幅に改善し、実世界のMANET環境が訓練されたMANETシナリオの範囲外で異なるため、その実用性と説明可能性を高めることを意味する。 パフォーマンスとスケーラビリティのさらなる向上のための追加技術について論じる。

関連論文リスト

• Differentiable Discrete Event Simulation for Queuing Network Control [7.965453961211742]
  キューのネットワーク制御は、高い性、大きな状態とアクション空間、安定性の欠如など、異なる課題を生んでいる。 本稿では,異なる離散イベントシミュレーションに基づくポリシー最適化のためのスケーラブルなフレームワークを提案する。 本手法は,非定常環境で動作するシステムなど,現実的なシナリオを柔軟に処理することができる。
  論文  参考訳（メタデータ） (2024-09-05T17:53:54Z)
• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• A Deep Reinforcement Learning Approach for Adaptive Traffic Routing in Next-gen Networks [1.1586742546971471]
  次世代ネットワークは、トラフィックダイナミクスに基づいたネットワーク構成を自動化し、適応的に調整する必要がある。 交通政策を決定する伝統的な手法は、通常は手作りのプログラミング最適化とアルゴリズムに基づいている。 我々は適応的なトラフィックルーティングのための深層強化学習(DRL)アプローチを開発する。
  論文  参考訳（メタデータ） (2024-02-07T01:48:29Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Multi Agent DeepRL based Joint Power and Subchannel Allocation in IAB networks [0.0]
  統合アクセスとバックハウリング(IRL)は、将来の世代におけるより高いデータレートに対する前例のない要求を満たすための、実行可能なアプローチである。 本稿では,分数ノードに付随する巨大なアクション空間の問題を,Deep Q-Learning Networkを用いて処理する方法を示す。
  論文  参考訳（メタデータ） (2023-08-31T21:30:25Z)
• MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion Control in Real Networks [63.24965775030673]
  そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。 我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。 我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
  論文  参考訳（メタデータ） (2023-02-02T18:27:20Z)
• Residual Q-Networks for Value Function Factorizing in Multi-Agent Reinforcement Learning [0.0]
  マルチエージェント強化学習(MARL)のためのResidual Q-Networks(RQN)の概念を提案する。 RQNは、個人-グローバル-マックス基準(IGM)を保存する方法で、個々のQ値軌跡を変換することを学ぶ 提案手法はより高速に収束し、安定性が向上し、より広い環境群で堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-05-30T16:56:06Z)
• Collaborative Intelligent Reflecting Surface Networks with Multi-Agent Reinforcement Learning [63.83425382922157]
  インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。 本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
  論文  参考訳（メタデータ） (2022-03-26T20:37:14Z)
• Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork [73.94896986868146]
  位相検索は現代の計算イメージングシステムにおいて重要な要素である。 近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。 我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2021-01-12T08:36:23Z)
• Robust and Scalable Routing with Multi-Agent Deep Reinforcement Learning for MANETs [1.8375389588718993]
  DeepCQ+ルーティングは、新しいマルチエージェントディープラーニング技術を既存のQラーニングベースのルーティングプロトコルに統合します。 これは、限られた範囲のネットワークパラメータと条件でのみトレーニングしながら、幅広いMANET構成で持続的に高いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-01-09T02:26:14Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。