論文の概要: Learning to Sail Dynamic Networks: The MARLIN Reinforcement Learning Framework for Congestion Control in Tactical Environments

• arxiv url: http://arxiv.org/abs/2306.15591v1
• Date: Tue, 27 Jun 2023 16:15:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-28 12:43:09.888171
• Title: Learning to Sail Dynamic Networks: The MARLIN Reinforcement Learning Framework for Congestion Control in Tactical Environments
• Title（参考訳）: 帆走ネットワークへの学習 : 戦術環境における混雑制御のためのmarlin強化学習フレームワーク
• Authors: Raffaele Galliera, Mattia Zaccarini, Alessandro Morelli, Roberto Fronteddu, Filippo Poltronieri, Niranjan Suri, Mauro Tortonesi
• Abstract要約: 本稿では, 正確な並列化可能なエミュレーション環境を利用して, 戦術ネットワークの環境を再現するRLフレームワークを提案する。 衛星通信(SATCOM)とUHFワイドバンド(UHF)の無線リンク間のボトルネックリンク遷移を再現した条件下で、MARLINエージェントを訓練することにより、我々のRL学習フレームワークを評価する。
• 参考スコア（独自算出の注目度）: 53.08686495706487
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conventional Congestion Control (CC) algorithms,such as TCP Cubic, struggle in tactical environments as they misinterpret packet loss and fluctuating network performance as congestion symptoms. Recent efforts, including our own MARLIN, have explored the use of Reinforcement Learning (RL) for CC, but they often fall short of generalization, particularly in competitive, unstable, and unforeseen scenarios. To address these challenges, this paper proposes an RL framework that leverages an accurate and parallelizable emulation environment to reenact the conditions of a tactical network. We also introduce refined RL formulation and performance evaluation methods tailored for agents operating in such intricate scenarios. We evaluate our RL learning framework by training a MARLIN agent in conditions replicating a bottleneck link transition between a Satellite Communication (SATCOM) and an UHF Wide Band (UHF) radio link. Finally, we compared its performance in file transfer tasks against Transmission Control Protocol (TCP) Cubic and the default strategy implemented in the Mockets tactical communication middleware. The results demonstrate that the MARLIN RL agent outperforms both TCP and Mockets under different perspectives and highlight the effectiveness of specialized RL solutions in optimizing CC for tactical network environments.
• Abstract（参考訳）: tcp立方体などの従来の混雑制御(cc)アルゴリズムは、パケット損失を誤解し、ネットワーク性能を混雑症状として変動させるため、戦術環境に苦しむ。 我々のMARLINを含む最近の取り組みは、強化学習(Reinforcement Learning, RL)をCCに使用することを検討したが、特に競争力、不安定、予期せぬシナリオにおいて、一般化に欠けることが多い。 これらの課題に対処するために,戦術ネットワークの条件を再現するために,正確な並列化可能なエミュレーション環境を利用するRLフレームワークを提案する。 また,複雑なシナリオで動作するエージェントに適した改良されたRL定式化および性能評価手法についても紹介する。 衛星通信(SATCOM)とUHFワイドバンド(UHF)の無線リンク間のボトルネックリンク遷移を再現した条件下で、MARLINエージェントを訓練することにより、我々のRL学習フレームワークを評価する。 最後に、転送制御プロトコル(tcp)キュービックと、モデット戦術通信ミドルウェアに実装されたデフォルト戦略とのファイル転送タスクにおける性能を比較した。 その結果,MARLIN RL エージェントはTCP と Mockets を異なる視点で比較し,戦術的ネットワーク環境における CC 最適化における特殊 RL ソリューションの有効性を強調した。

関連論文リスト

• Enhancing Spectrum Efficiency in 6G Satellite Networks: A GAIL-Powered Policy Learning via Asynchronous Federated Inverse Reinforcement Learning [67.95280175998792]
  ビームフォーミング,スペクトルアロケーション,リモートユーザ機器(RUE)アソシエイトを最適化するために,GAILを利用した新しいポリシー学習手法を提案する。 手動チューニングなしで報酬関数を自動的に学習するために、逆RL(IRL)を用いる。 提案手法は従来のRL手法よりも優れており,コンバージェンスと報酬値の14.6%の改善が達成されている。
  論文  参考訳（メタデータ） (2024-09-27T13:05:02Z)
• iLLM-TSC: Integration reinforcement learning and large language model for traffic signal control policy improvement [5.078593258867346]
  大規模言語モデル(LLM)と強化学習(RL)を組み合わせた新しい統合フレームワークを提案する。 提案手法は,従来のRL法と比較して,通信条件の劣化により平均待ち時間を17.5%削減する。
  論文  参考訳（メタデータ） (2024-07-08T15:22:49Z)
• MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion Control in Real Networks [63.24965775030673]
  そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。 我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。 我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
  論文  参考訳（メタデータ） (2023-02-02T18:27:20Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Curriculum Based Reinforcement Learning of Grid Topology Controllers to Prevent Thermal Cascading [0.19116784879310028]
  本稿では,電力系統演算子のドメイン知識を強化学習フレームワークに統合する方法について述べる。 環境を改良することにより、報酬チューニングを伴うカリキュラムベースのアプローチをトレーニング手順に組み込む。 複数のシナリオに対する並列トレーニングアプローチは、エージェントをいくつかのシナリオに偏りなくし、グリッド操作の自然変動に対して堅牢にするために使用される。
  論文  参考訳（メタデータ） (2021-12-18T20:32:05Z)
• Vehicular Cooperative Perception Through Action Branching and Federated Reinforcement Learning [101.64598586454571]
  強化学習に基づく車両関連、リソースブロック(RB)割り当て、協調認識メッセージ(CPM)のコンテンツ選択を可能にする新しいフレームワークが提案されている。 車両全体のトレーニングプロセスをスピードアップするために、フェデレーションRLアプローチが導入されます。 その結果、フェデレーションRLはトレーニングプロセスを改善し、非フェデレーションアプローチと同じ時間内により良いポリシーを達成できることが示された。
  論文  参考訳（メタデータ） (2020-12-07T02:09:15Z)
• Pareto Deterministic Policy Gradients and Its Application in 5G Massive MIMO Networks [32.099949375036495]
  我々は,強化学習(RL)アプローチを用いて,セルロードバランスとネットワークスループットを協調的に最適化することを検討する。 RLの背景にある理論的根拠は、ユーザモビリティとネットワークのダイナミクスを解析的にモデル化することの難しさを回避することである。 この共同最適化を実現するために、ベクトル報酬をRL値ネットワークに統合し、別々のポリシーネットワークを介してRLアクションを実行する。
  論文  参考訳（メタデータ） (2020-12-02T15:35:35Z)
• Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
  近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。 敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
  論文  参考訳（メタデータ） (2020-08-05T07:49:42Z)
• Multi-agent Reinforcement Learning for Networked System Control [6.89105475513757]
  本稿では,ネットワークシステム制御におけるマルチエージェント強化学習(MARL)について考察する。 我々は,NMARLにおける情報損失と非定常性を低減するため,NeurCommと呼ばれる新しい通信プロトコルを提案する。 NeurCommは学習効率と制御性能の両方で既存の通信プロトコルより優れている。
  論文  参考訳（メタデータ） (2020-04-03T02:21:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。