論文の概要: QGym: Scalable Simulation and Benchmarking of Queuing Network Controllers

• arxiv url: http://arxiv.org/abs/2410.06170v1
• Date: Tue, 8 Oct 2024 16:15:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 10:50:51.536638
• Title: QGym: Scalable Simulation and Benchmarking of Queuing Network Controllers
• Title（参考訳）: QGym:キューネットワークコントローラのスケーラブルなシミュレーションとベンチマーク
• Authors: Haozhe Chen, Ang Li, Ethan Che, Tianyi Peng, Jing Dong, Hongseok Namkoong,
• Abstract要約: キューネットワーク制御は、混雑を管理するために不足するリソースの割り当てを決定する。 本稿では,実際の問題インスタンスにまたがる待ち行列ポリシーをベンチマークする,オープンソースの待ち行列シミュレーションフレームワークQGymを提案する。
• 参考スコア（独自算出の注目度）: 18.165277140634934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Queuing network control determines the allocation of scarce resources to manage congestion, a fundamental problem in manufacturing, communications, and healthcare. Compared to standard RL problems, queueing problems are distinguished by unique challenges: i) a system operating in continuous time, ii) high stochasticity, and iii) long horizons over which the system can become unstable (exploding delays). To spur methodological progress tackling these challenges, we present an open-sourced queueing simulation framework, QGym, that benchmark queueing policies across realistic problem instances. Our modular framework allows the researchers to build on our initial instances, which provide a wide range of environments including parallel servers, criss-cross, tandem, and re-entrant networks, as well as a realistically calibrated hospital queuing system. QGym makes it easy to compare multiple policies, including both model-free RL methods and classical queuing policies. Our testbed complements the traditional focus on evaluating algorithms based on mathematical guarantees in idealized settings, and significantly expands the scope of empirical benchmarking in prior work. QGym code is open-sourced at https://github.com/namkoong-lab/QGym.
• Abstract（参考訳）: キューイングネットワーク制御は、製造、通信、医療における根本的問題である混雑管理のための不足資源の割り当てを決定する。 標準のRL問題と比較すると、キューの問題は固有の課題によって区別される。 一 連続的に作動するシステム ii)高い確率性、そして 三 システムが不安定になりうる長い地平線(露光遅延) これらの課題に対処する方法論的な進展を促すために,実問題インスタンスをまたいでキューポリシーをベンチマークするQGymというオープンソースのキューシミュレーションフレームワークを提案する。 私たちのモジュラーフレームワークは、並列サーバ、criss-cross、tandem、re-entrantネットワーク、およびリアルに校正された病院キューシステムなど、幅広い環境を提供する最初のインスタンスの上に構築することができます。 QGymは、モデルフリーなRLメソッドと古典的なキューポリシの両方を含む、複数のポリシーを簡単に比較できる。 我々のテストベッドは、理想的な設定における数学的保証に基づくアルゴリズムの評価に伝統的な焦点を補完し、事前の作業における経験的ベンチマークの範囲を大幅に拡大する。 QGymのコードはhttps://github.com/namkoong-lab/QGym.comで公開されている。

関連論文リスト

• OGBench: Benchmarking Offline Goal-Conditioned RL [72.00291801676684]
  オフライン目標条件強化学習(GCRL)は強化学習における大きな問題である。 オフラインゴール条件RLにおけるアルゴリズム研究のための,新しい高品質なベンチマークであるOGBenchを提案する。
  論文  参考訳（メタデータ） (2024-10-26T06:06:08Z)
• Differentiable Discrete Event Simulation for Queuing Network Control [7.965453961211742]
  キューのネットワーク制御は、高い性、大きな状態とアクション空間、安定性の欠如など、異なる課題を生んでいる。 本稿では,異なる離散イベントシミュレーションに基づくポリシー最適化のためのスケーラブルなフレームワークを提案する。 本手法は,非定常環境で動作するシステムなど,現実的なシナリオを柔軟に処理することができる。
  論文  参考訳（メタデータ） (2024-09-05T17:53:54Z)
• Learning RL-Policies for Joint Beamforming Without Exploration: A Batch Constrained Off-Policy Approach [1.0080317855851213]
  本稿では,ネットワークにおけるパラメータキャンセル最適化の問題点について考察する。 探索と学習のために実世界でアルゴリズムをデプロイすることは、探索せずにデータによって達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-12T18:36:36Z)
• MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion Control in Real Networks [63.24965775030673]
  そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。 我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。 我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
  論文  参考訳（メタデータ） (2023-02-02T18:27:20Z)
• Solving Continuous Control via Q-learning [54.05120662838286]
  深いQ-ラーニングの簡単な修正は、アクター批判的手法による問題を大幅に軽減することを示します。 バンバン動作の離散化と値分解、協調マルチエージェント強化学習(MARL)としての単一エージェント制御のフレーミングにより、このシンプルな批判のみのアプローチは、最先端の連続アクター批判法の性能と一致する。
  論文  参考訳（メタデータ） (2022-10-22T22:55:50Z)
• Deep Reinforcement Learning for Wireless Scheduling in Distributed Networked Control [37.10638636086814]
  完全分散無線制御システム(WNCS)の周波数チャネル数に制限のある結合アップリンクとダウンリンクのスケジューリング問題を考える。 深層強化学習(DRL)に基づくフレームワークを開発した。 DRLにおける大きなアクション空間の課題に対処するために,新しいアクション空間削減法とアクション埋め込み法を提案する。
  論文  参考訳（メタデータ） (2021-09-26T11:27:12Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)
• Distributed Q-Learning with State Tracking for Multi-agent Networked Control [61.63442612938345]
  本稿では,LQR(Linear Quadratic Regulator)のマルチエージェントネットワークにおける分散Q-ラーニングについて検討する。 エージェントに最適なコントローラを設計するための状態追跡(ST)ベースのQ-ラーニングアルゴリズムを考案する。
  論文  参考訳（メタデータ） (2020-12-22T22:03:49Z)
• RL-QN: A Reinforcement Learning Framework for Optimal Control of Queueing Systems [8.611328447624677]
  モデルベース強化学習(RL)を用いて、待ち行列ネットワークの最適制御ポリシーを学習する。 しかし、従来のRLのアプローチでは、ネットワーク制御問題の非有界状態空間は扱えない。 我々は、状態空間の有限部分集合にモデルベースのRL法を適用するReinforcement Learning for Queueing Networks (RL-QN)と呼ばれる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-14T22:12:27Z)
• SUNRISE: A Simple Unified Framework for Ensemble Learning in Deep Reinforcement Learning [102.78958681141577]
  SUNRISEは単純な統一アンサンブル法であり、様々な非政治的な深層強化学習アルゴリズムと互換性がある。 SUNRISEは, (a) アンサンブルに基づく重み付きベルマンバックアップと, (b) 最上位の自信境界を用いて行動を選択する推論手法を統合し, 効率的な探索を行う。
  論文  参考訳（メタデータ） (2020-07-09T17:08:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。