論文の概要: Zeroth-Order Policy Optimization for Scheduling in Queueing Networks

• arxiv url: http://arxiv.org/abs/2611.01186v1
• Date: Sat, 31 Oct 2026 18:37:20 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:40:47.266054
• Title: Zeroth-Order Policy Optimization for Scheduling in Queueing Networks
• Title（参考訳）: 待ち行列ネットワークにおけるスケジューリングのためのゼロ階ポリシー最適化
• Abstract要約: 実装が容易で,平均コストの見積にのみ依存するゼロ階ポリシー最適化アルゴリズムを提案する。 本分析では, バックプレッシャ保護政策に着目し, 平均コストの均一な平滑性を確立する。 古典的指数関数型サービス分布を超えるシステムを含む複数の待ち行列ネットワークに関する数値実験は、競争性能を実証する。
• 参考スコア（独自算出の注目度）: 13.20526811256771
• License:
• Abstract: Reinforcement learning in queueing network scheduling presents significant challenges because of the countably infinite state space and the high stochasticity in transitions. In this paper, we propose zeroth-order policy optimization algorithms that are easy to implement and rely solely on estimates of the average cost, a single scalar quantity, without requiring the estimation of value or advantage functions. Our analysis focuses on back-pressure guarded policies and establishes uniform smoothness of the average cost objective with respect to the policy parameters. Building on this property, we establish finite-time convergence guarantees to an $ε$-stationary policy for the proposed algorithms. Numerical experiments on multiple queueing networks, including systems beyond classical exponential service distribution, demonstrate competitive performance, outperforming gradient-based RL methods like PPO and traditional queueing baselines.
• Abstract（参考訳）: 待ち行列ネットワークスケジューリングにおける強化学習は、数え切れないほど無限の状態空間と遷移の確率性のために重要な課題を提示する。 本稿では, 平均コスト, 単一スカラー量の推定にのみ依存し, 実装が容易なゼロ階ポリシー最適化アルゴリズムを提案する。 本分析では, バックプレッシャ保護政策に着目し, 平均コスト目標の均一な平滑性を確立する。 この性質に基づいて、提案アルゴリズムに対する$ε$-stationary Policyに対する有限時間収束保証を確立する。 古典的指数関数型サービス分布を超えるシステムを含む複数の待ち行列ネットワークに関する数値実験は、競合性能、PPOや従来の待ち行列ベースラインのような勾配に基づくRL法よりも優れた性能を示す。

関連論文リスト

• ProxPI: Proximal Prior Injection for Sampling-Based MPC under Learned-Prior Mismatch [3.345437353879255]
  モデル予測経路積分制御において、ポリシー中心のウォームスタートアプローチは、サンプリング分布をポリシー出力に集中させる。 本稿では,MPPIサンプリングを名目中心に維持し,ソフトな近接コストでポリシーを取り入れた Proximal Prior Injection (ProxPI) を提案する。 理論的には,各更新毎に事前の廃棄補正を集中的に行うのに対して,名目中心サンプリングは維持し,タスクコストと先行処理の両方で設定された解に収束する。
  論文  参考訳（メタデータ） (2026-09-01T09:03:25Z)
• Ratio-Variance Regularized Policy Optimization [64.95520246570446]
  ポリシ比の分散を明示的に制約することは、信頼領域の制約に対する原則的な局所近似をもたらすことを示す。 本稿では,この制約を実装したR2bf VPO$(Ratio-Variance Regularized Policy Optimization)を紹介する。
  論文  参考訳（メタデータ） (2026-05-26T09:53:42Z)
• Convergence and Sample Complexity of First-Order Methods for Agnostic Reinforcement Learning [66.4260157478436]
  政策学習における強化学習について検討する。 目的は、特定の種類の利害関係において最高の政策と競争力のある政策を見つけることである。
  論文  参考訳（メタデータ） (2025-07-06T14:40:05Z)
• Optimal Single-Policy Sample Complexity and Transient Coverage for Average-Reward Offline RL [6.224756774400233]
  本研究では, 平均回帰MDPにおけるオフライン強化学習について検討し, 分散シフトと非一様カバレッジの観点から, さらなる課題を提示する。 対象とする政策,特にバイアススパンと新しい政策が半径を超えることのみに基づき,平均逆オフラインRLに束縛された最初の完全単一政治サンプルの複雑性が生じる。
  論文  参考訳（メタデータ） (2025-06-26T00:22:39Z)
• Quantile-Optimal Policy Learning under Unmeasured Confounding [55.72891849926314]
  ここでは,報酬分布が (0, 1) で最大$alpha$-quantileを持つポリシーを見つけることを目標とする量子最適政策学習について検討する。 このような問題は、(i)報酬分布の関数としての量子目標の非線形性、(ii)未観測の共起問題、(iii)オフラインデータセットのカバー不足という3つの大きな課題に悩まされている。
  論文  参考訳（メタデータ） (2025-06-08T13:37:38Z)
• Achieving $\widetilde{\mathcal{O}}(\sqrt{T})$ Regret in Average-Reward POMDPs with Known Observation Models [69.1820058966619]
  平均逆無限水平POMDPを未知の遷移モデルで扱う。 この障壁を克服する斬新でシンプルな推定器を提示する。
  論文  参考訳（メタデータ） (2025-01-30T22:29:41Z)
• Quantile-Based Policy Optimization for Reinforcement Learning [0.0]
  ニューラルネットワークによるポリシー制御動作のパラメータ化と、QPO(Quantile-Based Policy Optimization)と呼ばれる新しいポリシー勾配アルゴリズムを提案する。 数値計算の結果,提案アルゴリズムは量子的基準の下で既存のベースラインアルゴリズムより優れていることが示された。
  論文  参考訳（メタデータ） (2022-01-27T12:01:36Z)
• Iterative Amortized Policy Optimization [147.63129234446197]
  政策ネットワークは、継続的制御のための深層強化学習(RL)アルゴリズムの中心的な特徴である。 変分推論の観点からは、ポリシーネットワークは、ポリシー分布を直接ではなく、ネットワークパラメータを最適化する、テキスト化最適化の一形態である。 我々は,反復的アモート化ポリシ最適化により,ベンチマーク連続制御タスクの直接アモート化よりも性能が向上することが実証された。
  論文  参考訳（メタデータ） (2020-10-20T23:25:42Z)
• Queueing Network Controls via Deep Reinforcement Learning [0.0]
  待ち行列ネットワークのためのポリシ最適化アルゴリズムを開発した。 このアルゴリズムは、文学における最先端よりも優れた制御ポリシーを一貫して生成する。 PPOアルゴリズムの成功の鍵は、相対値関数を推定するために3つの分散還元技術を使用することである。
  論文  参考訳（メタデータ） (2020-07-31T01:02:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。