論文の概要: Adaptive Inference Batching using Policy Gradients

• arxiv url: http://arxiv.org/abs/2607.05272v1
• Date: Mon, 06 Jul 2026 16:20:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:30.237306
• Title: Adaptive Inference Batching using Policy Gradients
• Title（参考訳）: ポリシー勾配を用いた適応推論バッチ
• Abstract要約: 我々は、強化学習が適応的なルーティングポリシーを学習できるかどうかを検討する。 ReINFORCEおよびPPOエージェントをキューイング理論と生産トレースに対して離散イベントシミュレータで訓練する。 この結果から,RLは単一リソーススケジューリングではなく,マルチリソーススケジューリングに集中していることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inference serving systems must balance throughput and latency under bursty, heterogeneous workloads, yet the industry standard remains static batching policies that require manual tuning and cannot adapt to shifting traffic. We investigate whether reinforcement learning (RL) can learn adaptive batching and routing policies that outperform these heuristics, training REINFORCE and PPO agents on a discrete-event simulator validated against queuing theory and production traces (Azure Functions, BurstGPT). We formulate the problem as an MDP over queue state, request type and GPU availability, evaluating across standard Poisson traffic, extreme bursts, real-world traces and heterogeneous multi-GPU routing. Our central finding is a clear boundary condition for RL's value in systems problems. In single-GPU settings, a well-tuned static batching policy is already near-optimal under Poisson-like arrivals and RL offers only marginal gains (+0.1% to +1.0%). In multi-GPU heterogeneous routing, however, where fast and slow requests compete for shared resources, the agent discovers a workload-segregation policy that eliminates Head-of-Line blocking, yielding a 3.5x (348%) improvement over Round-Robin and a 48% improvement over the strongest heuristic baseline (Shortest-Queue), with 60% higher throughput and 25% lower latency while respecting SLA constraints. The policy generalizes to unseen bursty and real-world traffic despite training only on synthetic Poisson arrivals and an attention-augmented policy network converges roughly 20% faster than an MLP baseline. These results suggest RL's advantage over engineered heuristics concentrates in combinatorial, multi-resource decisions rather than single-resource temporal scheduling, a practical distinction for deciding where learned policies justify their engineering cost in production inference infrastructure.
• Abstract（参考訳）: 推論サービスシステムは、バースト的で異質なワークロードの下でスループットとレイテンシのバランスをとる必要があるが、業界標準は、手動チューニングを必要とし、トラフィックのシフトに適応できない静的バッチポリシーを維持している。 本研究では,Regressed Learning (RL) がこれらのヒューリスティックスを上回る適応的バッチ処理とルーティングポリシーを学習し,待ち行列理論と生産トレース(Azure Functions, BurstGPT)に対して検証された離散イベントシミュレータ上でREINFORCEおよびPPOエージェントを訓練できるかどうかを検討する。 本稿では,待ち行列状態,要求タイプ,GPUの可用性といった問題に対して,標準的なPoissonトラフィック,極端なバースト,現実世界のトレース,異種マルチGPUルーティングといった問題を評価する。 我々の中心的な発見は、システム問題におけるRLの価値の明確な境界条件である。 シングルGPU設定では、ポアソンのような到着条件下では、十分にチューニングされた静的バッチポリシがほぼ最適であり、RLは限界利得(+0.1%から+1.0%)のみを提供する。 しかし、高速で遅い要求が共有リソースと競合するマルチGPUヘテロジニアスルーティングでは、エージェントは、ヘッド・オブ・ラインのブロッキングを排除し、ラウンドロビンよりも3.5倍(348%)改善し、最強のヒューリスティックベースライン(Shortest-Queue)よりも48%改善し、SLA制約を尊重しながらスループットが60%向上し、レイテンシが25%低下するワークロード分離ポリシーを発見する。 このポリシーは、合成ポアソンの到着のみを訓練しているにもかかわらず、バーストや現実世界の交通を目に見えないように一般化し、注意増強されたポリシーネットワークは、MLPベースラインよりも約20%早く収束する。 これらの結果から、RLの工学的ヒューリスティックスに対する優位性は、単一リソースの時間スケジューリングではなく、組合せ的、複数リソースの意思決定に集中していることが示唆された。

関連論文リスト

• X-NavDP: Generalizing Navigation Diffusion Policy to Novel Behavior and Embodiments with Group Q-score Reweighted Matching [40.58294819643394]
  ナビゲーション拡散ポリシーの事前訓練は、大規模な専門家によるデモンストレーションに依存する。 本稿では,データ効率のよい拡散RLポストトレーニングフレームワークであるGQRMを提案する。 異種エボディメント間の分散オンラインRLトレーニングを行うことで、細調整されたポリシーであるX-NavDPは、最先端のクロスボディメント視覚ナビゲーション性能を実現する。
  論文  参考訳（メタデータ） (2026-07-30T17:26:12Z)
• Flow-DPPO: Divergence Proximal Policy Optimization for Flow Matching Models [61.74572554094633]
  比クリッピングは流れモデルに不適であると主張する。 本稿では,比クリッピングを分岐近位制約に置き換えるFlow-DPPOを提案する。 実験により,フローDPPOはKL近位効率が向上し,高い報酬が得られることが示された。
  論文  参考訳（メタデータ） (2026-06-09T15:59:57Z)
• Aligning Flow Map Policies with Optimal Q-Guidance [50.514994916864275]
  フローマップポリシは、任意のサイズのジャンプを学習することで、高速なアクション生成のために設計されている。 FLOW MAP Q-GUIDANCE (FMQ) は, 批判誘導型信頼領域制約の下でオフラインフローマップポリシーを適用するのに最適な, 原則付きクローズドフォーム学習ターゲットである。 FMQは、オフラインからオフラインまでのRLにおける最先端のパフォーマンスを達成し、平均成功率に対して21.3%の相対的な改善により、以前のワンステップポリシーMVPを上回っている。
  論文  参考訳（メタデータ） (2026-05-12T17:12:29Z)
• LLMs Can Learn to Reason Via Off-Policy RL [17.2941334301927]
  LLM(Large Language Models)の強化学習アプローチでは、PPOやGRPOといった政治アルゴリズムが頻繁に使用される。 タグ付き推論ポリシー(OAPL)を用いた最適アドバンテージに基づく政策最適化法(OAPL)を提案する。 OAPLは、トレーニングと推論ポリシーの間に400段階以上の段階の遅れがあっても、効果的で効果的な後トレーニングを可能にします。
  論文  参考訳（メタデータ） (2026-02-22T22:12:51Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• FORLER: Federated Offline Reinforcement Learning with Q-Ensemble and Actor Rectification [5.423004756752519]
  インターネット・オブ・シングスシステムでは、生データを共有せずに並行的な政策訓練を可能にすることにより、連合学習はオンライン強化学習(RL)を進歩させてきた。 本稿では,サーバ上のQアンサンブルアグリゲーションとデバイス上でのアクタ修正を組み合わせたFOLLERを提案する。 サーバは、プライバシを損なうことなく、デバイスのQ関数を堅牢にマージし、ポリシーの汚染を抑制し、リソースに制約のあるハードウェアから重い計算をシフトする。
  論文  参考訳（メタデータ） (2026-02-02T12:57:09Z)
• Squeeze the Soaked Sponge: Efficient Off-policy Reinforcement Finetuning for Large Language Model [56.92219181993453]
  本稿では,PPOやGRPOなどのオンラインRFT手法をオフ・ポリティクスデータに活用するために,Reincarnating Mix-policy Proximal Policy Gradient (ReMix)を提案する。 ReMix は,(1) 効率的なトレーニングのための更新データ(UTD)比が増大した混成政策勾配,(2) 安定性と柔軟性のトレードオフのバランスをとるためのKL-Convex 政策制約,(3) 効率的な早期学習から安定した改善へのシームレスな移行を実現するための政策再編成の3つの主要な構成要素から構成される。
  論文  参考訳（メタデータ） (2025-07-09T14:29:45Z)
• Policy Agnostic RL: Offline RL and Online RL Fine-Tuning of Any Class and Backbone [72.17534881026995]
  ポリシーに依存しないRL(PA-RL)と呼ばれるオフラインおよびオンラインの微調整手法を開発する。 オンラインRLファインチューニングアルゴリズムであるCal-QLを用いて、7BジェネラリストロボットポリシーであるOpenVLAのファインチューニングに成功した最初の結果を示す。
  論文  参考訳（メタデータ） (2024-12-09T17:28:03Z)
• Offline RL With Realistic Datasets: Heteroskedasticity and Support Constraints [82.43359506154117]
  非均一な変数を持つデータから、典型的なオフライン強化学習手法が学習できないことを示す。 提案手法は,Atariゲーム,ナビゲーション,ピクセルベースの操作において,多種多様なオフラインRL問題にまたがる性能向上を図っている。
  論文  参考訳（メタデータ） (2022-11-02T11:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。