論文の概要: Reinforcement Learning for Inventory Control under Regime-Switching Demand: A Controlled Comparison of LSTM, MLP, and (s,S) Policies
- arxiv url: http://arxiv.org/abs/2611.15945v1
- Date: Wed, 11 Nov 2026 19:40:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.263345
- Title: Reinforcement Learning for Inventory Control under Regime-Switching Demand: A Controlled Comparison of LSTM, MLP, and (s,S) Policies
- Title(参考訳): レジームスイッチング需要下における在庫管理のための強化学習:LSTM, MLP, (s, S) ポリシーの比較
- Abstract要約: 我々は、リカレントポリシが、レジームスイッチング要求の下で、メモリレスポリシと古典的ベースラインの両方に対して測定可能な優位性を提供するかどうかを問う。
我々は、排出を伴う2状態の隠れマルコフプロセスによって日々の需要が生成される独自の体育館環境を構築している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Classical inventory policies such as (s,S) are provably optimal under stationary demand but cannot adapt when demand switches between hidden regimes, and memoryless deep reinforcement learning policies, confined to a fixed observation window, cannot maintain a belief over latent demand structure. We ask whether a recurrent policy offers a measurable advantage over both a memoryless policy and a classical baseline under regime-switching demand, and how that advantage scales with supply-chain lead time. We build a custom Gymnasium environment in which daily demand is generated by a two-state hidden Markov process with Poisson emissions, so that the regime is known at evaluation time but hidden from the agent. An optimised (s,S) heuristic, an MLP PPO agent, and an LSTM Recurrent PPO agent are trained under matched compute and evaluated at lead times of 0, 3, 6, and 10 days over 30 deterministic episodes each. The recurrent policy outperforms both alternatives at every lead time, and its margin over the MLP widens monotonically with lead time, from parity at lead time 0 to 2.17$\times$ at lead time 10. Principal component analysis of the LSTM hidden state explains the widening gap: the representation shifts from encoding a binary regime indicator at short lead times to encoding multi-step pipeline state at long lead times. Recurrent memory becomes the decisive architectural factor as the credit-assignment horizon lengthens.
- Abstract(参考訳): 固定的な需要の下では、(s,S)のような古典的な在庫政策は、確実に最適であるが、隠された体制間の需要切替時に適応できない。
我々は、リカレントポリシが、レシシスイッチング需要の下で、メモリレスポリシと古典的ベースラインの両方に対して測定可能な優位性を提供するのか、そして、それがサプライチェーンリードタイムとどのようにスケールするかを問う。
我々は,ポアソンエミッションによる2状態隠れマルコフプロセスによって日々の需要が生成される,独自の体育館環境を構築し,評価時に知られながらエージェントから隠蔽される。
最適化された(s,S)ヒューリスティック、MLPPPOエージェント、LSTMリカレントPPOエージェントをマッチングされた計算の下で訓練し、それぞれ30以上の決定論的エピソードの0,3,6,10日間のリードタイムで評価する。
リカレントポリシは、リードタイム毎に両方の選択肢よりも優れており、MLPに対するマージンはリードタイム0のパリティからリードタイム10の2.17$\times$へと単調に拡大する。
LSTMシークレット状態の主成分分析では、このギャップの拡大が説明されている: 表現は、短いリード時間でバイナリレジームインジケータをエンコードするから、長いリード時間でマルチステップパイプライン状態をエンコードするへ移行する。
リカレントメモリは、クレジット割り当て水平線の長さが長くなるにつれて決定的なアーキテクチャ要素となる。
関連論文リスト
- Asynchronous LLM Post-Training: Group-Mass Capping and Convergence Analysis [59.80039032720308]
非同期強化学習(RL)は、大規模言語モデルの訓練後の効率を改善するが、以前のポリシーによって生成された古いロールアウトを導入する。
勾配推定器の第2モーメントとバイアスのトレードオフを特徴付けるGRPO型アルゴリズムの収束バウンダリを導出する。
重み付き推定器のクラス内における比に基づくバイアスを最小化するグループマスキャッピングGRPO(GMC-GRPO)法を提案する。
論文 参考訳(メタデータ) (2026-10-01T15:45:08Z) - Information-Time Proximal Policy Optimization [54.36874179830645]
生トークン数ではなく情報密度を用いて時間進行をパラメータ化するInfoPPOを提案する。
その結果,InfoPPOは長期的推論における非自明な割引の有効性を回復することを示した。
Qwen3モデルの実験は、競争ベースラインよりも一貫した利得を示している。
論文 参考訳(メタデータ) (2026-09-21T10:17:22Z) - Learning When to Act: Communication-Efficient Reinforcement Learning via Run-Time Assurance [0.27998963147546146]
Lyapunov の安全性保護の下で制御入力と通信効率のタイミング決定を単一ポリシで学習できることが示される。
実行時保証層は、1ステップのリアプノフ予測と事前計算されたLQRバックアップを介してポリシーをオーバーライドする。
12-state 3D quadrotor のケーススタディでは、古典的な STC が難解な高次元システムにフレームワークを拡張している。
論文 参考訳(メタデータ) (2026-05-11T23:55:15Z) - COOL-MC: Verifying and Explaining RL Policies for Platelet Inventory Management [0.0]
ハイエマらに触発された血小板在庫管理の訓練方針を検証し,説明する。
その結果、200段階の地平線内で、トレーニング済みの政策が2.9%のストックアウト確率と1.1%の在庫フル(潜在的洗浄)確率を達成することが示された。
このRLプレートレット在庫管理ポリシーの正式な検証と説明は、安全クリティカルな医療サプライチェーンドメインにおける透明性と監査可能な意思決定に対するCOOL-MCの価値を示している。
論文 参考訳(メタデータ) (2026-03-02T21:17:23Z) - Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。
より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。
DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
論文 参考訳(メタデータ) (2026-02-04T18:59:04Z) - Kinematic Tokenization: Optimization-Based Continuous-Time Tokens for Learnable Decision Policies in Noisy Time Series [0.2538209532048867]
トランスフォーマーは離散トークン用に設計されているが、多くの実世界の信号はノイズサンプリングによって観測される連続的なプロセスである。
最適化に基づく連続時間表現であるKinematic Tokenizationを導入する。
本研究では,明示的な連続時間トークンにより,雑音を伴う時系列における選択的決定ポリシーの学習性と校正性を向上できることを示す。
論文 参考訳(メタデータ) (2026-01-15T00:21:02Z) - Ratio-Variance Regularized Policy Optimization for Efficient LLM Fine-tuning [48.34492357368989]
本稿では,安定なオン・ポリティクス学習をサポートし,オフ・ポリティクスデータの再利用を原則とするプリミティブ・デュアル・フレームワークを提案する。
R2VPO$は、強いクリッピングベースのベースラインよりも17%の平均的な相対的なゲインで優れたパフォーマンスを実現している。
論文 参考訳(メタデータ) (2026-01-06T14:01:42Z) - Accelerating RL for LLM Reasoning with Optimal Advantage Regression [52.0792918455501]
本稿では,最適優位関数を直接近似する新しい2段階ポリシー最適化フレームワークを提案する。
A$*-POは、幅広い数学的推論ベンチマークで競合性能を達成する。
PPO、GRPO、REBELと比較して、トレーニング時間を最大2$times$、ピークメモリ使用率を30%以上削減する。
論文 参考訳(メタデータ) (2025-05-27T03:58:50Z) - Modular Deep Reinforcement Learning for Continuous Motion Planning with
Temporal Logic [59.94347858883343]
本稿では,マルコフ決定過程(MDP)をモデルとした自律動的システムの運動計画について検討する。
LDGBA と MDP の間に組込み製品 MDP (EP-MDP) を設計することである。
モデルフリー強化学習(RL)のためのLDGBAベースの報酬形成と割引スキームは、EP-MDP状態にのみ依存する。
論文 参考訳(メタデータ) (2021-02-24T01:11:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。