論文の概要: Hard Constraints, Smooth Gradients: Learning Feasible Inventory Policies via Differentiable Projection

• arxiv url: http://arxiv.org/abs/2608.02343v1
• Date: Mon, 03 Aug 2026 14:57:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.611786
• Title: Hard Constraints, Smooth Gradients: Learning Feasible Inventory Policies via Differentiable Projection
• Title（参考訳）: 厳密な制約と平滑なグラディエント:微分可能射影による有意義な発明政策の学習
• Abstract要約: 混合整数線形プログラム(MILP)は、そのような制約を柔軟に扱えるが、環境ではスケールが不十分である。 ポリシー内に微分可能な凸最適化モジュールを埋め込むことで、このギャップを埋める。 実現可能性の強制は、正確な整数射影に対して誤差が有界であることを示し、実現可能な作用空間全体が到達可能であることを保証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many operational problems are constrained sequential decision processes with large, combinatorial action spaces and interdependent feasibility constraints. Mixed-integer linear programs (MILPs) handle such constraints flexibly but scale poorly in stochastic environments. Deep reinforcement learning (DRL) promises scalable decision rules, but existing methods either penalize constraints rather than enforce them, or rely on feasibility mechanisms that break down once constraints interact. We bridge this gap by embedding a differentiable convex optimization module inside the policy: a neural network proposes continuous action targets, a quadratic program projects them onto the relaxed feasible set, and a dual-informed integer mapping restores integrality while preserving feasibility. Given a differentiable simulator, the policy trains end to end from sampled trajectories using pathwise gradients, while handling hard constraints with similar flexibility to MILPs. We show that our feasibility enforcement has bounded error relative to an exact integer projection and ensures the entire feasible action space is reachable. We apply the method to multi-echelon production-inventory planning under shared resource and material constraints. Our policy attains an average optimality gap below 1% on small instances. It further outperforms state-of-the-art echelon base-stock policies by up to 9.75% and a rolling-horizon multi-stage stochastic program by at least 7.7% in larger networks. On an industry-scale case study from ASML, it reduces average cost by up to 3.22% relative to the best-known benchmark policy. The savings are largest where planning is hardest: in tightly capacitated systems with high demand variability. More broadly, our work shows that DRL can deliver economically significant savings in sequential decision problems with interdependent hard constraints, which are widespread in practice.
• Abstract（参考訳）: 多くの運用上の問題は、大きな組合せアクション空間と相互依存可能な実行可能性制約を持つ順序決定プロセスに制約がある。 混合整数線形プログラム(MILP)は、そのような制約を柔軟に扱うが、確率的環境ではスケールが不十分である。 深層強化学習(DRL)はスケーラブルな決定ルールを約束するが、既存の手法は制約を強制するのではなく、制約を罰する。 ニューラルネットワークは連続的なアクションターゲットを提案し、二次プログラムは緩和可能な集合にそれらを投影し、双インフォームされた整数マッピングは実現可能性を維持しながら積分性を復元する。 異なるシミュレーターが与えられると、ポリシートレインはパスワイズ勾配を用いてサンプル軌道から終了し、MILPと同様の柔軟性で厳しい制約に対処する。 実現可能性の強制は、正確な整数射影に対して誤差が有界であることを示し、実現可能な作用空間全体が到達可能であることを保証する。 本手法を共有資源および材料制約下でのマルチエケロン生産・発明計画に適用する。 当社のポリシーは,小インスタンスの平均最適性ギャップを1%以下に達成している。 さらに、最先端のエキロンベースのストックポリシーを最大9.75%上回り、ローリングホライゾンのマルチステージ確率プログラムを少なくとも7.7%上回っている。 ASMLによる業界規模のケーススタディでは、最もよく知られているベンチマークポリシーと比較して、平均コストを最大3.22%削減する。 貯蓄は、需要の変動が激しい密閉型システムにおいて、最も計画が難しい場所である。 より広範に、我々の研究はDRLが相互依存の厳しい制約を伴うシーケンシャルな決定問題において経済的に重要な節約を提供できることを示しています。

関連論文リスト

• Adaptive Neighborhood-Constrained Q Learning for Offline Reinforcement Learning [52.03884701766989]
  オフライン強化学習(RL)アルゴリズムは、通常、アクション選択に制約を課す。 本稿では,Bellmanターゲットにおける行動選択を,データセットアクションの近傍の結合に制限する新しい地区制約を提案する。 我々は,この制約を満たす目標動作を用いてQ学習を行うための,単純で効果的なアルゴリズムであるAdaptive Neighborhood-Constrained Q Learning(ANQ)を開発した。
  論文  参考訳（メタデータ） (2025-11-04T13:42:05Z)
• Constrained Adversarial Perturbation [16.05659740749269]
  UAP(Universal Adversarial Perturbations)は、ストレステストモデルロバストネスとスケーラブルな対向トレーニングの両方のための強力なツールとして登場した。 本稿では、勾配に基づく交互最適化手法を用いて、この問題を解決する効率的なアルゴリズムである Constrained Adversarial Perturbation (CAP) を提案する。
  論文  参考訳（メタデータ） (2025-10-17T14:44:20Z)
• Constrained Gaussian Process Motion Planning via Stein Variational Newton Inference [16.97959227638119]
  本稿では,制約付き定常変分ガウス過程運動計画(cSGPMP)フレームワークを提案する。 提案手法は, 非線形制約を明示的に扱いながら, 粒子ベース推論の効率を向上する。 350の計画タスクで平均98.57%の成功率を達成した。
  論文  参考訳（メタデータ） (2025-04-07T11:20:11Z)
• Reinforcement learning with combinatorial actions for coupled restless bandits [62.89013331120493]
  提案するSEQUOIAは,動作空間に対する長期報酬を直接最適化するRLアルゴリズムである。 我々は,複数介入,経路制約,二部間マッチング,容量制約という,制約を伴う4つの新しいレスレス・バンディット問題に対して,SEQUOIAを実証的に検証した。
  論文  参考訳（メタデータ） (2025-03-01T21:25:21Z)
• Efficiently Training Deep-Learning Parametric Policies using Lagrangian Duality [55.06411438416805]
  制約付きマルコフ決定プロセス(CMDP)は、多くの高度な応用において重要である。 本稿では,パラメトリックアクターポリシーを効率的に訓練するための2段階深度決定規則(TS-DDR)を提案する。 現状の手法と比較して, 解の質を高め, 数桁の計算時間を削減できることが示されている。
  論文  参考訳（メタデータ） (2024-05-23T18:19:47Z)
• Learning Adversarial MDPs with Stochastic Hard Constraints [37.24692425018]
  我々は,制約付きマルコフ決定過程(CMDP)におけるオンライン学習について,敵対的損失と厳しい制約を伴って検討した。 我々の研究は、敵の損失と厳しい制約の両方にかかわるCMDPを初めて研究した。
  論文  参考訳（メタデータ） (2024-03-06T12:49:08Z)
• Uniformly Safe RL with Objective Suppression for Multi-Constraint Safety-Critical Applications [73.58451824894568]
  広く採用されているCMDPモデルは予測のリスクを制約しており、長い尾の州で危険な行動を起こす余地がある。 安全クリティカルな領域では、そのような行動は破滅的な結果をもたらす可能性がある。 本稿では,目標を最大化するタスク報酬を適応的に抑制する新しい手法であるObjective Suppressionを提案する。
  論文  参考訳（メタデータ） (2024-02-23T23:22:06Z)
• Generative Modelling of Stochastic Actions with Arbitrary Constraints in Reinforcement Learning [25.342811509665097]
  強化学習(RL)における多くの問題は、大きな離散多次元かつ非順序の作用空間を持つ最適ポリシーを求める。 この設定の課題は、下層の作用空間が分類的(離散的かつ非順序的)で大きいことである。 本研究では,(状態)条件正規化フローを適用して,ポリシーをコンパクトに表現することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2023-11-26T15:57:20Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)
• Deep Constrained Q-learning [15.582910645906145]
  多くの実世界の応用において、強化学習エージェントは特定の規則に従うか制約を満たすことなく、複数の目的を最適化する必要がある。 制約付きMDPの最適Q関数とそれに対応する安全ポリシーを学習するために,Q更新時の行動空間を直接制限する新しい非政治的強化学習フレームワークであるConstrained Q-learningを提案する。
  論文  参考訳（メタデータ） (2020-03-20T17:26:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。