論文の概要: Deep Policy Iteration with Integer Programming for Inventory Management

• arxiv url: http://arxiv.org/abs/2112.02215v3
• Date: Tue, 07 Jan 2025 20:32:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-12 20:10:13.747828
• Title: Deep Policy Iteration with Integer Programming for Inventory Management
• Title（参考訳）: インテガープログラミングによるインベントリマネジメントのためのディープポリシーイテレーション
• Authors: Pavithra Harsha, Ashish Jagmohan, Jayant Kalagnanam, Brian Quanz, Divya Singhvi,
• Abstract要約: 本稿では,大規模なアクセス可能な行動空間と状態依存制約を用いた長期割引報酬問題を最適化するための枠組みを提案する。 提案したプログラム可能なアクター強化学習(PARL)は,ニューラルネットワーク(NN)を利用して値関数を近似するディープ・ポリシー法を用いる。 我々は、提案アルゴリズムを最先端のRLアルゴリズムに対してベンチマークし、一般的に補充を使い、既存の手法を平均14.7%も上回っていることを発見した。
• 参考スコア（独自算出の注目度）: 8.27175065641495
• License:
• Abstract: We present a Reinforcement Learning (RL) based framework for optimizing long-term discounted reward problems with large combinatorial action space and state dependent constraints. These characteristics are common to many operations management problems, e.g., network inventory replenishment, where managers have to deal with uncertain demand, lost sales, and capacity constraints that results in more complex feasible action spaces. Our proposed Programmable Actor Reinforcement Learning (PARL) uses a deep-policy iteration method that leverages neural networks (NNs) to approximate the value function and combines it with mathematical programming (MP) and sample average approximation (SAA) to solve the per-step-action optimally while accounting for combinatorial action spaces and state-dependent constraint sets. We show how the proposed methodology can be applied to complex inventory replenishment problems where analytical solutions are intractable. We also benchmark the proposed algorithm against state-of-the-art RL algorithms and commonly used replenishment heuristics and find it considerably outperforms existing methods by as much as 14.7% on average in various complex supply chain settings. We find that this improvement of PARL over benchmark algorithms can be directly attributed to better inventory cost management, especially in inventory constrained settings. Furthermore, in the simpler setting where optimal replenishment policy is tractable or known near optimal heuristics exist, we find that the RL approaches can learn near optimal policies. Finally, to make RL algorithms more accessible for inventory management researchers, we also discuss the development of a modular Python library that can be used to test the performance of RL algorithms with various supply chain structures and spur future research in developing practical and near-optimal algorithms for inventory management problems.
• Abstract（参考訳）: 本稿では,大規模な組合せ行動空間と状態依存制約を伴う長期割引報酬問題を最適化するための強化学習(RL)ベースのフレームワークを提案する。 これらの特徴は、ネットワーク在庫の補充のような多くの運用管理問題に共通しており、マネージャは不確実な需要、販売損失、そしてより複雑な実行可能な行動空間をもたらす容量制限に対処しなければならない。 提案したプログラムアクター強化学習(PARL)では,ニューラルネットワーク(NN)を利用して値関数を近似し,数値プログラミング(MP)とサンプル平均近似(SAA)を組み合わせて,組合せアクション空間と状態依存制約セットを考慮しつつ,ステップ毎の動作を最適に解く。 解析解が難解な複雑な在庫補充問題に対して,提案手法が適用可能であることを示す。 また、提案アルゴリズムを最先端のRLアルゴリズムに対してベンチマークし、補充ヒューリスティックス(relenishment heuristics)を用いて、様々な複雑なサプライチェーン設定で平均14.7%の精度で既存の手法よりかなり優れていることを示した。 ベンチマークアルゴリズムによるPARLの改善は,特に在庫制約設定において,在庫コスト管理の改善に直接寄与する可能性がある。 さらに、最適補充ポリシーが抽出可能か、あるいは最適ヒューリスティックに近いことが知られている単純な環境では、RLアプローチが最適に近いポリシーを学習できることが分かる。 最後に, 在庫管理研究者にとってRLアルゴリズムをより使いやすくするために, 様々なサプライチェーン構造を用いてRLアルゴリズムの性能をテストできるモジュール型Pythonライブラリの開発や, 在庫管理問題に対する実用的, ほぼ最適アルゴリズムの開発における今後の研究の促進についても論じる。

関連論文リスト

• Memory-Enhanced Neural Solvers for Efficient Adaptation in Combinatorial Optimization [6.713974813995327]
  本稿では、メモリを活用してニューラルネットワークの適応性を向上させるアプローチであるMementOを提案する。 我々は,大規模インスタンス上で全RL自動回帰解法をトレーニングし,MementOが拡張可能で,データ効率がよいことを示す。 全体として、MementOは評価された12のタスクのうち11に最先端のタスクをプッシュすることができる。
  論文  参考訳（メタデータ） (2024-06-24T08:18:19Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Combinatorial Optimization with Policy Adaptation using Latent Space Search [44.12073954093942]
  本稿では,複雑なNPハード問題を解くために,パフォーマンスアルゴリズムを設計するための新しいアプローチを提案する。 我々の検索戦略は11の標準ベンチマークタスクにおける最先端のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-13T12:24:54Z)
• Maximize to Explore: One Objective Function Fusing Estimation, Planning, and Exploration [87.53543137162488]
  我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。 textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。 様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
  論文  参考訳（メタデータ） (2023-05-29T17:25:26Z)
• CACTO: Continuous Actor-Critic with Trajectory Optimization -- Towards global optimality [5.0915256711576475]
  本稿では,Tlayy(TO)とReinforcement Learning(RL)を1つの軌道で組み合わせた,動的システムの連続制御のための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-11-12T10:16:35Z)
• A Two-stage Framework and Reinforcement Learning-based Optimization Algorithms for Complex Scheduling Problems [54.61091936472494]
  本稿では、強化学習(RL)と従来の運用研究(OR)アルゴリズムを組み合わせた2段階のフレームワークを開発する。 スケジューリング問題は,有限マルコフ決定過程 (MDP) と混合整数計画過程 (mixed-integer programming process) の2段階で解決される。 その結果,本アルゴリズムは,アジャイルな地球観測衛星スケジューリング問題に対して,安定かつ効率的に十分なスケジューリング計画を得ることができた。
  論文  参考訳（メタデータ） (2021-03-10T03:16:12Z)
• Deep Controlled Learning for Inventory Control [0.0]
  Controlled Deep Learning (DCL)は、在庫問題に対処するために特別に設計された近似ポリシーに基づく新しいDRLフレームワークである。 DCLは、失われた在庫管理、分かりやすい在庫システム、そして無作為なリードタイムで在庫システムにおいて、既存の最先端のイテレーションを上回ります。 これらの大幅な性能改善とロバスト性改善は、在庫管理問題に適合したDRLアルゴリズムを効果的に適用する道を開く。
  論文  参考訳（メタデータ） (2020-11-30T18:53:08Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)
• SUNRISE: A Simple Unified Framework for Ensemble Learning in Deep Reinforcement Learning [102.78958681141577]
  SUNRISEは単純な統一アンサンブル法であり、様々な非政治的な深層強化学習アルゴリズムと互換性がある。 SUNRISEは, (a) アンサンブルに基づく重み付きベルマンバックアップと, (b) 最上位の自信境界を用いて行動を選択する推論手法を統合し, 効率的な探索を行う。
  論文  参考訳（メタデータ） (2020-07-09T17:08:44Z)
• A Survey of Reinforcement Learning Algorithms for Dynamically Varying Environments [1.713291434132985]
  強化学習(Reinforcement Learning, RL)アルゴリズムは、在庫管理、レコメンデータシステム、車両交通管理、クラウドコンピューティング、ロボット工学などの分野で応用されている。 これらの領域で生じる多くのタスクの現実的な合併症は、古典的RLアルゴリズムの基礎となる基本的な仮定で解くのを難しくする。 本稿では、動的に変化する環境モデルを扱うために開発されたRL法について調査する。 これらのアルゴリズムの代表的コレクションは、それらの分類と相対的なメリットとデメリットと共に、この研究で詳細に議論されている。
  論文  参考訳（メタデータ） (2020-05-19T09:42:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。