論文の概要: Neural Inventory Control in Networks via Hindsight Differentiable Policy Optimization

• arxiv url: http://arxiv.org/abs/2306.11246v2
• Date: Mon, 22 Apr 2024 20:07:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 20:14:41.032299
• Title: Neural Inventory Control in Networks via Hindsight Differentiable Policy Optimization
• Title（参考訳）: 隠れた微分可能なポリシー最適化によるネットワーク内のニューラルインベントリ制御
• Authors: Matias Alvo, Daniel Russo, Yash Kanoria,
• Abstract要約: 我々は、在庫管理が深層強化学習(DRL)アルゴリズムを確実に適用し、評価するユニークな機会であると主張している。 ひとつはHendsight Differentiable Policy Optimization (HDPO)で、政策性能を最適化するために勾配降下を行う。 第2の手法は、ポリシー(神経)ネットワーク構造と在庫ネットワークの構造を整合させることである。
• 参考スコア（独自算出の注目度）: 5.590976834881065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We argue that inventory management presents unique opportunities for reliably applying and evaluating deep reinforcement learning (DRL). Toward reliable application, we emphasize and test two techniques. The first is Hindsight Differentiable Policy Optimization (HDPO), which performs stochastic gradient descent to optimize policy performance while avoiding the need to repeatedly deploy randomized policies in the environment-as is common with generic policy gradient methods. Our second technique involves aligning policy (neural) network architectures with the structure of the inventory network. Specifically, we focus on a network with a single warehouse that consolidates inventory from external suppliers, holds it, and then distributes it to many stores as needed. In this setting, we introduce the symmetry-aware policy network architecture. We motivate this architecture by establishing an asymptotic performance guarantee and empirically demonstrate its ability to reduce the amount of data needed to uncover strong policies. Both techniques exploit structures inherent in inventory management problems, moving beyond generic DRL algorithms. Toward rigorous evaluation, we create and share new benchmark problems, divided into two categories. One type focuses on problems with hidden structures that allow us to compute or bound the cost of the true optimal policy. Across four problems of this type, we find HDPO consistently attains near-optimal performance, handling up to 60-dimensional raw state vectors effectively. The other type of evaluation involves constructing a test problem using real time series data from a large retailer, where the optimum is poorly understood. Here, we find HDPO methods meaningfully outperform a variety of generalized newsvendor heuristics. Our code can be found at github.com/MatiasAlvo/Neural_inventory_control.
• Abstract（参考訳）: 我々は,在庫管理が深層強化学習(DRL)を確実に適用し,評価するためのユニークな機会であると主張している。 信頼性の高いアプリケーションに向けて、我々は2つのテクニックを強調し、テストする。 ひとつはHendsight Differentiable Policy Optimization (HDPO) であり、一般的なポリシー勾配法と共通する環境において、ランダム化されたポリシーを繰り返し展開する必要を回避しながら、ポリシー性能を最適化するために確率勾配降下を行う。 第2のテクニックは、ポリシー(神経)ネットワークアーキテクチャと在庫ネットワークの構造を整合させることです。 具体的には、外部サプライヤーの在庫を集約し、それを保持し、必要に応じて多くの店舗に流通する単一倉庫のネットワークに焦点を当てる。 本稿では,対称性を考慮したポリシネットワークアーキテクチャを提案する。 我々は、このアーキテクチャを、漸近的なパフォーマンス保証を確立することによって動機付け、強力なポリシーを明らかにするために必要なデータ量を減らす能力を実証的に示す。 どちらの手法も在庫管理の問題に固有の構造を利用しており、一般的なDRLアルゴリズムを超えている。 厳密な評価に向けて、我々は2つのカテゴリに分けられた新しいベンチマーク問題を作成し、共有する。 1つのタイプは、真の最適ポリシーのコストを計算したり、制限したりできる隠された構造に関する問題に焦点を当てます。 このタイプの4つの問題のうち、HDPOは、最大60次元の原状態ベクトルを効果的に処理し、ほぼ最適性能が得られる。 もう一つの評価手法は、大規模小売店の時系列データを用いて、最適性が不十分なテスト問題を構築することである。 ここでは,HDPO法が様々な一般化ニューズベンダーヒューリスティックよりも有意に優れていることを示す。 私たちのコードはgithub.com/MatiasAlvo/Neural_inventory_controlで見られます。

関連論文リスト

• SimQ-NAS: Simultaneous Quantization Policy and Neural Architecture Search [6.121126813817338]
  最近のワンショットニューラルネットワーク検索アルゴリズムは、特定のタスクに適したハードウェアに依存しないスーパーネットワークをトレーニングし、異なるハードウェアプラットフォームのための効率的なサブネットワークを抽出する。 我々は,光学習された予測器と組み合わせた多目的探索アルゴリズムを用いることで,サブネットワークアーキテクチャとそれに対応する量子化ポリシーの両方を効率的に探索できることを示す。
  論文  参考訳（メタデータ） (2023-12-19T22:08:49Z)
• Adjustable Robust Reinforcement Learning for Online 3D Bin Packing [11.157035538606968]
  現在のオンライン3D-BPPの深層強化学習方法は、いくつかの最悪のシナリオが実現可能な実世界の環境では失敗する。 本研究では,ロバストネス重みの効率的な調整が可能なロバスト強化学習フレームワークを提案する。 実験により、AR2Lはポリシーの堅牢性を向上しつつ、名目上のケースで許容されるパフォーマンスのレベルを維持しつつ、万能であることが示された。
  論文  参考訳（メタデータ） (2023-10-06T15:34:21Z)
• Probabilistic Reach-Avoid for Bayesian Neural Networks [71.67052234622781]
  最適合成アルゴリズムは、証明された状態の数を4倍以上に増やすことができることを示す。 このアルゴリズムは、平均的な到達回避確率を3倍以上に向上させることができる。
  論文  参考訳（メタデータ） (2023-10-03T10:52:21Z)
• Diversity Through Exclusion (DTE): Niche Identification for Reinforcement Learning through Value-Decomposition [63.67574523750839]
  本稿では,多変量ニッチ環境におけるベースライン深度Q-ラーニングアルゴリズムよりも優れた汎用強化学習(RL)アルゴリズムを提案する。 この方法で訓練されたエージェントは、貧弱だが魅力ある局所最適化から逃れて、より高い価値戦略の発見を困難にすることを示します。
  論文  参考訳（メタデータ） (2023-02-02T16:00:19Z)
• Optimistic Linear Support and Successor Features as a Basis for Optimal Policy Transfer [7.970144204429356]
  我々は、SFが凸被覆集合を形成するポリシーの集合を学習するために、最適化線形サポートアルゴリズムのSFベースの拡張を導入する。 この集合におけるポリシは、一般化されたポリシー改善を通じて組み合わせて、新しい線形表現可能なタスクに対して最適な振る舞いを構築することができることを示す。
  論文  参考訳（メタデータ） (2022-06-22T19:00:08Z)
• Learning Optimal Antenna Tilt Control Policies: A Contextual Linear Bandit Approach [65.27783264330711]
  セルラーネットワークにおけるアンテナ傾きの制御は、ネットワークのカバレッジとキャパシティの間の効率的なトレードオフに到達するために不可欠である。 既存のデータから最適な傾き制御ポリシーを学習するアルゴリズムを考案する。 従来のルールベースの学習アルゴリズムよりもはるかに少ないデータサンプルを用いて最適な傾き更新ポリシーを作成できることを示す。
  論文  参考訳（メタデータ） (2022-01-06T18:24:30Z)
• Math Programming based Reinforcement Learning for Multi-Echelon Inventory Management [1.9161790404101895]
  強化学習は、ロボット工学、ゲーム、その他多くの分野において、かなりのブレークスルーをもたらしている。 しかし、複雑な実世界の意思決定問題におけるRLの応用は依然として限られている。 これらの特徴は、ステップアクションの問題を解くために列挙法に依存する既存のRL法において、問題を解くのをかなり難しくする。 本研究では,不確実性分布の適切に選択された離散化が,不確実性からのサンプルがごく少ない場合でも,最適なアクターポリシーに近づきうることを示す。 PARLはベースストックを44.7%、RL法を12.1%上回っている。
  論文  参考訳（メタデータ） (2021-12-04T01:40:34Z)
• Robust Predictable Control [149.71263296079388]
  提案手法は,従来の手法よりもはるかに厳密な圧縮を実現し,標準的な情報ボトルネックよりも最大5倍高い報酬が得られることを示す。 また,本手法はより堅牢で,新しいタスクをより一般化したポリシーを学習することを示す。
  論文  参考訳（メタデータ） (2021-09-07T17:29:34Z)
• Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy [95.98698822755227]
  本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。 本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-28T05:02:26Z)
• Queueing Network Controls via Deep Reinforcement Learning [0.0]
  待ち行列ネットワークのためのポリシ最適化アルゴリズムを開発した。 このアルゴリズムは、文学における最先端よりも優れた制御ポリシーを一貫して生成する。 PPOアルゴリズムの成功の鍵は、相対値関数を推定するために3つの分散還元技術を使用することである。
  論文  参考訳（メタデータ） (2020-07-31T01:02:57Z)
• Resource Allocation via Model-Free Deep Learning in Free Space Optical Communications [119.81868223344173]
  本稿では,自由空間光学(FSO)通信におけるチャネルフェージング効果の緩和のための資源配分の一般的な問題について検討する。 本フレームワークでは,FSO資源割り当て問題を解決する2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。