論文の概要: Towards Optimal Inventory Control under Censored Demand: A Biased Sample-Average Approximation Approach
- arxiv url: http://arxiv.org/abs/2609.39397v1
- Date: Wed, 30 Sep 2026 09:44:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.526982
- Title: Towards Optimal Inventory Control under Censored Demand: A Biased Sample-Average Approximation Approach
- Title(参考訳): センサド・デマンドによる最適在庫管理に向けて: バイアスドサンプル平均近似アプローチ
- Abstract要約: 我々は、規制された需要の下でデータ駆動の損失商品在庫管理を調査し、その在庫は、需要が在庫水準を超えたことだけを明らかにする。
我々は、検閲されたデータからポリシーを学習するための統一されたモデルベースのフレームワークを開発し、ベースストックポリシーの新しいコスト分解と偏りのあるサンプル平均近似アプローチを構築した。
- 参考スコア(独自算出の注目度): 27.45051992777196
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study data-driven multi-period lost-sales inventory control under censored demand, where a stockout reveals only that demand exceeded the stocking level. We develop a unified, model-based framework for policy learning from censored data, built on a new cost decomposition for base-stock policies and a biased sample-average approximation (SAA) approach. The cost decomposition allows us to propose a new coverage condition under which censored observations are informative enough for sample-efficient policy learning. Guided by this coverage condition, we design two biased SAA algorithms: an upper-biased one that achieves near-optimal sample complexity under the offline coverage condition, and a lower-biased one that actively generates the required coverage and achieves near-optimal regret online. More broadly, this biased SAA approach provides a general principle for implementing pessimism and optimism under censored feedback, which may be of independent interest.
- Abstract(参考訳): 我々は、規制された需要の下でデータ駆動型多期間ロスセール在庫管理を調査し、ストックアウトは、需要が在庫水準を超えたことだけを明らかにする。
我々は、検閲されたデータからポリシーを学習するための統一されたモデルベースのフレームワークを開発し、ベースストックポリシーの新しいコスト分解とバイアス付きサンプル平均近似(SAA)アプローチを構築した。
このコスト分解により,検閲された観察結果が,サンプル効率のよい政策学習に十分な情報を与える新しいカバレッジ条件が提案できる。
このカバレッジ条件で導かれた2つのバイアス付きSAAアルゴリズムを設計する。これは、オフラインのカバレッジ条件下でほぼ最適なサンプル複雑性を達成する上バイアス付きアルゴリズムと、要求されたカバレッジを積極的に生成し、オンラインでほぼ最適な後悔を達成する下バイアス付きアルゴリズムである。
より広くは、このバイアス付きSAAアプローチは、検閲されたフィードバックの下で悲観主義と楽観主義を実装するための一般的な原則を提供する。
関連論文リスト
- Coverage Improvement and Fast Convergence of On-policy Preference Learning [67.36750525893514]
言語モデルアライメントのためのオンラインのオンラインプライオリティ学習アルゴリズムは、オフラインのアルゴリズムよりも大幅に優れている。
我々は,サンプリング政策の包括的範囲が政治訓練を通じてどのように進展するかを分析する。
一般機能クラス設定における報奨蒸留のための原則的オンライン方式を開発した。
論文 参考訳(メタデータ) (2026-01-13T10:46:06Z) - Optimal Single-Policy Sample Complexity and Transient Coverage for Average-Reward Offline RL [6.224756774400233]
本研究では, 平均回帰MDPにおけるオフライン強化学習について検討し, 分散シフトと非一様カバレッジの観点から, さらなる課題を提示する。
対象とする政策,特にバイアススパンと新しい政策が半径を超えることのみに基づき,平均逆オフラインRLに束縛された最初の完全単一政治サンプルの複雑性が生じる。
論文 参考訳(メタデータ) (2025-06-26T00:22:39Z) - The Data-Driven Censored Newsvendor Problem [0.552480439325792]
我々は,データ駆動型ニューズベンダー問題の検閲版について検討する。そこでは,意思決定者は,期待される過給と低給のコストを最小限に抑える順序付け量を選択する必要がある。
我々のゴールは、歴史的需要の検閲の程度が、この問題に対する学習アルゴリズムのパフォーマンスにどのように影響するかを理解することである。
我々は、歴史的需要検閲のレベルに適応する、自然なロバストなアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-12-02T17:58:54Z) - Statistical Analysis of Policy Space Compression Problem [54.1754937830779]
政策探索手法は強化学習において重要であり、継続的な状態反応と部分的に観察可能な問題に対処するための枠組みを提供する。
政策圧縮による政策空間の削減は、学習プロセスを加速するための強力で報酬のないアプローチとして現れます。
この手法は方針空間をより小さく代表的な集合に凝縮し、元の効果のほとんどを維持している。
論文 参考訳(メタデータ) (2024-11-15T02:46:55Z) - Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。
過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。
報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
論文 参考訳(メタデータ) (2024-05-26T05:38:50Z) - Bi-Level Offline Policy Optimization with Limited Exploration [1.8130068086063336]
我々は、固定された事前コンパイルされたデータセットに基づいて良いポリシーを学習しようとするオフライン強化学習(RL)について研究する。
ポリシー(上層)と値関数(下層)の階層的相互作用をモデル化する2レベル構造化ポリシー最適化アルゴリズムを提案する。
我々は、オフラインRLのための合成、ベンチマーク、実世界のデータセットを混合して評価し、最先端の手法と競合することを示す。
論文 参考訳(メタデータ) (2023-10-10T02:45:50Z) - Importance-Weighted Offline Learning Done Right [16.4989952150404]
文脈的帯域幅問題におけるオフラインポリシー最適化の問題について検討する。
目標は、準最適行動ポリシーによって収集された決定データのデータセットに基づいて、ほぼ最適ポリシーを学ぶことである。
我々は、citet2015の「単純探索」推定に基づく単純な代替手法が、過去の全ての結果よりもほぼ全ての可能な条件で優れた性能保証を与えることを示した。
論文 参考訳(メタデータ) (2023-09-27T16:42:10Z) - Pessimistic Q-Learning for Offline Reinforcement Learning: Towards
Optimal Sample Complexity [51.476337785345436]
有限水平マルコフ決定過程の文脈におけるQ-ラーニングの悲観的変種について検討する。
ほぼ最適サンプル複雑性を実現するために,分散再現型悲観的Q-ラーニングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-02-28T15:39:36Z) - False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。
SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
論文 参考訳(メタデータ) (2021-10-24T15:34:03Z) - Beyond No Regret: Instance-Dependent PAC Reinforcement Learning [29.552894877883883]
低後悔を達成し、インスタンス最適率で$epsilon$-optimal Policyを特定できるというトレードオフが存在することを示す。
本稿では,このサンプル複雑性を実現する新しい計画ベースアルゴリズムの提案と解析を行う。
我々のアルゴリズムは最小限の最適値であり、いくつかの例では、インスタンス依存のサンプル複雑性は最悪のケース境界よりも大幅に改善されている。
論文 参考訳(メタデータ) (2021-08-05T16:34:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。