論文の概要: Proximal Residual Value Functions for Consistent Planning and Real-Time Execution

• arxiv url: http://arxiv.org/abs/2609.23242v1
• Date: Sat, 19 Sep 2026 22:51:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.733982
• Title: Proximal Residual Value Functions for Consistent Planning and Real-Time Execution
• Title（参考訳）: 連続計画と実時間実行のための近位残留値関数
• Abstract要約: 本研究では,計画層が定期的に到着資源を割り当てるリアルタイムに継続値関数を供給している2時間決定システムについて検討する。 固有残差関数を用いたエンドツーエンド強化学習(RL)手法を提案する。 大規模な電子商取引業者からの在庫到着と需要パターンを用いたオフラインシミュレーションにおいて、学習された残高関数は、履歴生産システムプロキシに対する総ルーティングと転送コストを5.0%削減する。
• 参考スコア（独自算出の注目度）: 7.341549077901084
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study two-timescale decision systems in which a planning layer periodically supplies a continuation-value function to a real-time optimizer that allocates arriving resources, with inventory placement as our motivating application. We propose an end-to-end reinforcement learning (RL) method for learning this function using \emph{proximal residual value functions}, which combine a strictly convex potential of post-decision inventory with a learned convex residual. This general form yields a well-posed optimization layer that supports end-to-end differentiation while preserving an explicit convex objective for real-time execution. We characterize the necessary and sufficient conditions under which a smooth value function yields decisions that are consistent across the planning and execution timescales. In an offline simulation using historical inventory arrival and demand patterns from a large e-commerce retailer, learned proximal residual value functions reduce total routing and transfer cost relative to a historical-production-system proxy by 5.0%.
• Abstract（参考訳）: 本研究では,計画層が定期的に資源を割り当てるリアルタイムオプティマイザに継続値関数を供給し,在庫配置をモチベーションアプリケーションとする2段階の意思決定システムについて検討する。 本稿では,この関数を 'emph{proximal residual value function} を用いて学習するためのエンドツーエンド強化学習(RL)法を提案する。 この一般的な形式は、実時間実行のための明示的な凸目標を維持しながら、エンドツーエンドの微分をサポートする、よく考えられた最適化層をもたらす。 我々は、スムーズな値関数が計画と実行の時間スケールで一貫した決定を下す必要十分条件を特徴づける。 大手電子商取引業者からの在庫到着と需要パターンを用いたオフラインシミュレーションにおいて、学習した近位残高関数は、履歴生産システムプロキシに対する総ルーティングと転送コストを5.0%削減する。

関連論文リスト

• Finite-Time Bounds for Distributionally Robust TD Learning with Linear Function Approximation [5.638124543342179]
  線形関数近似を用いた最初の頑健な時間差学習を提案する。 我々の結果は、ロバストなRLアルゴリズムの実証的な成功と、ロバストでないアルゴリズムが享受する漸近的保証との間に重要なギャップを埋める。
  論文  参考訳（メタデータ） (2025-10-02T07:01:41Z)
• Adaptive Replication Strategies in Trust-Region-Based Bayesian Optimization of Stochastic Functions [0.8379286663107846]
  ガウス過程モデルに基づくシミュレーション最適化手法の開発と解析を行う。 提案手法は, 取得関数の選択から評価コストの設定に至るまで, 複製を促進するためのいくつかのスキームを提案する。
  論文  参考訳（メタデータ） (2025-04-29T08:13:16Z)
• Semiparametric Double Reinforcement Learning with Applications to Long-Term Causal Inference [33.14076284663493]
  短期的なデータから長期的な因果効果を推定しなければならない。 MDPはこのような長期的ダイナミクスを捉えるための自然なフレームワークを提供する。 非パラメトリックな実装は時間間重なりの強い仮定を必要とする。 アイソトニックベルマンキャリブレーションに基づく新しいプラグイン推定器を提案する。
  論文  参考訳（メタデータ） (2025-01-12T20:35:28Z)
• Q-value Regularized Transformer for Offline Reinforcement Learning [70.13643741130899]
  オフライン強化学習(RL)における最先端化のためのQ値正規化変換器(QT)を提案する。 QTはアクション値関数を学習し、条件付きシーケンスモデリング(CSM)のトレーニング損失にアクション値を最大化する用語を統合する D4RLベンチマークデータセットの実証評価は、従来のDP法やCSM法よりもQTの方が優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-27T12:12:39Z)
• Value-Distributional Model-Based Reinforcement Learning [59.758009422067]
  政策の長期的業績に関する不確実性の定量化は、シーケンシャルな意思決定タスクを解決するために重要である。 モデルに基づくベイズ強化学習の観点から問題を考察する。 本稿では,値分布関数を学習するモデルに基づくアルゴリズムであるEpicemic Quantile-Regression(EQR)を提案する。
  論文  参考訳（メタデータ） (2023-08-12T14:59:19Z)
• Maximize to Explore: One Objective Function Fusing Estimation, Planning, and Exploration [87.53543137162488]
  我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。 textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。 様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
  論文  参考訳（メタデータ） (2023-05-29T17:25:26Z)
• FAStEN: An Efficient Adaptive Method for Feature Selection and Estimation in High-Dimensional Functional Regressions [7.674715791336311]
  本稿では,スパース関数オン・ファンクション回帰問題において特徴選択を行うための,新しい,柔軟な,超効率的なアプローチを提案する。 我々はそれをスカラー・オン・ファンクション・フレームワークに拡張する方法を示す。 AOMIC PIOP1による脳MRIデータへの応用について述べる。
  論文  参考訳（メタデータ） (2023-03-26T19:41:17Z)
• Near-optimal Offline Reinforcement Learning with Linear Representation: Leveraging Variance Information with Pessimism [65.46524775457928]
  オフライン強化学習は、オフライン/歴史的データを活用して、シーケンシャルな意思決定戦略を最適化しようとしている。 線形モデル表現を用いたオフライン強化学習の統計的限界について検討する。
  論文  参考訳（メタデータ） (2022-03-11T09:00:12Z)
• Variance-Aware Off-Policy Evaluation with Linear Function Approximation [85.75516599931632]
  線形関数近似を用いた強化学習における非政治的評価問題について検討する。 本稿では,値関数の分散を推定し,フィルタQ-Iterationにおけるベルマン残差を再重み付けするアルゴリズムVA-OPEを提案する。
  論文  参考訳（メタデータ） (2021-06-22T17:58:46Z)
• Exploiting Submodular Value Functions For Scaling Up Active Perception [60.81276437097671]
  アクティブな知覚タスクでは、エージェントは1つ以上の隠れ変数の不確実性を減少させる感覚行動を選択することを目的としている。 部分的に観測可能なマルコフ決定過程(POMDP)は、そのような問題に対する自然なモデルを提供する。 エージェントが利用できるセンサーの数が増えるにつれて、POMDP計画の計算コストは指数関数的に増加する。
  論文  参考訳（メタデータ） (2020-09-21T09:11:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。