論文の概要: Deep Learning for Dynamic Programming with Recursive Utility

• arxiv url: http://arxiv.org/abs/2607.04278v1
• Date: Sun, 05 Jul 2026 12:43:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.881938
• Title: Deep Learning for Dynamic Programming with Recursive Utility
• Title（参考訳）: 再帰的ユーティリティによる動的プログラミングのためのディープラーニング
• Abstract要約: 本稿では,高次元離散時間動的プログラミング問題の解法として,最初のディープラーニングアルゴリズムであるCertainty Equivalent Learning (CEL)アルゴリズムを提案する。 CELはニューラルネットワークと直接的に等価値を学び、値関数、ポリシー関数、確実値関数を互いに近似する。 CELは正確な値とポリシーの近似を提供し、高次元問題では有効であり、小雑音の頑健な制御の場合ではVFIに匹敵する精度を達成し、サンプル外ベルマン誤差を生成する。
• 参考スコア（独自算出の注目度）: 12.828016037720907
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose the first deep learning algorithm, the Certainty Equivalent Learning (CEL) algorithm, for solving high-dimensional discrete-time dynamic programming problems with recursive utility. Dynamic programming with recursive utility is numerically challenging because the recursive utility does not have an explicit representation and the Bellman equation contains a certainty equivalent that is difficult to evaluate. The CEL algorithm learns this certainty-equivalent value directly with neural networks and jointly approximates value functions, policy functions, and certainty-equivalent functions. The CEL algorithm is mesh-free and simulation-based, allowing high-dimensional state and control spaces, and does not rely on Euler equations, first-order conditions, or differentiability of the state transition function. The CEL algorithm also works for dynamic programming problems with expected utility as expected utility is a special case of recursive utility. We apply the CEL to discounted linear exponential quadratic Gaussian control, small-noise robust control, Epstein-Zin DSGE, and multivariate strategic asset allocation problems. Compared with closed-form and VFI-based benchmarks, the CEL delivers accurate value and policy approximations, remains effective in high-dimensional problems, achieves accuracy comparable to VFI in the small-noise robust-control case, and produces out-of-sample Bellman errors and Euler or first-order residuals that are in the range from 1.0e-4 to 1.0e-3 for most problems.
• Abstract（参考訳）: 本稿では,再帰的ユーティリティを用いた高次元離散時間動的プログラミング問題の解法として,最初のディープラーニングアルゴリズムであるCertainty Equivalent Learning (CEL)アルゴリズムを提案する。 再帰的効用を持つ動的プログラミングは、再帰的効用が明示的な表現を持たず、ベルマン方程式は評価が難しい確実な等価性を含むため、数値的に困難である。 CELアルゴリズムは、この定値値を直接ニューラルネットワークで学習し、値関数、ポリシー関数、確実値関数を互いに近似する。 CELアルゴリズムはメッシュフリーでシミュレーションベースであり、高次元の状態と制御空間を許容し、オイラー方程式、一階条件、状態遷移関数の微分可能性に依存しない。 CELアルゴリズムは、期待されたユーティリティが再帰的ユーティリティの特別なケースであるので、期待されるユーティリティで動的プログラミング問題にも機能する。 本稿では, 線形指数二次ガウス制御, 小雑音ロバスト制御, Epstein-Zin DSGE, 多変量戦略資産割り当て問題に適用する。 クローズドフォームとVFIベースのベンチマークと比較すると、CELは正確な値とポリシーの近似を提供し、高次元問題でも有効であり、小雑音のロバスト制御の場合ではVFIに匹敵する精度を達成し、ほとんどの問題に対して、アウト・オブ・サンプルのベルマン誤差とオイラーまたは1次残差を生成する。

関連論文リスト

• Deep Learning for Dynamic Programming with Recursive Utility Using First-order Conditions [11.870588188339168]
  本稿では,再帰的ユーティリティを用いた離散時間動的プログラミング問題の解法であるCEFOLアルゴリズムを提案する。 CEFOLは、一定の等価性を表すために独立したニューラルネットワークを導入することで、ベルマンとモデル固有の一階最適条件の活用を可能にする。 CEFOLは、確実な等価性に加えて、ニューラルネットワークを使用して値関数、ポリシー関数、ラグランジュ乗算器も学習する。 このアルゴリズムをリスク感受性とEpstein--Zin消費削減問題、低雑音ロバスト制御問題に適用する。
  論文  参考訳（メタデータ） (2026-07-10T14:36:28Z)
• Efficiently Training Deep-Learning Parametric Policies using Lagrangian Duality [55.06411438416805]
  制約付きマルコフ決定プロセス(CMDP)は、多くの高度な応用において重要である。 本稿では,パラメトリックアクターポリシーを効率的に訓練するための2段階深度決定規則(TS-DDR)を提案する。 現状の手法と比較して, 解の質を高め, 数桁の計算時間を削減できることが示されている。
  論文  参考訳（メタデータ） (2024-05-23T18:19:47Z)
• Sub-linear Regret in Adaptive Model Predictive Control [56.705978425244496]
  本稿では,STT-MPC (Self-Tuning tube-based Model Predictive Control) について述べる。 システム力学を最初に認識したアルゴリズムと比較して,アルゴリズムの後悔を解析する。
  論文  参考訳（メタデータ） (2023-10-07T15:07:10Z)
• Data-Driven H-infinity Control with a Real-Time and Efficient Reinforcement Learning Algorithm: An Application to Autonomous Mobility-on-Demand Systems [3.5897534810405403]
  本稿では,線形離散時間系のH$_infty$制御を解くために,モデルフリー,リアルタイム,データ効率のQ-ラーニングに基づくアルゴリズムを提案する。 適応最適制御器を設計し、システムダイナミクスの知識を必要とせず、アクションと批評家ネットワークのパラメータをオンラインで学習する。
  論文  参考訳（メタデータ） (2023-09-16T05:02:41Z)
• Langevin dynamics based algorithm e-TH$\varepsilon$O POULA for stochastic optimization problems with discontinuous stochastic gradient [6.563379950720334]
  我々は,不連続勾配による最適化問題を解くために,e-TH$varepsilon$O POULAと呼ばれる新しいランゲヴィン力学に基づくアルゴリズムを導入する。 金融と保険の3つの重要な応用として、多周期ポートフォリオ最適化、多周期ポートフォリオ最適化におけるトランスファーラーニング、保険請求予測がある。
  論文  参考訳（メタデータ） (2022-10-24T13:10:06Z)
• Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time Guarantees [56.848265937921354]
  逆強化学習(IRL)は報酬関数と関連する最適ポリシーを回復することを目的としている。 IRLの多くのアルゴリズムは本質的にネスト構造を持つ。 我々は、報酬推定精度を損なわないIRLのための新しいシングルループアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-10-04T17:13:45Z)
• Continuous-Time Fitted Value Iteration for Robust Policies [93.25997466553929]
  ハミルトン・ヤコビ・ベルマン方程式の解法は、制御、ロボティクス、経済学を含む多くの領域において重要である。 連続適合値反復(cFVI)とロバスト適合値反復(rFVI)を提案する。 これらのアルゴリズムは、多くの連続制御問題の非線形制御-アフィンダイナミクスと分離可能な状態とアクション報酬を利用する。
  論文  参考訳（メタデータ） (2021-10-05T11:33:37Z)
• Non-asymptotic estimates for TUSLA algorithm for non-convex learning with applications to neural networks with ReLU activation function [3.5044892799305956]
  Lovas et alで導入された未調整Langevinアルゴリズム(TUSLA)の非漸近解析を行う。 特に、Wassersteinstein-1-2におけるTUSLAアルゴリズムの非漸近誤差境界を確立する。 TUSLAアルゴリズムは最適解に急速に収束することを示す。
  論文  参考訳（メタデータ） (2021-07-19T07:13:02Z)
• Joint Optimization of Multi-Objective Reinforcement Learning with Policy Gradient Based Algorithm [50.50545326342971]
  複数の長期目標の非線形凹関数を最大化する問題を定式化する。 この問題に対してポリシー段階に基づくモデルフリーアルゴリズムを提案する。 提案アルゴリズムは,グローバルオプティマの$epsilon$以内に収束することが示されている。
  論文  参考訳（メタデータ） (2021-05-28T22:20:54Z)
• Average-Reward Off-Policy Policy Evaluation with Function Approximation [66.67075551933438]
  平均報酬MDPの関数近似によるオフポリシ政策評価を検討する。 ブートストラップは必要であり、オフポリシ学習とFAと一緒に、致命的なトライアドをもたらす。 そこで本研究では,勾配型tdアルゴリズムの成功を再現する2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-08T00:43:04Z)
• Gaussian Process-based Min-norm Stabilizing Controller for Control-Affine Systems with Uncertain Input Effects and Dynamics [90.81186513537777]
  本稿では,この問題の制御・アフィン特性を捉えた新しい化合物カーネルを提案する。 この結果の最適化問題は凸であることを示し、ガウス過程に基づく制御リャプノフ関数第二次コーンプログラム(GP-CLF-SOCP)と呼ぶ。
  論文  参考訳（メタデータ） (2020-11-14T01:27:32Z)
• Logistic Q-Learning [87.00813469969167]
  MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。 提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
  論文  参考訳（メタデータ） (2020-10-21T17:14:31Z)
• Convex Q-Learning, Part 1: Deterministic Optimal Control [5.685589351789462]
  一般的な関数近似設定へのワトキンスアルゴリズムの拡張が困難であることはよく知られている。 論文は、線形プログラミングアプローチによる最適制御に関する簡単な調査から始まり、特にパラメータ化の過度化が強化学習の応用に繋がる。 凸 Q-ラーニングはベルマン方程式を近似する凸プログラムを解くが、DQNの理論は関数近似のワトキンスアルゴリズムよりも強いものではない。
  論文  参考訳（メタデータ） (2020-08-08T17:17:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。