論文の概要: Deep Learning for Dynamic Programming with Recursive Utility Using First-order Conditions

• arxiv url: http://arxiv.org/abs/2607.09461v1
• Date: Fri, 10 Jul 2026 14:36:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-13 14:47:12.862063
• Title: Deep Learning for Dynamic Programming with Recursive Utility Using First-order Conditions
• Title（参考訳）: 1次条件を用いた再帰的ユーティリティを用いた動的プログラミングのためのディープラーニング
• Abstract要約: 本稿では,再帰的ユーティリティを用いた離散時間動的プログラミング問題の解法であるCEFOLアルゴリズムを提案する。 CEFOLは、一定の等価性を表すために独立したニューラルネットワークを導入することで、ベルマンとモデル固有の一階最適条件の活用を可能にする。 CEFOLは、確実な等価性に加えて、ニューラルネットワークを使用して値関数、ポリシー関数、ラグランジュ乗算器も学習する。 このアルゴリズムをリスク感受性とEpstein--Zin消費削減問題、低雑音ロバスト制御問題に適用する。
• 参考スコア（独自算出の注目度）: 11.870588188339168
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes the certainty-equivalent first-order learning (CEFOL) algorithm, a deep learning algorithm for solving discrete-time dynamic programming problems with recursive utility. Dynamic programming with recursive utility is challenging because nonlinear certainty equivalent appears in the Bellman equation and the first-order optimality conditions but is difficult to evaluate. By introducing a separate neural network to represent the certainty equivalent, CEFOL enables the exploitation of the Bellman and model-specific first-order optimality conditions. In addition to certainty equivalent, CEFOL also uses neural networks to learn the value functions, policy functions, and Lagrange multipliers by using model-specific first-order conditions to construct residuals for minimization. By using first-order and KKT residuals to learn the policy, CEFOL directly accommodates general equality and inequality constraints on the controls, including occasionally binding constraints, without requiring penalty functions or problem-specific reformulations. We apply the algorithm to risk-sensitive and Epstein--Zin consumption-saving problems, a small-noise robust-control problem, and a DSGE model with recursive preferences and stochastic volatility. Across these applications, out-of-sample Bellman diagnostics and model-specific optimality residuals, including Euler or first-order residuals where applicable, are generally of order 1.0e-4 to 1.0e-3 over the relevant state regions, with larger values mainly near binding constraints, and the learned value and policy functions closely match VFI benchmarks when available. The CEFOL algorithm also works for dynamic programming problems with expected utility, as expected utility is a special case of recursive utility.
• Abstract（参考訳）: 本稿では,再帰的ユーティリティを用いた離散時間動的プログラミング問題の解法であるCEFOLアルゴリズムを提案する。 非線形確実性等価性はベルマン方程式や一階最適性条件に現れるが評価が難しいため、再帰的効用を持つ動的プログラミングは困難である。 CEFOLは、一定の等価性を表すために独立したニューラルネットワークを導入することで、ベルマンとモデル固有の一階最適条件の活用を可能にする。 確証等価性に加えて、CEFOLはニューラルネットワークを使用して値関数、ポリシー関数、ラグランジュ乗算器をモデル固有の一階条件を用いて学習し、最小化のための残差を構築する。 ポリシーを学ぶために一階法とKKT残基を使用することで、CEFOLは、ペナルティ関数や問題固有の改革を必要とせず、時折束縛された制約を含む、コントロールに対する一般的な平等と不平等の制約を直接許容する。 本稿では,リスク感受性およびEpstein-Zin消費削減問題,低雑音頑健制御問題,再帰的嗜好と確率的ボラティリティを有するDSGEモデルに適用する。 これらのアプリケーション全体にわたって、サンプル外ベルマン診断やモデル固有の最適性残差(ユーラーや一階残差を含む)は、一般的に、関連する状態領域に対して1.0e-4から1.0e-3の順で、主にバインディング制約に近い値で、学習された値とポリシー関数はVFIベンチマークと密接に一致している。 CEFOLアルゴリズムは、期待ユーティリティが再帰ユーティリティの特別なケースであるため、期待ユーティリティの動的プログラミング問題にも有効である。

関連論文リスト

• Deep Learning for Dynamic Programming with Recursive Utility [12.828016037720907]
  本稿では,高次元離散時間動的プログラミング問題の解法として,最初のディープラーニングアルゴリズムであるCertainty Equivalent Learning (CEL)アルゴリズムを提案する。 CELはニューラルネットワークと直接的に等価値を学び、値関数、ポリシー関数、確実値関数を互いに近似する。 CELは正確な値とポリシーの近似を提供し、高次元問題では有効であり、小雑音の頑健な制御の場合ではVFIに匹敵する精度を達成し、サンプル外ベルマン誤差を生成する。
  論文  参考訳（メタデータ） (2026-07-05T12:43:03Z)
• A Single-Loop Bilevel Deep Learning Method for Optimal Control of Obstacle Problems [10.846737757627638]
  本稿では,メッシュフリーで,高次元かつ複雑な領域に拡張性を持ち,離散化されたサブプロブレムの繰り返し解を回避できる単一ループバイレベルディープラーニング手法を提案する。 提案手法は,古典的数値法と比較して計算コストを低減しつつ,良好な精度を実現する。
  論文  参考訳（メタデータ） (2026-01-07T17:30:42Z)
• Single-loop Algorithms for Stochastic Non-convex Optimization with Weakly-Convex Constraints [49.76332265680669]
  本稿では、目的関数と制約関数の両方が弱凸である問題の重要な部分集合について検討する。 既存の手法では、収束速度の遅さや二重ループ設計への依存など、しばしば制限に直面している。 これらの課題を克服するために,新しい単一ループペナルティに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-21T17:15:48Z)
• Efficiently Training Deep-Learning Parametric Policies using Lagrangian Duality [55.06411438416805]
  制約付きマルコフ決定プロセス(CMDP)は、多くの高度な応用において重要である。 本稿では,パラメトリックアクターポリシーを効率的に訓練するための2段階深度決定規則(TS-DDR)を提案する。 現状の手法と比較して, 解の質を高め, 数桁の計算時間を削減できることが示されている。
  論文  参考訳（メタデータ） (2024-05-23T18:19:47Z)
• A Penalty-Based Guardrail Algorithm for Non-Decreasing Optimization with Inequality Constraints [1.5498250598583487]
  伝統的な数学的プログラミングの解法は制約付き最小化問題を解くのに長い計算時間を必要とする。 ペナルティに基づくガードレールアルゴリズム(PGA)を提案する。
  論文  参考訳（メタデータ） (2024-05-03T10:37:34Z)
• Sub-linear Regret in Adaptive Model Predictive Control [56.705978425244496]
  本稿では,STT-MPC (Self-Tuning tube-based Model Predictive Control) について述べる。 システム力学を最初に認識したアルゴリズムと比較して,アルゴリズムの後悔を解析する。
  論文  参考訳（メタデータ） (2023-10-07T15:07:10Z)
• Probabilistic Reach-Avoid for Bayesian Neural Networks [71.67052234622781]
  最適合成アルゴリズムは、証明された状態の数を4倍以上に増やすことができることを示す。 このアルゴリズムは、平均的な到達回避確率を3倍以上に向上させることができる。
  論文  参考訳（メタデータ） (2023-10-03T10:52:21Z)
• A Subgame Perfect Equilibrium Reinforcement Learning Approach to Time-inconsistent Problems [4.314956204483074]
  我々は,時間一貫性(TIC)問題に対するサブゲーム完全均衡強化学習フレームワークを構築した。 我々は,SPERLを解き,両課題に対処する,BPI(backward Policy iteration)と呼ばれるアルゴリズムの新たなクラスを提案する。 トレーニングフレームワークとしてのBPIの実用性を実証するため,標準的なRLシミュレーション手法を適用し,2つのBPIベースのトレーニングアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-10-27T09:21:35Z)
• Zeroth and First Order Stochastic Frank-Wolfe Algorithms for Constrained Optimization [13.170519806372075]
  2組の制約を持つ凸最適化の問題は、半定値プログラミングの文脈で頻繁に発生する。 最初の制約セットへのプロジェクションは困難であるため、プロジェクションフリーなアルゴリズムを探索する必要がある。 提案アルゴリズムの有効性は, スパース行列推定, 半定緩和によるクラスタリング, および一様スペースカット問題の適用性について検証した。
  論文  参考訳（メタデータ） (2021-07-14T08:01:30Z)
• Gaussian Process-based Min-norm Stabilizing Controller for Control-Affine Systems with Uncertain Input Effects and Dynamics [90.81186513537777]
  本稿では,この問題の制御・アフィン特性を捉えた新しい化合物カーネルを提案する。 この結果の最適化問題は凸であることを示し、ガウス過程に基づく制御リャプノフ関数第二次コーンプログラム(GP-CLF-SOCP)と呼ぶ。
  論文  参考訳（メタデータ） (2020-11-14T01:27:32Z)
• Logistic Q-Learning [87.00813469969167]
  MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。 提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
  論文  参考訳（メタデータ） (2020-10-21T17:14:31Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。