論文の概要: Solving stochastic optimal control problem via stochastic maximum
principle with deep learning method
- arxiv url: http://arxiv.org/abs/2007.02227v5
- Date: Tue, 22 Jun 2021 02:39:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-13 08:38:15.122416
- Title: Solving stochastic optimal control problem via stochastic maximum
principle with deep learning method
- Title(参考訳): 深層学習法を用いた確率最大原理による確率最適制御問題の解法
- Authors: Shaolin Ji, Shige Peng, Ying Peng, Xichuan Zhang
- Abstract要約: 新しい制御問題を解くために3つのアルゴリズムが提案されている。
この手法の重要な応用は、完全非線形PDEの一種に対応するサブ線形期待値を計算することである。
- 参考スコア(独自算出の注目度): 0.2064612766965483
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we aim to solve the high dimensional stochastic optimal
control problem from the view of the stochastic maximum principle via deep
learning. By introducing the extended Hamiltonian system which is essentially
an FBSDE with a maximum condition, we reformulate the original control problem
as a new one. Three algorithms are proposed to solve the new control problem.
Numerical results for different examples demonstrate the effectiveness of our
proposed algorithms, especially in high dimensional cases. And an important
application of this method is to calculate the sub-linear expectations, which
correspond to a kind of fully nonlinear PDEs.
- Abstract(参考訳): 本稿では,高次元確率的最適制御問題を深層学習による確率的最大原理の観点から解くことを目的とする。
基本的に最大条件を持つFBSDEである拡張ハミルトン系を導入することにより、元の制御問題を新しいものとして再構成する。
新しい制御問題を解くために3つのアルゴリズムが提案されている。
異なる例に対する数値結果は,提案手法の有効性,特に高次元の場合の有効性を示す。
また, この手法の重要な応用は, 非線形PDEの一種に対応するサブ線形期待値を計算することである。
関連論文リスト
- Optimizing Solution-Samplers for Combinatorial Problems: The Landscape
of Policy-Gradient Methods [52.0617030129699]
本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。
我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。
本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
論文 参考訳(メタデータ) (2023-10-08T23:39:38Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳(メタデータ) (2023-06-10T08:25:16Z) - A deep learning method for solving stochastic optimal control problems
driven by fully-coupled FBSDEs [0.2064612766965483]
本稿では,完全結合前方微分方程式(FBSDEs,略してFBSDEs)によって駆動される高次元最適制御問題の,ディープラーニングによる数値解に着目した。
まず,この問題をStackelberg差分ゲーム(リーダ・フォロワー問題)に変換し,リーダーのコスト関数と追従者のコストがディープニューラルネットワークを介して最適化されるクロス最適化手法(COCO法)を開発する。
数値的な結果については,実用新案による投資消費問題の2つの例を計算し,両例が有効であることを示す。
論文 参考訳(メタデータ) (2022-04-12T13:31:19Z) - A control method for solving high-dimensional Hamiltonian systems
through deep neural networks [0.2752817022620644]
まず、ハミルトニアン制御系がまさに解決すべき問題であるような対応する最適制御問題を導入し、その後、制御問題の異なるケースに適した2つの異なるアルゴリズムを開発し、深層ニューラルネットワークによる制御を近似する。
数値的な結果から、FBSDEを解く観点から以前に開発されたDeep FBSDE法と比較して、新しいアルゴリズムはより高速に収束する。
論文 参考訳(メタデータ) (2021-11-04T05:22:08Z) - Deep Learning Approximation of Diffeomorphisms via Linear-Control
Systems [91.3755431537592]
我々は、制御に線形に依存する$dot x = sum_i=1lF_i(x)u_i$という形の制御系を考える。
対応するフローを用いて、コンパクトな点のアンサンブル上の微分同相写像の作用を近似する。
論文 参考訳(メタデータ) (2021-10-24T08:57:46Z) - Zeroth and First Order Stochastic Frank-Wolfe Algorithms for Constrained
Optimization [13.170519806372075]
2組の制約を持つ凸最適化の問題は、半定値プログラミングの文脈で頻繁に発生する。
最初の制約セットへのプロジェクションは困難であるため、プロジェクションフリーなアルゴリズムを探索する必要がある。
提案アルゴリズムの有効性は, スパース行列推定, 半定緩和によるクラスタリング, および一様スペースカット問題の適用性について検証した。
論文 参考訳(メタデータ) (2021-07-14T08:01:30Z) - Logistic Q-Learning [87.00813469969167]
MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。
提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
論文 参考訳(メタデータ) (2020-10-21T17:14:31Z) - Deep Learning for Constrained Utility Maximisation [0.0]
本稿では,ディープラーニングを用いた制御問題を解くための2つのアルゴリズムを提案する。
最初のアルゴリズムはハミルトン・ヤコビ・ベルマン方程式を通じてマルコフ問題を解く。
2つ目は、非マルコフ的問題を解くために双対法の全力を利用する。
論文 参考訳(メタデータ) (2020-08-26T18:40:57Z) - Follow the bisector: a simple method for multi-objective optimization [65.83318707752385]
複数の異なる損失を最小化しなければならない最適化問題を考える。
提案手法は、各イテレーションにおける降下方向を計算し、目的関数の相対的減少を等しく保証する。
論文 参考訳(メタデータ) (2020-07-14T09:50:33Z) - Conditional gradient methods for stochastically constrained convex
minimization [54.53786593679331]
構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。
私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。
提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
論文 参考訳(メタデータ) (2020-07-07T21:26:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。