論文の概要: Learning Stochastic Optimal Policies via Gradient Descent
- arxiv url: http://arxiv.org/abs/2106.03780v1
- Date: Mon, 7 Jun 2021 16:43:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-08 18:19:37.944427
- Title: Learning Stochastic Optimal Policies via Gradient Descent
- Title（参考訳）: 勾配降下による学習確率的最適政策
- Authors: Stefano Massaroli, Michael Poli, Stefano Peluchetti, Jinkyoo Park,
Atsushi Yamashita and Hajime Asama
- Abstract要約: 学習に基づく最適制御処理(SOC)を体系的に開発する。
本稿では, 微分方程式に対する随伴感度の導出について, 変分計算の直接適用により提案する。
本稿では,比例トランザクションコストを伴う連続時間有限地平線ポートフォリオ最適化における提案手法の有効性を検証する。
- 参考スコア（独自算出の注目度）: 17.9807134122734
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We systematically develop a learning-based treatment of stochastic optimal
control (SOC), relying on direct optimization of parametric control policies.
We propose a derivation of adjoint sensitivity results for stochastic
differential equations through direct application of variational calculus.
Then, given an objective function for a predetermined task specifying the
desiderata for the controller, we optimize their parameters via iterative
gradient descent methods. In doing so, we extend the range of applicability of
classical SOC techniques, often requiring strict assumptions on the functional
form of system and control. We verify the performance of the proposed approach
on a continuous-time, finite horizon portfolio optimization with proportional
transaction costs.
- Abstract（参考訳）: パラメトリック制御ポリシーの直接最適化に依存する確率的最適制御(SOC)を学習ベースで体系的に開発する。
本稿では,変分解析の直接的応用による確率微分方程式の随伴感度結果の導出を提案する。
次に、コントローラのデシデラタを指定する所定のタスクの目的関数を与えられたとき、それらのパラメータを反復勾配降下法で最適化する。
そこで,従来のSOC技術の適用範囲を拡大し,システムと制御の機能形式に関する厳密な仮定を必要とすることが多い。
本稿では,比例トランザクションコストを伴う連続時間有限地平線ポートフォリオ最適化における提案手法の有効性を検証する。
関連論文リスト
- A Simulation-Free Deep Learning Approach to Stochastic Optimal Control [12.699529713351287]
最適制御(SOC)における一般問題の解法のためのシミュレーションフリーアルゴリズムを提案する。
既存の手法とは異なり、我々の手法は随伴問題の解を必要としない。
論文 参考訳（メタデータ） (2024-10-07T16:16:53Z) - Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。
一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。
本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
論文 参考訳（メタデータ） (2024-05-03T16:45:15Z) - End-to-End Learning for Fair Multiobjective Optimization Under
Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。
本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。
この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文 参考訳（メタデータ） (2024-02-12T16:33:35Z) - Locally Optimal Descent for Dynamic Stepsize Scheduling [45.6809308002043]
本稿では,段階的スケジュールのマニュアルと時間的チューニングを簡略化することを目的とした,理論に基づく新しい動的学習スケジューリング手法を提案する。
本手法は,スムーズな勾配方向の局所最適練習速度を推定することに基づく。
提案手法は,既存手法と比較して最小限のチューニングが必要であることが示唆された。
論文 参考訳（メタデータ） (2023-11-23T09:57:35Z) - Acceleration in Policy Optimization [50.323182853069184]
我々は、楽観的かつ適応的な更新を通じて、政策改善のステップにフォレストを組み込むことにより、強化学習(RL)における政策最適化手法を加速するための統一パラダイムに向けて研究する。
我々は、楽観主義を、政策の将来行動の予測モデルとして定義し、適応性は、過度な予測や変化に対する遅延反応からエラーを軽減するために、即時かつ予測的な修正措置をとるものである。
我々は,メタグラディエント学習による適応型楽観的ポリシー勾配アルゴリズムを設計し,実証的なタスクにおいて,加速度に関連するいくつかの設計選択を実証的に強調する。
論文 参考訳（メタデータ） (2023-06-18T15:50:57Z) - Improper Learning with Gradient-based Policy Optimization [62.50997487685586]
未知のマルコフ決定過程に対して学習者がmベースコントローラを与えられる不適切な強化学習設定を考える。
制御器の不適切な混合のクラス上で動作する勾配に基づくアプローチを提案する。
論文 参考訳（メタデータ） (2021-02-16T14:53:55Z) - Logistic Q-Learning [87.00813469969167]
MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。
提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
論文 参考訳（メタデータ） (2020-10-21T17:14:31Z) - Iterative Amortized Policy Optimization [147.63129234446197]
政策ネットワークは、継続的制御のための深層強化学習(RL)アルゴリズムの中心的な特徴である。
変分推論の観点からは、ポリシーネットワークは、ポリシー分布を直接ではなく、ネットワークパラメータを最適化する、テキスト化最適化の一形態である。
我々は,反復的アモート化ポリシ最適化により,ベンチマーク連続制御タスクの直接アモート化よりも性能が向上することが実証された。
論文 参考訳（メタデータ） (2020-10-20T23:25:42Z) - Adaptive Stochastic Optimization [1.7945141391585486]
適応最適化手法は、大規模システムの訓練に際し、計算量を大幅に削減する可能性がある。
勾配法に基づく現代的なアプローチは、それぞれのアプリケーションに調整が必要な所定のパラメータ値を採用するという意味では適応的ではない。
論文 参考訳（メタデータ） (2020-01-18T16:30:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。