Fugu-MT 論文翻訳(概要): Global optimality of softmax policy gradient with single hidden layer neural networks in the mean-field regime

論文の概要: Global optimality of softmax policy gradient with single hidden layer neural networks in the mean-field regime

arxiv url: http://arxiv.org/abs/2010.11858v1
Date: Thu, 22 Oct 2020 16:47:22 GMT
ステータス: 処理完了
システム内更新日: 2022-10-04 05:39:04.856361
Title: Global optimality of softmax policy gradient with single hidden layer neural networks in the mean-field regime
Title（参考訳）: 単一隠れ層ニューラルネットワークを用いた平均場環境におけるソフトマックス政策勾配のグローバル最適性
Authors: Andrea Agazzi, Jianfeng Lu
Abstract要約: 本研究では,無限水平割引マルコフ決定過程におけるソフトマックスポリシと非線形関数近似を用いたポリシ最適化の問題点について検討する。エントロピー正則化による探索が奨励されるとき、我々は平均場状態におけるトレーニングのダイナミクス、例えば、広い単一の隠蔽層ニューラルネットワークの挙動をモデル化することに集中する。
参考スコア（独自算出の注目度）: 10.882573368659516
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study the problem of policy optimization for infinite-horizon discounted Markov Decision Processes with softmax policy and nonlinear function approximation trained with policy gradient algorithms. We concentrate on the training dynamics in the mean-field regime, modeling e.g., the behavior of wide single hidden layer neural networks, when exploration is encouraged through entropy regularization. The dynamics of these models is established as a Wasserstein gradient flow of distributions in parameter space. We further prove global optimality of the fixed points of this dynamics under mild conditions on their initialization.
Abstract（参考訳）: 無限ホリゾン割引マルコフ決定過程におけるポリシー最適化の問題点をソフトマックス・ポリシーと非線形関数近似法を用いて検討した。エントロピー正則化による探索が奨励されるとき、我々は平均場状態におけるトレーニングのダイナミクス、例えば広帯域単一層ニューラルネットワークの挙動をモデル化することに集中する。これらのモデルのダイナミクスは、パラメータ空間における分布のワッサースタイン勾配流として確立される。我々はさらに,この力学の不動点の初期化に関する穏やかな条件下での大域的最適性を証明する。

関連論文リスト

Deep Reinforcement Learning for Online Optimal Execution Strategies [49.1574468325115]
本稿では,動的な金融市場における非マルコフ的最適実行戦略の学習に挑戦する。我々は,Deep Deterministic Policy Gradient(DDPG)に基づく新しいアクター批判アルゴリズムを提案する。提案アルゴリズムは最適実行戦略の近似に成功していることを示す。
論文参考訳（メタデータ） (2024-10-17T12:38:08Z)
A Simulation-Free Deep Learning Approach to Stochastic Optimal Control [12.699529713351287]
最適制御(SOC)における一般問題の解法のためのシミュレーションフリーアルゴリズムを提案する。既存の手法とは異なり、我々の手法は随伴問題の解を必要としない。
論文参考訳（メタデータ） (2024-10-07T16:16:53Z)
Landscape of Policy Optimization for Finite Horizon MDPs with General State and Action [10.219627570276689]
我々は、一般的な状態と空間を持つマルコフ決定過程のクラスのためのフレームワークを開発する。勾配法は非漸近条件で大域的最適ポリシーに収束することを示す。その結果,多周期インベントリシステムにおける最初の複雑性が確立された。
論文参考訳（メタデータ） (2024-09-25T17:56:02Z)
Stabilizing Policy Gradients for Stochastic Differential Equations via Consistency with Perturbation Process [11.01014302314467]
我々は、ディープニューラルネットワークパラメータ化微分方程式(SDE)の最適化に焦点をあてる。我々は、SDEが関連する摂動過程と整合するように制約することを提案する。我々のフレームワークは、SDEを効果的かつ効率的に訓練するためのポリシー勾配法を多目的に選択する。
論文参考訳（メタデータ） (2024-03-07T02:24:45Z)
Beyond Stationarity: Convergence Analysis of Stochastic Softmax Policy Gradient Methods [0.40964539027092917]
Markov Decision Processs (MDP) は、シーケンシャルな意思決定問題のモデリングと解決のための正式なフレームワークである。実際、全てのパラメータは、動的プログラミングによって提案される固有の構造を無視して、同時に訓練される。本稿では、動的プログラミングと動的ポリシー勾配というポリシー勾配の組み合わせを紹介し、パラメータを時間内に後方にトレーニングする。
論文参考訳（メタデータ） (2023-10-04T09:21:01Z)
Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
論文参考訳（メタデータ） (2023-06-12T16:28:11Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
Neural ODEs as Feedback Policies for Nonlinear Optimal Control [1.8514606155611764]
ニューラルネットワークをパラメータ化した微分方程式として連続時間力学をモデル化するために、ニューラル常微分方程式(ニューラルODE)を用いる。本稿では,一般非線形最適制御問題の解法としてニューラル・オードとして提案するニューラル・コントロール・ポリシーを提案する。
論文参考訳（メタデータ） (2022-10-20T13:19:26Z)
Maximum entropy exploration in contextual bandits with neural networks and energy based models [63.872634680339644]
モデルには2つのクラスがあり、1つはニューラルネットワークを報酬推定器とし、もう1つはエネルギーベースモデルを示す。両手法は、エネルギーベースモデルが最も優れた性能を持つ、よく知られた標準アルゴリズムより優れていることを示す。これは、静的および動的設定でよく機能する新しいテクニックを提供し、特に連続的なアクション空間を持つ非線形シナリオに適している。
論文参考訳（メタデータ） (2022-10-12T15:09:45Z)
Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
論文参考訳（メタデータ） (2022-09-15T07:22:58Z)
Neural Proximal/Trust Region Policy Optimization Attains Globally Optimal Policy [119.12515258771302]
オーバーパラメトリゼーションを備えたPPOOの変種が,グローバルな最適ネットワークに収束することを示す。我々の分析の鍵は、1次元の単調性の概念の下で無限勾配の反復であり、そこでは勾配はネットワークによって瞬く。
論文参考訳（メタデータ） (2019-06-25T03:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。