論文の概要: Sharp Analysis of Smoothed Bellman Error Embedding
- arxiv url: http://arxiv.org/abs/2007.03749v1
- Date: Tue, 7 Jul 2020 19:27:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 19:08:07.611617
- Title: Sharp Analysis of Smoothed Bellman Error Embedding
- Title(参考訳): Smoothed Bellman Error Embeddding のシャープ解析
- Authors: Ahmed Touati and Pascal Vincent
- Abstract要約: バッチモード強化学習におけるSBEEDの理論的挙動について検討する。
使用済み関数クラスの表現力に依存するほぼ最適性能を保証する。
- 参考スコア(独自算出の注目度): 17.296084954104415
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The \textit{Smoothed Bellman Error Embedding} algorithm~\citep{dai2018sbeed},
known as SBEED, was proposed as a provably convergent reinforcement learning
algorithm with general nonlinear function approximation. It has been
successfully implemented with neural networks and achieved strong empirical
results. In this work, we study the theoretical behavior of SBEED in batch-mode
reinforcement learning. We prove a near-optimal performance guarantee that
depends on the representation power of the used function classes and a tight
notion of the distribution shift. Our results improve upon prior guarantees for
SBEED in ~\citet{dai2018sbeed} in terms of the dependence on the planning
horizon and on the sample size. Our analysis builds on the recent work of
~\citet{Xie2020} which studies a related algorithm MSBO, that could be
interpreted as a \textit{non-smooth} counterpart of SBEED.
- Abstract(参考訳): SBEED として知られる \textit{Smoothed Bellman Error Embedding} アルゴリズム~\citep{dai2018sbeed} は、一般的な非線形関数近似を用いた有理収束強化学習アルゴリズムとして提案された。
ニューラルネットワークでうまく実装され、強力な実証結果を得た。
本研究では,バッチモード強化学習におけるSBEEDの理論的挙動について検討する。
我々は,使用済み関数クラスの表現力と分布シフトの厳密な概念に依存する,ほぼ最適性能保証を証明した。
この結果は, 計画の地平線とサンプルサイズに依存する点から, ~\citet{dai2018sbeed} におけるsbeedの事前保証により改善する。
我々の分析は、SBEED の \textit{non-smooth} と解釈できる関連アルゴリズム MSBO を研究する ~\citet{Xie2020} の最近の研究に基づいている。
関連論文リスト
- Regularized Q-Learning with Linear Function Approximation [3.10770247120758]
本稿では,有限時間収束保証によるベルマン誤差最小化のための単一ループアルゴリズムについて考察する。
特定の仮定の下では、提案アルゴリズムはマルコフ雑音の存在下で定常点に収束することを示す。
論文 参考訳(メタデータ) (2024-01-26T20:45:40Z) - Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient
Kernels [60.35011738807833]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は、ベンチマークODEとPDE発見タスクのリストにおいて、KBASSの顕著な利点を示す。
論文 参考訳(メタデータ) (2023-10-09T03:55:09Z) - SHOT: Suppressing the Hessian along the Optimization Trajectory for
Gradient-Based Meta-Learning [28.26143547479141]
SHOT(Suppressing the Hessian along the Optimization Trajectory)と呼ばれるアルゴリズムを導入する。
SHOTはベースラインモデルの計算複雑性をあまり増やさない。
本仮説を実証的に検証し,SHOTが対応するベースラインより優れていることを示す。
論文 参考訳(メタデータ) (2023-10-04T11:43:08Z) - Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level
Stability and High-Level Behavior [51.60683890503293]
生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。
任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
論文 参考訳(メタデータ) (2023-07-27T04:27:26Z) - Temporal Difference Learning with Compressed Updates: Error-Feedback
meets Reinforcement Learning [32.937264507807214]
一般的な強化学習アルゴリズムは、同様の摂動に対して堅牢であることを示す。
我々の研究は、一般圧縮演算子と線形関数近似とマルコフサンプリングを併用したタンデムの誤差フィードバックを初めて考慮したものである。
論文 参考訳(メタデータ) (2023-01-03T04:09:38Z) - Fast and Provably Convergent Algorithms for Gromov-Wasserstein in Graph
Learning [37.89640056739607]
2つのアルゴリズム、Bregman Alternating Projected Gradient (BAPG) とハイブリッドBregman Proximal Gradient (hBPG) は(ほぼ)収束することが証明されている。
グラフアライメント,グラフ分割,形状マッチングなど,タスクのホスト上での手法の有効性を検証するための総合的な実験を行った。
論文 参考訳(メタデータ) (2022-05-17T06:26:54Z) - A Boosting Approach to Reinforcement Learning [59.46285581748018]
複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。
このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
論文 参考訳(メタデータ) (2021-08-22T16:00:45Z) - Proxy Convexity: A Unified Framework for the Analysis of Neural Networks
Trained by Gradient Descent [95.94432031144716]
学習ネットワークの分析のための統合された非最適化フレームワークを提案する。
既存の保証は勾配降下により統一することができることを示す。
論文 参考訳(メタデータ) (2021-06-25T17:45:00Z) - Provably Efficient Reward-Agnostic Navigation with Linear Value
Iteration [143.43658264904863]
我々は、最小二乗値スタイルのアルゴリズムで一般的に使用される、より標準的なベルマン誤差の概念の下での反復が、ほぼ最適値関数の学習において強力なPAC保証を提供することを示す。
そこで本稿では,任意の(線形な)報酬関数に対して,最適に近いポリシーを学習するためにどのように使用できるかを示す。
論文 参考訳(メタデータ) (2020-08-18T04:34:21Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2020-05-05T18:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。