論文の概要: Isoperimetry is All We Need: Langevin Posterior Sampling for RL with Sublinear Regret

• arxiv url: http://arxiv.org/abs/2412.20824v2
• Date: Wed, 05 Feb 2025 14:29:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:25:36.411991
• Title: Isoperimetry is All We Need: Langevin Posterior Sampling for RL with Sublinear Regret
• Title（参考訳）: Isoperimetry is All We Need: Langevin Posterior Smpling for RL with Sublinear Regret
• Authors: Emilio Jorge, Christos Dimitrakakis, Debabrota Basu,
• Abstract要約: 後サンプリングベースRL(PSRL)アルゴリズムは、データ分布がLog-Sobolev不等式(LSI)を満たす場合、サブ線形後悔をもたらす 正確な後部からの計算やサンプリングができない場合、Langevinサンプリングに基づくアルゴリズム設計を提案し、LaPSRLを提案する。 LaPSRLは1エピソードあたりのオーダー最適後悔とサブクワッドラティックな複雑さを実現する。
• 参考スコア（独自算出の注目度）: 10.287561234337268
• License:
• Abstract: Common assumptions, like linear or RKHS models, and Gaussian or log-concave posteriors over the models, do not explain practical success of RL across a wider range of distributions and models. Thus, we study how to design RL algorithms with sublinear regret for isoperimetric distributions, specifically the ones satisfying the Log-Sobolev Inequality (LSI). LSI distributions include the standard setups of RL theory, and others, such as many non-log-concave and perturbed distributions. First, we show that the Posterior Sampling-based RL (PSRL) algorithm yields sublinear regret if the data distributions satisfy LSI and some mild additional assumptions. Also, when we cannot compute or sample from an exact posterior, we propose a Langevin sampling-based algorithm design: LaPSRL. We show that LaPSRL achieves order-optimal regret and subquadratic complexity per episode. Finally, we deploy LaPSRL with a Langevin sampler -- SARAH-LD, and test it for different bandit and MDP environments. Experimental results validate the generality of LaPSRL across environments and its competitive performance with respect to the baselines.
• Abstract（参考訳）: リニアモデルやRKHSモデル、ガウスモデルやログコンケーブモデルといった一般的な仮定は、より広い範囲の分布やモデルにおけるRLの実践的な成功を説明するものではない。 そこで我々は,等尺分布,特に Log-Sobolev Inequality (LSI) を満たす部分線形後悔を伴うRLアルゴリズムの設計法について検討した。 LSI分布には、RL理論の標準構成や、多くの非log-concaveや摂動分布などが含まれる。 まず,PSRL(Posterior Sampling-based RL)アルゴリズムは,データ分布がLSIおよびある程度の仮定を満たす場合,サブ線形後悔をもたらすことを示す。 また、正確な後方からの計算やサンプリングができない場合、Langevinサンプリングに基づくアルゴリズム設計を提案し、LaPSRLを提案する。 以上の結果から,LaPSRLは1エピソードあたりのオーダー最適後悔とサブクワッドラティックな複雑性を達成できることが示唆された。 最後に,LaPSRLをLangevinサンプル-SARAH-LDでデプロイし,異なる帯域とDP環境でテストする。 実験により, 環境間のLaPSRLの汎用性と, ベースラインに対する競合性能について検証した。

関連論文リスト

• The Effective Horizon Explains Deep RL Performance in Stochastic Environments [21.148001945560075]
  強化学習(Reinforcement Learning, RL)理論は、最小の複雑性サンプル境界の証明に重点を置いている。 本稿では,RLアルゴリズムSQIRLを提案する。このアルゴリズムはランダムに探索してロールアウトを収集することで,最適に近いポリシーを反復的に学習する。 我々は、SQIRLを利用して、指数的に「効果的な地平線」のルックアヘッドにのみ現れるRLのインスタンス依存のサンプル複雑性境界を導出し、近似に使用されるクラスの複雑性を導出する。
  論文  参考訳（メタデータ） (2023-12-13T18:58:56Z)
• SRL: Scaling Distributed Reinforcement Learning to Over Ten Thousand Cores [13.948640763797776]
  本稿では,RLトレーニングアプリケーションを汎用フレームワークに統合する,RLトレーニングのデータフローに関する新しい抽象化を提案する。 スケーラブルで効率的で分散的なRLシステムであるReaLly scalableRLを開発した。 SRLは15k以上のCPUコアでRL実験を大規模に実施した初めての学術コミュニティである。
  論文  参考訳（メタデータ） (2023-06-29T05:16:25Z)
• Provable and Practical: Efficient Exploration in Reinforcement Learning via Langevin Monte Carlo [104.9535542833054]
  我々は、強化学習のためのトンプソンサンプリングに基づくスケーラブルで効果的な探索戦略を提案する。 代わりに、Langevin Monte Carlo を用いて、Q 関数をその後部分布から直接サンプリングする。 提案手法は,Atari57スイートからのいくつかの挑戦的な探索課題において,最先端の深部RLアルゴリズムと比較して,より優れた,あるいは類似した結果が得られる。
  論文  参考訳（メタデータ） (2023-05-29T17:11:28Z)
• LCRL: Certified Policy Synthesis via Logically-Constrained Reinforcement Learning [78.2286146954051]
  LCRLは未知決定プロセス(MDP)上でのモデルフリー強化学習(RL)アルゴリズムを実装している 本稿では,LCRLの適用性,使いやすさ,拡張性,性能を示すケーススタディを提案する。
  論文  参考訳（メタデータ） (2022-09-21T13:21:00Z)
• Reward-Free RL is No Harder Than Reward-Aware RL in Linear Markov Decision Processes [61.11090361892306]
  Reward-free reinforcement learning (RL) は、エージェントが探索中に報酬関数にアクセスできないような環境を考える。 この分離は線形MDPの設定には存在しないことを示す。 我々は$d$次元線形 MDP における報酬のない RL に対する計算効率の良いアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-01-26T22:09:59Z)
• Exponential Family Model-Based Reinforcement Learning via Score Matching [97.31477125728844]
  有限水平表層強化学習(RL)のための楽観的モデルベースアルゴリズムSMRLを提案する。 SMRLは、リッジ回帰によるモデルパラメータの効率的な推定を可能にする非正規化密度推定手法であるスコアマッチングを用いる。
  論文  参考訳（メタデータ） (2021-12-28T15:51:07Z)
• Sample-Efficient Reinforcement Learning Is Feasible for Linearly Realizable MDPs with Limited Revisiting [60.98700344526674]
  線形関数表現のような低複雑度モデルがサンプル効率のよい強化学習を可能にする上で重要な役割を果たしている。 本稿では,オンライン/探索的な方法でサンプルを描画するが,制御不能な方法で以前の状態をバックトラックし,再訪することができる新しいサンプリングプロトコルについて検討する。 この設定に合わせたアルゴリズムを開発し、特徴次元、地平線、逆の準最適ギャップと実際にスケールするサンプル複雑性を実現するが、状態/作用空間のサイズではない。
  論文  参考訳（メタデータ） (2021-05-17T17:22:07Z)
• Towards Standardizing Reinforcement Learning Approaches for Stochastic Production Scheduling [77.34726150561087]
  強化学習はスケジューリングの問題を解決するのに使える。 既存の研究は、コードが利用できない複雑なシミュレーションに依存している。 から選ぶべきRLの設計の広大な配列があります。 モデル記述の標準化 - 生産セットアップとRL設計の両方 - と検証スキームは前提条件です。
  論文  参考訳（メタデータ） (2021-04-16T16:07:10Z)
• RLlib Flow: Distributed Reinforcement Learning is a Dataflow Problem [37.38316954355031]
  分散強化学習による課題を再検討する。 本稿では,RLをデータフロー問題と見なすと,構成性が高く,性能も高い実装が得られることを示す。 分散RLのためのハイブリッドアクターデータフローモデルであるRLlib Flowを提案する。
  論文  参考訳（メタデータ） (2020-11-25T13:28:16Z)
• Model-based Reinforcement Learning for Continuous Control with Posterior Sampling [10.91557009257615]
  連続状態空間における強化学習(PSRL)のためのモデルベース後方サンプリングについて検討した。 MPC-PSRLはモデルに基づく後部サンプリングアルゴリズムであり,行動選択のためのモデル予測制御を行う。
  論文  参考訳（メタデータ） (2020-11-20T21:00:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。