論文の概要: Robust Reinforcement Learning under Diffusion Models for Data with Jumps

• arxiv url: http://arxiv.org/abs/2411.11697v1
• Date: Mon, 18 Nov 2024 16:17:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:35:32.944067
• Title: Robust Reinforcement Learning under Diffusion Models for Data with Jumps
• Title（参考訳）: ジャンプを伴うデータに対する拡散モデルに基づくロバスト強化学習
• Authors: Chenyang Jiang, Donggyu Kim, Alejandra Quintos, Yazhen Wang,
• Abstract要約: 本稿では,MSBVE(Mean-Square Bipower Variation Error)アルゴリズムを提案する。 我々はまず,連続時間RLで一般的に使用される平均平方TDエラー(MSTDE)アルゴリズムを再検討し,状態ダイナミクスのジャンプ処理における制限を強調した。 提案したMSBVEアルゴリズムは平均2乗2乗変動誤差を最小化し,ジャンプを伴うSDEを特徴とする環境におけるMSTDEよりも優れた性能を実現する。
• 参考スコア（独自算出の注目度）: 43.566306628411624
• License:
• Abstract: Reinforcement Learning (RL) has proven effective in solving complex decision-making tasks across various domains, but challenges remain in continuous-time settings, particularly when state dynamics are governed by stochastic differential equations (SDEs) with jump components. In this paper, we address this challenge by introducing the Mean-Square Bipower Variation Error (MSBVE) algorithm, which enhances robustness and convergence in scenarios involving significant stochastic noise and jumps. We first revisit the Mean-Square TD Error (MSTDE) algorithm, commonly used in continuous-time RL, and highlight its limitations in handling jumps in state dynamics. The proposed MSBVE algorithm minimizes the mean-square quadratic variation error, offering improved performance over MSTDE in environments characterized by SDEs with jumps. Simulations and formal proofs demonstrate that the MSBVE algorithm reliably estimates the value function in complex settings, surpassing MSTDE's performance when faced with jump processes. These findings underscore the importance of alternative error metrics to improve the resilience and effectiveness of RL algorithms in continuous-time frameworks.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、様々な領域にわたる複雑な意思決定タスクを解くのに有効であることが証明されている。 本稿では,有意な確率的雑音や跳躍を伴うシナリオにおいて,頑健さと収束性を高める平均二乗変動誤差(MSBVE)アルゴリズムを導入することで,この問題に対処する。 我々はまず,連続時間RLで一般的に使用される平均平方TDエラー(MSTDE)アルゴリズムを再検討し,状態ダイナミクスのジャンプ処理における制限を強調した。 提案したMSBVEアルゴリズムは平均2乗2乗変動誤差を最小化し,ジャンプを伴うSDEを特徴とする環境におけるMSTDEよりも優れた性能を実現する。 シミュレーションと公式な証明は、MSBVEアルゴリズムが複雑な設定における値関数を確実に推定し、ジャンプ過程に直面するときのMSTDEの性能を上回ることを示した。 これらの結果は、連続的なフレームワークにおけるRLアルゴリズムのレジリエンスと有効性を改善するために、代替エラーメトリクスの重要性を強調している。

関連論文リスト

• Stochastic Q-learning for Large Discrete Action Spaces [79.1700188160944]
  離散的な行動空間を持つ複雑な環境では、強化学習(RL)において効果的な意思決定が重要である 我々は、$n$アクションの集合全体を最適化するのとは対照的に、おそらく$mathcalO(log(n)$)$のような変数の集合のみを考える。 提示された値ベースのRL手法には、Q-learning、StochDQN、StochDDQNなどが含まれる。
  論文  参考訳（メタデータ） (2024-05-16T17:58:44Z)
• Fast Value Tracking for Deep Reinforcement Learning [7.648784748888187]
  強化学習(Reinforcement Learning, RL)は、環境と対話するエージェントを作成することによって、シーケンシャルな意思決定問題に取り組む。 既存のアルゴリズムはしばしばこれらの問題を静的とみなし、期待される報酬を最大化するためにモデルパラメータの点推定に重点を置いている。 我々の研究は、カルマンパラダイムを活用して、Langevinized Kalman TemporalTDと呼ばれる新しい定量化およびサンプリングアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2024-03-19T22:18:19Z)
• Distributionally Robust Model-based Reinforcement Learning with Large State Spaces [55.14361269378122]
  強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。 広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。 本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-05T13:42:11Z)
• On Practical Robust Reinforcement Learning: Practical Uncertainty Set and Double-Agent Algorithm [11.748284119769039]
  ロバスト強化学習(RRL)は、マルコフ決定プロセス(MDP)の不確実性に対して最悪のケースパフォーマンスを最適化するための堅牢なポリシーを求めることを目的としている。
  論文  参考訳（メタデータ） (2023-05-11T08:52:09Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Revisiting State Augmentation methods for Reinforcement Learning with Stochastic Delays [10.484851004093919]
  本稿では,遅延を伴うマルコフ決定過程(MDP)の概念を正式に述べる。 遅延MDPは、コスト構造が大幅に単純化された(遅延なしで)等価な標準MDPに変換可能であることを示す。 この等価性を利用して、モデルフリーな遅延分解RLフレームワークを導出し、このフレームワーク上に構築された単純なRLアルゴリズムでさえ、動作や観測の遅延を伴う環境におけるほぼ最適報酬を達成することを示す。
  論文  参考訳（メタデータ） (2021-08-17T10:45:55Z)
• Rare event estimation using stochastic spectral embedding [0.0]
  まれな障害事象の確率を推定することは、エンジニアリングシステムの信頼性評価において重要なステップである。 稀な事象推定問題を効率的に解くためにアルゴリズムを調整した一連の修正を提案する。
  論文  参考訳（メタデータ） (2021-06-09T16:10:33Z)
• Minimum-Delay Adaptation in Non-Stationary Reinforcement Learning via Online High-Confidence Change-Point Detection [7.685002911021767]
  非定常環境におけるポリシーを効率的に学習するアルゴリズムを導入する。 これは、リアルタイム、高信頼な変更点検出統計において、潜在的に無限のデータストリームと計算を解析する。 i) このアルゴリズムは, 予期せぬ状況変化が検出されるまでの遅延を最小限に抑え, 迅速な応答を可能にする。
  論文  参考訳（メタデータ） (2021-05-20T01:57:52Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
  確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。 本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。 経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
  論文  参考訳（メタデータ） (2020-06-18T19:04:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。