論文の概要: DeepAveragers: Offline Reinforcement Learning by Solving Derived Non-Parametric MDPs

• arxiv url: http://arxiv.org/abs/2010.08891v2
• Date: Tue, 04 Feb 2025 22:39:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:26:04.948374
• Title: DeepAveragers: Offline Reinforcement Learning by Solving Derived Non-Parametric MDPs
• Title（参考訳）: Deep Averagers: 派生非パラメトリックMDPの解法によるオフライン強化学習
• Authors: Aayam Shrestha, Stefan Lee, Prasad Tadepalli, Alan Fern,
• Abstract要約: 静的な経験データセットから得られる有限表現型MDPを最適に解くことに基づくオフライン強化学習(RL)へのアプローチについて検討する。 我々の主な貢献は、Deep Averagers with Costs MDP (DAC-MDP)を導入し、オフラインRLに対するソリューションを検討することである。
• 参考スコア（独自算出の注目度）: 33.07594285100664
• License:
• Abstract: We study an approach to offline reinforcement learning (RL) based on optimally solving finitely-represented MDPs derived from a static dataset of experience. This approach can be applied on top of any learned representation and has the potential to easily support multiple solution objectives as well as zero-shot adjustment to changing environments and goals. Our main contribution is to introduce the Deep Averagers with Costs MDP (DAC-MDP) and to investigate its solutions for offline RL. DAC-MDPs are a non-parametric model that can leverage deep representations and account for limited data by introducing costs for exploiting under-represented parts of the model. In theory, we show conditions that allow for lower-bounding the performance of DAC-MDP solutions. We also investigate the empirical behavior in a number of environments, including those with image-based observations. Overall, the experiments demonstrate that the framework can work in practice and scale to large complex offline RL problems.
• Abstract（参考訳）: 静的な経験データセットから得られる有限表現型MDPを最適に解くことに基づくオフライン強化学習(RL)へのアプローチについて検討する。 このアプローチは、学習した任意の表現の上に適用することができ、複数のソリューション目標を容易にサポートし、環境や目標を変更するためにゼロショット調整を行うことができる。 我々の主な貢献は、Deep Averagers with Costs MDP (DAC-MDP)を導入し、オフラインRLに対するソリューションを検討することである。 DAC-MDPは、深層表現を利用する非パラメトリックモデルである。 理論的には、DAC-MDPソリューションの性能を低く抑える条件を示す。 また,画像に基づく観察など,様々な環境における経験的行動についても検討した。 全体としては、このフレームワークが実際に動作し、大規模なオフラインRL問題にスケールできることが実証されている。

関連論文リスト

• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• Graph-based Unsupervised Disentangled Representation Learning via Multimodal Large Language Models [42.17166746027585]
  複素データ内の因子化属性とその相互関係を学習するための双方向重み付きグラフベースフレームワークを提案する。 具体的には、グラフの初期ノードとして要素を抽出する$beta$-VAEベースのモジュールを提案する。 これらの相補的加群を統合することで、我々は細粒度、実用性、教師なしの絡み合いをうまく達成できる。
  論文  参考訳（メタデータ） (2024-07-26T15:32:21Z)
• Causal prompting model-based offline reinforcement learning [16.95292725275873]
  モデルベースのオフラインRLでは、エージェントは追加または非倫理的な探索を必要とせずに、事前にコンパイルされたデータセットを完全に活用することができる。 モデルベースのオフラインRLをオンラインシステムに適用することは、高度に最適化された(ノイズが満ちた)、オンラインシステムによって生成されたデータセットの多様な性質による課題を示す。 本稿では,高度に最適化されたリソース制約のあるオンラインシナリオを対象としたCausal Prompting Reinforcement Learningフレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-06-03T07:28:57Z)
• POMDP inference and robust solution via deep reinforcement learning: An application to railway optimal maintenance [0.7046417074932257]
  深部RLを用いたPMDPの推論とロバストな解法の組み合わせを提案する。 まず、すべての遷移モデルと観測モデルパラメータは、隠れマルコフモデルのマルコフ・チェイン・モンテ・カルロサンプリングによって共同で推論される。 パラメータが不確実なPOMDPは、パラメータ分布を領域ランダム化によって解に組み込んだ深部RL手法によって解決される。
  論文  参考訳（メタデータ） (2023-07-16T15:44:58Z)
• The Impact of Task Underspecification in Evaluating Deep Reinforcement Learning [1.4711121887106535]
  深層強化学習法(DRL)の評価は、この分野の科学的進歩の不可欠な部分である。 本稿では,MDPのパラメータ化ファミリーを検討するためにDRLの評価を増強する。 MDPファミリーの評価は,どの手法を最先端とみなすべきかという疑念を招き,比較的異なる手法の相対的なランク付けをしばしば得ることを示す。
  論文  参考訳（メタデータ） (2022-10-16T18:51:55Z)
• Offline Reinforcement Learning with Instrumental Variables in Confounded Markov Decision Processes [93.61202366677526]
  未測定の共同設立者を対象にオフライン強化学習(RL)について検討した。 そこで本稿では, 最適クラスポリシーを見つけるための, 有限サンプルの準最適性を保証した多種多様なポリシー学習手法を提案する。
  論文  参考訳（メタデータ） (2022-09-18T22:03:55Z)
• Towards Deployment-Efficient Reinforcement Learning: Lower Bound and Optimality [141.89413461337324]
  展開効率は、強化学習(RL)の多くの実世界の応用にとって重要な基準である 本稿では,「制約付き最適化」の観点から,デプロイ効率の高いRL(DE-RL)の理論的定式化を提案する。
  論文  参考訳（メタデータ） (2022-02-14T01:31:46Z)
• Pessimistic Model Selection for Offline Deep Reinforcement Learning [56.282483586473816]
  深層強化学習(DRL)は多くのアプリケーションにおいてシーケンシャルな意思決定問題を解決する大きな可能性を示している。 主要な障壁の1つは、DRLが学んだ政策の一般化性の低下につながる過度に適合する問題である。 理論的保証のあるオフラインDRLに対する悲観的モデル選択(PMS)手法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T06:29:49Z)
• MOReL : Model-Based Offline Reinforcement Learning [49.30091375141527]
  オフライン強化学習(RL)では、環境との歴史的相互作用のデータセットのみに基づく高報酬政策を学習することが目的である。 モデルベースオフラインRLのためのアルゴリズムフレームワークMOReLを提案する。 オフラインRLベンチマークにおいてMOReLが最先端の結果と一致するか,あるいは超えるかを示す。
  論文  参考訳（メタデータ） (2020-05-12T17:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。