Fugu-MT 論文翻訳(概要): Convex Is Back: Solving Belief MDPs With Convexity-Informed Deep Reinforcement Learning

論文の概要: Convex Is Back: Solving Belief MDPs With Convexity-Informed Deep Reinforcement Learning

arxiv url: http://arxiv.org/abs/2502.09298v1
Date: Thu, 13 Feb 2025 13:12:16 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-14 13:47:36.765886
Title: Convex Is Back: Solving Belief MDPs With Convexity-Informed Deep Reinforcement Learning
Title（参考訳）: Convexが復活: 深層強化学習で信念のMDPを解決
Authors: Daniel Koutas, Daniel Hettegger, Kostas G. Papakonstantinou, Daniel Straub,
Abstract要約: 本稿では,概念空間上の値関数の凸性を取り入れた深層強化学習(DRL)を提案する。この凸性機能を含めることで,エージェントの性能を大幅に向上させることができることを示す。
参考スコア（独自算出の注目度）: 0.40498500266986387
License:
Abstract: We present a novel method for Deep Reinforcement Learning (DRL), incorporating the convex property of the value function over the belief space in Partially Observable Markov Decision Processes (POMDPs). We introduce hard- and soft-enforced convexity as two different approaches, and compare their performance against standard DRL on two well-known POMDP environments, namely the Tiger and FieldVisionRockSample problems. Our findings show that including the convexity feature can substantially increase performance of the agents, as well as increase robustness over the hyperparameter space, especially when testing on out-of-distribution domains. The source code for this work can be found at https://github.com/Dakout/Convex_DRL.
Abstract（参考訳）: 本稿では, 部分観測可能なマルコフ決定過程(POMDP)において, 概念空間上の値関数の凸性を取り入れた, 深層強化学習(DRL)の新たな手法を提案する。我々は2つの異なるアプローチとしてハードおよびソフト強化凸性を導入し、その性能をよく知られた2つのPOMDP環境(TigerとFieldVisionRockSample問題)の標準DRLと比較した。以上の結果から, この凸性機能を含むと, エージェントの性能が著しく向上し, 特に分布外領域での試験では, ハイパーパラメータ空間の堅牢性が向上することが明らかとなった。この作業のソースコードはhttps://github.com/Dakout/Convex_DRLにある。

関連論文リスト

Overcoming the Curse of Dimensionality in Reinforcement Learning Through Approximate Factorization [15.898378661128334]
強化学習(RL)アルゴリズムは次元性の呪いに苦しむことが知られている。本稿では,元のマルコフ決定過程(MDP)を,より小さく,独立に進化するMDPに大まかに分解することで,次元性の呪いを克服することを提案する。提案手法は,両アルゴリズムに改良された複雑性保証を提供する。
論文参考訳（メタデータ） (2024-11-12T07:08:00Z)
Tractable Offline Learning of Regular Decision Processes [50.11277112628193]
この研究は、正則決定過程(RDP)と呼ばれる非マルコフ環境のクラスにおけるオフライン強化学習(RL)を研究する。インスは、未来の観測と過去の相互作用からの報酬の未知の依存を実験的に捉えることができる。多くのアルゴリズムは、まずこの未知の依存関係を自動学習技術を用いて再構築する。
論文参考訳（メタデータ） (2024-09-04T14:26:58Z)
SAFE-RL: Saliency-Aware Counterfactual Explainer for Deep Reinforcement Learning Policies [13.26174103650211]
学習されたポリシーの説明可能性の欠如は、自動運転システムのような安全クリティカルなアプリケーションへの取り込みを妨げる。対実的(CF)説明は、最近、ブラックボックスディープラーニング(DL)モデルを解釈する能力で有名になった。そこで本稿では,過去の観測状態の列にまたがる最も影響力のある入力画素を特定するために,サリエンシマップを提案する。我々は,ADS,Atari Pong,Pacman,Space-invadersゲームなど,多種多様な領域におけるフレームワークの有効性を評価する。
論文参考訳（メタデータ） (2024-04-28T21:47:34Z)
Provably Efficient CVaR RL in Low-rank MDPs [58.58570425202862]
リスクに敏感な強化学習(RL)について検討する。本稿では, CVaR RLにおける探索, 搾取, 表現学習の相互作用のバランスをとるための, 新たなアッパー信頼境界(UCB)ボーナス駆動アルゴリズムを提案する。提案アルゴリズムは,各エピソードの長さが$H$,アクション空間が$A$,表現の次元が$d$であるような,エプシロン$最適CVaRのサンプル複雑性を実現する。
論文参考訳（メタデータ） (2023-11-20T17:44:40Z)
Provable and Practical: Efficient Exploration in Reinforcement Learning via Langevin Monte Carlo [104.9535542833054]
我々は、強化学習のためのトンプソンサンプリングに基づくスケーラブルで効果的な探索戦略を提案する。代わりに、Langevin Monte Carlo を用いて、Q 関数をその後部分布から直接サンプリングする。提案手法は,Atari57スイートからのいくつかの挑戦的な探索課題において,最先端の深部RLアルゴリズムと比較して,より優れた,あるいは類似した結果が得られる。
論文参考訳（メタデータ） (2023-05-29T17:11:28Z)
Bridging RL Theory and Practice with the Effective Horizon [18.706109961534676]
先行境界は、深いRLが成功するか失敗するかは相関しないことを示す。我々はこれを、有効地平線と呼ぶ新しいMDPの複雑さ尺度に一般化する。また,既存の境界と異なり,実効地平線は報酬形成や事前訓練された探査政策を用いることの効果を予測できることがわかった。
論文参考訳（メタデータ） (2023-04-19T17:59:01Z)
Distributionally Robust Offline Reinforcement Learning with Linear Function Approximation [16.128778192359327]
我々は、ソース環境から得られた履歴データを用いてRLエージェントを学習し、摂動環境において良好に動作するように最適化する。我々は、線形関数次元$d$に応じて、我々のアルゴリズムが$O(sqrtK)$の亜最適性を達成できることを証明した。
論文参考訳（メタデータ） (2022-09-14T13:17:59Z)
Combating Mode Collapse in GANs via Manifold Entropy Estimation [70.06639443446545]
Generative Adversarial Networks (GAN) は、様々なタスクやアプリケーションにおいて魅力的な結果を示している。 GANのモード崩壊問題に対処するための新しいトレーニングパイプラインを提案する。
論文参考訳（メタデータ） (2022-08-25T12:33:31Z)
Gleo-Det: Deep Convolution Feature-Guided Detector with Local Entropy Optimization for Salient Points [5.955667705173262]
本稿では, 深い畳み込み特徴のガイダンスを伴い, 繰り返し可能性の要求に基づき, きめ細かな制約を実現することを提案する。畳み込み特徴のガイダンスを用いて、正と負の両面からコスト関数を定義する。
論文参考訳（メタデータ） (2022-04-27T12:40:21Z)
Kernel-Based Reinforcement Learning: A Finite-Time Analysis [53.47210316424326]
モデルに基づく楽観的アルゴリズムであるKernel-UCBVIを導入する。スパース報酬を伴う連続MDPにおける我々のアプローチを実証的に検証する。
論文参考訳（メタデータ） (2020-04-12T12:23:46Z)
Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
論文参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。