Fugu-MT 論文翻訳(概要): Exploration in Action Space

論文の概要: Exploration in Action Space

arxiv url: http://arxiv.org/abs/2004.00500v1
Date: Tue, 31 Mar 2020 01:27:22 GMT
ステータス: 処理完了
システム内更新日: 2022-12-18 00:22:02.793297
Title: Exploration in Action Space
Title（参考訳）: 行動空間における探索
Authors: Anirudh Vemula, Wen Sun, J. Andrew Bagnell
Abstract要約: ブラックボックス最適化は、継続的制御強化学習領域における最先端のアプローチより優れていることが示されている。強化学習問題を解くのに必要なパラメトリックな複雑さが、作用空間次元と地平線長の積よりも大きい場合、作用空間における探索が好ましいことを示す。
参考スコア（独自算出の注目度）: 20.514187001523347
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Parameter space exploration methods with black-box optimization have recently been shown to outperform state-of-the-art approaches in continuous control reinforcement learning domains. In this paper, we examine reasons why these methods work better and the situations in which they are worse than traditional action space exploration methods. Through a simple theoretical analysis, we show that when the parametric complexity required to solve the reinforcement learning problem is greater than the product of action space dimensionality and horizon length, exploration in action space is preferred. This is also shown empirically by comparing simple exploration methods on several toy problems.
Abstract（参考訳）: ブラックボックス最適化を用いたパラメータ空間探索手法は, 連続制御強化学習領域における最先端の手法より優れていることが最近示されている。本稿では,これらの手法がうまく機能する理由と,従来の行動空間探査法よりも悪い状況について検討する。簡単な理論解析により,強化学習問題を解くのに必要なパラメトリック複雑性が,作用空間の次元と地平線の長さの積よりも大きい場合,行動空間での探索が望ましいことを示した。これはまた、いくつかのおもちゃの問題に対する単純な探索法を比較することで実証的に示される。

関連論文リスト

Adaptive trajectory-constrained exploration strategy for deep reinforcement learning [6.589742080994319]
深層強化学習 (DRL) は, まばらさや虚偽の報奨や大きな状態空間を持つタスクにおいて, ハード探索問題に対処する上で, 重大な課題に直面している。 DRLの最適軌道制約探索法を提案する。 2つの大きな2次元グリッドワールド迷路と複数のMuJoCoタスクについて実験を行った。
論文参考訳（メタデータ） (2023-12-27T07:57:15Z)
Systematic design space exploration by learning the explored space using Machine Learning [6.247268652296233]
我々は、探索されていない領域から既に探索された領域やサンプルを追跡するために、最新の機械学習手法を用いて探索されたデータ空間の学習を利用する。 2次元ユークリッド空間において,本手法とその進行を実証するが,基礎となる手法は汎用的であるため,任意の次元に拡張することができる。
論文参考訳（メタデータ） (2023-03-14T21:51:08Z)
Leveraging Demonstrations with Latent Space Priors [90.56502305574665]
本稿では,スキル学習とシーケンスモデリングを組み合わせることで,実演データセットを活用することを提案する。本研究では、国家のみのモーションキャプチャーの実証から、そのような先行情報をどうやって取得するかを示し、政策学習に組み込むためのいくつかの方法を探る。実験結果から, 学習速度と最終性能において, 遅延空間が顕著に向上することが確認された。
論文参考訳（メタデータ） (2022-10-26T13:08:46Z)
Exploration in Deep Reinforcement Learning: A Comprehensive Survey [24.252352133705735]
Deep Reinforcement Learning (DRL)とDeep Multi-agent Reinforcement Learning (MARL)は、ゲームAI、自動運転車、ロボティクス、ファイナンスなど、幅広い領域で大きな成功を収めている。 DRLおよび深層MARLエージェントはサンプリング非効率であることが広く知られており、比較的単純なゲーム設定でも数百万のインタラクションが必要である。本稿では,DRLおよび深部MARLにおける既存探査手法に関する総合的な調査を行う。
論文参考訳（メタデータ） (2021-09-14T13:16:33Z)
Cooperative Exploration for Multi-Agent Deep Reinforcement Learning [127.4746863307944]
深層強化学習のための協調型マルチエージェント探索(CMAE)を提案する。ゴールは正規化エントロピーに基づく手法により、複数の射影状態空間から選択される。 CMAEが様々なタスクのベースラインを一貫して上回っていることを実証する。
論文参考訳（メタデータ） (2021-07-23T20:06:32Z)
LASER: Learning a Latent Action Space for Efficient Reinforcement Learning [41.53297694894669]
本稿では,効率的な強化学習のための潜在行動空間の学習方法であるLASERを提案する。学習したアクション空間マニホールドの可視化で観察したように、アクション空間のより良いアライメントからタスクスペースへの元のアクションスペースと比較して、サンプル効率が向上しました。
論文参考訳（メタデータ） (2021-03-29T17:40:02Z)
Geometric Entropic Exploration [52.67987687712534]
離散領域と連続領域の両方における状態ビジットの幾何認識シャノンエントロピーを最大化する新しいアルゴリズムを導入する。私たちの重要な理論的貢献は、単純で新しいノイズコントラストの客観的関数を最適化する牽引可能な問題としてジオメトリ認識MSVE探索を鋳造することです。実験では,他の深部RL探査手法と比較して,疎度な報酬を伴う複数のRL問題の解法におけるGEMの効率性を示した。
論文参考訳（メタデータ） (2021-01-06T14:15:07Z)
Reannealing of Decaying Exploration Based On Heuristic Measure in Deep Q-Network [82.20059754270302]
本稿では,再熱処理の概念に基づくアルゴリズムを提案し,必要なときにのみ探索を促進することを目的とする。我々は、訓練を加速し、より良い政策を得る可能性を示す実証的なケーススタディを実施している。
論文参考訳（メタデータ） (2020-09-29T20:40:00Z)
Provably Safe PAC-MDP Exploration Using Analogies [87.41775218021044]
安全クリティカルドメインに強化学習を適用する上での課題は、探索と安全性のバランスをとる方法を理解することだ。我々は,未知のダイナミックスを持つMDPにおいて,確実に安全な探索を行うアルゴリズムであるAnalogous Safe-State Exploration (ASE)を提案する。提案手法は, PAC-MDP 感覚の準最適政策を安全に学習するために, 状態-作用対間の類似性を利用する。
論文参考訳（メタデータ） (2020-07-07T15:50:50Z)
Localized active learning of Gaussian process state space models [63.97366815968177]
多くの共通制御アプリケーションにおいて、優れた性能を達成するためには、グローバルに正確なモデルを必要としない。本稿では,状態-作用空間の有界部分集合上の正確なモデルを得ることを目的としたガウス過程状態空間モデルに対する能動的学習戦略を提案する。モデル予測制御を用いることで、探索中に収集した情報を統合し、探索戦略を適応的に改善する。
論文参考訳（メタデータ） (2020-05-04T05:35:02Z)
Intrinsic Exploration as Multi-Objective RL [29.124322674133]
内在的モチベーションは、報酬が非常に少ないときに強化学習(RL)エージェントを探索することを可能にする。本稿では,多目的RLに基づくフレームワークを提案する。この定式化は、探索と搾取のバランスを政策レベルでもたらし、従来の方法よりも有利になる。
論文参考訳（メタデータ） (2020-04-06T02:37:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。