論文の概要: Reinforcement Learning with Goal-Distance Gradient

• arxiv url: http://arxiv.org/abs/2001.00127v2
• Date: Fri, 10 Jan 2020 12:26:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-16 09:12:10.525445
• Title: Reinforcement Learning with Goal-Distance Gradient
• Title（参考訳）: ゴール距離勾配を用いた強化学習
• Authors: Kai Jiang, XiaoLong Qin
• Abstract要約: 強化学習は通常、エージェントを訓練するために環境のフィードバック報酬を使用する。 現在の手法のほとんどは、スパース報酬や非リワード環境での優れたパフォーマンスを得るのが難しい。 一般環境におけるスパース報酬の問題を解決するために,環境報酬に依存しないモデルフリー手法を提案する。
• 参考スコア（独自算出の注目度）: 1.370633147306388
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning usually uses the feedback rewards of environmental to train agents. But the rewards in the actual environment are sparse, and even some environments will not rewards. Most of the current methods are difficult to get good performance in sparse reward or non-reward environments. Although using shaped rewards is effective when solving sparse reward tasks, it is limited to specific problems and learning is also susceptible to local optima. We propose a model-free method that does not rely on environmental rewards to solve the problem of sparse rewards in the general environment. Our method use the minimum number of transitions between states as the distance to replace the rewards of environmental, and proposes a goal-distance gradient to achieve policy improvement. We also introduce a bridge point planning method based on the characteristics of our method to improve exploration efficiency, thereby solving more complex tasks. Experiments show that our method performs better on sparse reward and local optimal problems in complex environments than previous work.
• Abstract（参考訳）: 強化学習は通常、エージェントを訓練するために環境のフィードバック報酬を使用する。 しかし、実際の環境における報酬は乏しく、一部の環境でも報酬が得られない。 現在の手法のほとんどは、スパース報酬や非リワード環境での優れたパフォーマンスを得るのが難しい。 形をした報酬は、少ない報酬タスクの解くのに有効であるが、特定の問題に限定されており、学習もまた局所的なオプティマに影響を受けやすい。 一般環境におけるスパース報酬の問題を解決するために,環境報酬に依存しないモデルフリー手法を提案する。 本手法では, 環境報酬の代替として, 状態間の遷移を最小限にし, 政策改善のための目標距離勾配を提案する。 また,本手法の特徴に基づくブリッジポイント計画手法を導入し,探索効率を向上し,より複雑な課題を解決する。 実験により, 複雑な環境下でのスパース報酬や局所最適問題に対して, 従来よりも優れた性能が得られた。

関連論文リスト

• No Regrets: Investigating and Improving Regret Approximations for Curriculum Discovery [53.08822154199948]
  非教師なし環境設計(UED)手法は、エージェントがイン・オブ・アウト・ディストリビューションタスクに対して堅牢になることを約束する適応的カリキュラムとして近年注目を集めている。 本研究は,既存のUEDメソッドがいかにトレーニング環境を選択するかを検討する。 本研究では,学習性の高いシナリオを直接訓練する手法を開発した。
  論文  参考訳（メタデータ） (2024-08-27T14:31:54Z)
• Automatic Reward Design via Learning Motivation-Consistent Intrinsic Rewards [46.068337522093096]
  報酬の最大化という基本的な目標を捉えたモチベーションの概念を導入する。 提案手法は, 遅延報酬, 探索, 信用代入といった問題に対処する上で, 最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-29T14:52:02Z)
• Hindsight Task Relabelling: Experience Replay for Sparse Reward Meta-RL [91.26538493552817]
  本稿では,メタRLの学習経験をリラベルするメタRLのための後向きレバーベリングの定式化について述べる。 提案手法の有効性を,難易度の高い目標達成環境のスイートで実証する。
  論文  参考訳（メタデータ） (2021-12-02T00:51:17Z)
• Unbiased Methods for Multi-Goal Reinforcement Learning [13.807859854345834]
  マルチゴール強化学習では、各ゴールに対する報酬は希少であり、ゴールの小さな近傍に位置する。 我々は,HER(Hindsight Experience Replay)が,チャンシーの結果を過大評価することにより,低リターンポリシーに収束できることを示す。 我々は、このような無限にスパースな報酬を処理し、おもちゃの環境でそれらをテストできる、偏見のない深いQ-ラーニングとアクター-クリティカルなアルゴリズムを導入します。
  論文  参考訳（メタデータ） (2021-06-16T15:31:51Z)
• Semi-supervised reward learning for offline reinforcement learning [71.6909757718301]
  トレーニングエージェントは通常、報酬機能が必要ですが、報酬は実際にはほとんど利用できず、エンジニアリングは困難で手間がかかります。 限定されたアノテーションから学習し,ラベルなしデータを含む半教師付き学習アルゴリズムを提案する。 シミュレーションロボットアームを用いた実験では,動作のクローン化が大幅に向上し,真理の報奨によって達成される性能に近づいた。
  論文  参考訳（メタデータ） (2020-12-12T20:06:15Z)
• Demonstration-efficient Inverse Reinforcement Learning in Procedurally Generated Environments [137.86426963572214]
  逆強化学習(Inverse Reinforcement Learning)は、専門家によるデモンストレーションから報酬関数を外挿する。 提案手法であるDE-AIRLは、実演効率が高く、完全手続き領域に一般化する報酬関数を外挿できることを示す。
  論文  参考訳（メタデータ） (2020-12-04T11:18:02Z)
• Self-Imitation Learning for Robot Tasks with Sparse and Delayed Rewards [1.2691047660244335]
  SILCR(Constant Reward)を用いた自己刺激学習法を提案する。 提案手法では,各時点の即時報酬を最終報酬に応じて一定値で割り当てる。 我々は,MuJoCoシミュレーションにおける連続ロボット制御タスクにおいて,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-10-14T11:12:07Z)
• Ecological Reinforcement Learning [76.9893572776141]
  このような条件下での学習を容易にする環境特性について検討する。 環境の特性が強化学習エージェントのパフォーマンスにどのように影響するかを理解することは、学習を魅力的にする方法でタスクを構造化するのに役立ちます。
  論文  参考訳（メタデータ） (2020-06-22T17:55:03Z)
• RIDE: Rewarding Impact-Driven Exploration for Procedurally-Generated Environments [15.736899098702972]
  本稿では,エージェントが学習状態の表現に大きな変化をもたらす行動を起こすことを奨励する,新しいタイプの固有報酬を提案する。 提案手法は,MiniGridにおける複数の手続き的タスクに対して評価する。
  論文  参考訳（メタデータ） (2020-02-27T18:03:16Z)
• oIRL: Robust Adversarial Inverse Reinforcement Learning with Temporally Extended Actions [37.66289166905027]
  与えられた環境に対する報酬関数の明示的エンジニアリングは、強化学習方法の大きな障害となっている。 本稿では,階層的不整合報酬を選択肢に対するポリシーで学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-20T22:21:41Z)
• Long-Term Visitation Value for Deep Exploration in Sparse Reward Reinforcement Learning [34.38011902445557]
  報酬の少ない強化学習は、依然としてオープンな課題である。 本稿では,長期訪問数を用いて,今後の探査行動を計画する新しいアプローチを提案する。 報酬と力学のモデルを使用する既存の方法とは対照的に、我々のアプローチは非政治的でモデルなしです。
  論文  参考訳（メタデータ） (2020-01-01T01:01:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。