論文の概要: An approach to improve agent learning via guaranteeing goal reaching in all episodes

• arxiv url: http://arxiv.org/abs/2405.18118v2
• Date: Wed, 29 May 2024 08:45:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 11:12:33.883969
• Title: An approach to improve agent learning via guaranteeing goal reaching in all episodes
• Title（参考訳）: 全エピソードにおける目標到達保証によるエージェント学習改善の試み
• Authors: Pavel Osinenko, Grigory Yaremenko, Georgiy Malaniya, Anton Bolychev,
• Abstract要約: 強化学習はマルコフ決定過程における累積報酬の最大化の問題に関係している。 我々は、かなり柔軟で、批判者を構成する限り、事実上あらゆるエージェントを増強するために使用できるアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning is commonly concerned with problems of maximizing accumulated rewards in Markov decision processes. Oftentimes, a certain goal state or a subset of the state space attain maximal reward. In such a case, the environment may be considered solved when the goal is reached. Whereas numerous techniques, learning or non-learning based, exist for solving environments, doing so optimally is the biggest challenge. Say, one may choose a reward rate which penalizes the action effort. Reinforcement learning is currently among the most actively developed frameworks for solving environments optimally by virtue of maximizing accumulated reward, in other words, returns. Yet, tuning agents is a notoriously hard task as reported in a series of works. Our aim here is to help the agent learn a near-optimal policy efficiently while ensuring a goal reaching property of some basis policy that merely solves the environment. We suggest an algorithm, which is fairly flexible, and can be used to augment practically any agent as long as it comprises of a critic. A formal proof of a goal reaching property is provided. Simulation experiments on six problems under five agents, including the benchmarked one, provided an empirical evidence that the learning can indeed be boosted while ensuring goal reaching property.
• Abstract（参考訳）: 強化学習は、マルコフ決定過程における累積報酬の最大化の問題に一般的に関係している。 しばしば、ある目標状態または状態空間の部分集合が最大報酬を得る。 そのような場合、目標に達すると環境が解決される可能性がある。 学習や非学習に基づく多くのテクニックが環境解決のために存在するのに対して、最適に行うことが最大の課題です。 例えば、アクションの努力を罰する報酬率を選択することができる。 現在、強化学習は、蓄積された報酬を最大化することで最適な環境を解決するための最も活発なフレームワークの1つである。 しかし、チューニングエージェントは、一連の研究で報告されているように、非常に難しいタスクである。 本研究の目的は,環境問題にのみ対応可能な基本方針の目標を達成しつつ,エージェントが最適に近い政策を効率的に学習できるようにすることである。 我々は、かなり柔軟で、批判者を構成する限り、事実上あらゆるエージェントを増強するために使用できるアルゴリズムを提案する。 目標到達特性の正式な証明が提供される。 ベンチマークされたエージェントを含む5つのエージェントの6つの問題に関するシミュレーション実験は、目標到達性を確保しながら学習を実際に促進できるという実証的な証拠を提供した。

関連論文リスト

• Reinforcement Learning with Non-Cumulative Objective [12.906500431427716]
  強化学習では、その目的は、ほぼ常にプロセスに沿った報酬に対する累積関数として定義される。 本稿では,そのような目的を最適化するための既存アルゴリズムの修正を提案する。
  論文  参考訳（メタデータ） (2023-07-11T01:20:09Z)
• Goal-Conditioned Q-Learning as Knowledge Distillation [136.79415677706612]
  目標条件設定における非政治強化学習と知識蒸留との関連について検討する。 これは,目標の空間が高次元である場合に,目標条件付き非政治強化学習の性能を向上させることを実証的に示す。 また,複数のスパース目標を同時に達成した場合に,この手法を効果的に学習できることを示す。
  論文  参考訳（メタデータ） (2022-08-28T22:01:10Z)
• Parametrically Retargetable Decision-Makers Tend To Seek Power [91.93765604105025]
  完全に観察可能な環境では、ほとんどの報酬関数は、オプションを開いて生き続けることで力を求める最適なポリシーを持つ。 我々は、最適からランダムまで、AI意思決定のモデルから、学習と環境との対話によって得られる選択まで、さまざまなモデルを検討します。 定性的に異なる意思決定手順がエージェントに力を求めるインセンティブを与えることを示す。
  論文  参考訳（メタデータ） (2022-06-27T17:39:23Z)
• Local Advantage Actor-Critic for Robust Multi-Agent Deep Reinforcement Learning [19.519440854957633]
  本稿では,Robost Local Advantage (ROLA) Actor-Criticと呼ばれるマルチエージェントポリシー勾配法を提案する。 ROLAにより、各エージェントはローカルな批評家として個々のアクション値関数を学習し、環境の非定常性を改善することができる。 複数の最先端マルチエージェントポリシー勾配アルゴリズムに対して,ROLAの堅牢性と有効性を示す。
  論文  参考訳（メタデータ） (2021-10-16T19:03:34Z)
• Policy Gradient Bayesian Robust Optimization for Imitation Learning [49.881386773269746]
  我々は、期待される性能とリスクのバランスをとるために、新しいポリシー勾配スタイルのロバスト最適化手法PG-BROILを導出する。 その結果,PG-BROILはリスクニュートラルからリスク・アバースまでの行動のファミリを創出できる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-11T16:49:15Z)
• Online reinforcement learning with sparse rewards through an active inference capsule [62.997667081978825]
  本稿では,将来期待される新しい自由エネルギーを最小化するアクティブ推論エージェントを提案する。 我々のモデルは、非常に高いサンプル効率でスパース・リワード問題を解くことができる。 また、複雑な目的の表現を単純化する報奨関数から事前モデルを近似する新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T10:03:36Z)
• Outcome-Driven Reinforcement Learning via Variational Inference [95.82770132618862]
  我々は、報酬を最大化する問題ではなく、望ましい結果を達成するための行動を推測する問題として、強化学習に関する新たな視点について論じる。 結果として得られる結果指向推論の問題を解決するため, 定型的報酬関数を導出する新しい変分推論定式を制定する。 我々は,この手法が報酬機能の設計を不要とし,効果的なゴール指向行動へと導くことを実証的に示す。
  論文  参考訳（メタデータ） (2021-04-20T18:16:21Z)
• Automatic Curriculum Learning through Value Disagreement [95.19299356298876]
  新しい未解決タスクを継続的に解決することが、多様な行動を学ぶための鍵です。 エージェントが複数の目標を達成する必要があるマルチタスク領域では、トレーニング目標の選択はサンプル効率に大きな影響を与える可能性がある。 そこで我々は,エージェントが解決すべき目標のための自動カリキュラムを作成することを提案する。 提案手法は,13のマルチゴールロボットタスクと5つのナビゲーションタスクにまたがって評価し,現在の最先端手法よりも高い性能を示す。
  論文  参考訳（メタデータ） (2020-06-17T03:58:25Z)
• Curiosity Killed or Incapacitated the Cat and the Asymptotically Optimal Agent [21.548271801592907]
  強化学習者は、高い報酬につながる行動を選択することを学ぶエージェントである。 エージェントが任意の環境において「漸近的に最適」であると保証された場合、真の環境に関する仮定に従うと、エージェントは「破壊される」か「不活性化される」かのいずれかとなる。 我々は,メンティーというエージェントを,無謀な探索ではなく安全な探索をし,メンティーのパフォーマンスに近づくという,控えめな保証をもって提示する。
  論文  参考訳（メタデータ） (2020-06-05T10:42:29Z)
• Generating Automatic Curricula via Self-Supervised Active Domain Randomization [11.389072560141388]
  我々は、目標と環境のカリキュラムを共同で学習するために、セルフプレイフレームワークを拡張します。 本手法は, エージェントがより困難なタスクや環境変化から学習する, ゴールタスクの複合カリキュラムを生成する。 本結果から,各環境に設定された目標の難易度とともに,環境の難易度を両立させるカリキュラムが,テスト対象の目標指向タスクに実用的利益をもたらすことが示唆された。
  論文  参考訳（メタデータ） (2020-02-18T22:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。