論文の概要: Value-Penalized Auxiliary Control from Examples for Learning without Rewards or Demonstrations

• arxiv url: http://arxiv.org/abs/2407.03311v1
• Date: Wed, 3 Jul 2024 17:54:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 13:05:47.102793
• Title: Value-Penalized Auxiliary Control from Examples for Learning without Rewards or Demonstrations
• Title（参考訳）: 反省やデモを伴わない学習事例からのバリューペナライズされた補助制御
• Authors: Trevor Ablett, Bryan Chan, Jayce Haoran Wang, Jonathan Kelly,
• Abstract要約: 本研究は,実例(VPACE)から価値額化補助制御を導入する。 我々は、スケジュールされた補助制御と補助タスクの例を追加することで、サンプルベース制御における探索を大幅に改善する。 3つのシミュレーション環境と1つの実際のロボット操作環境,21のタスクにまたがって,本手法が学習効率を大幅に向上することを示す。
• 参考スコア（独自算出の注目度）: 6.777249026160499
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning from examples of success is an appealing approach to reinforcement learning that eliminates many of the disadvantages of using hand-crafted reward functions or full expert-demonstration trajectories, both of which can be difficult to acquire, biased, or suboptimal. However, learning from examples alone dramatically increases the exploration challenge, especially for complex tasks. This work introduces value-penalized auxiliary control from examples (VPACE); we significantly improve exploration in example-based control by adding scheduled auxiliary control and examples of auxiliary tasks. Furthermore, we identify a value-calibration problem, where policy value estimates can exceed their theoretical limits based on successful data. We resolve this problem, which is exacerbated by learning auxiliary tasks, through the addition of an above-success-level value penalty. Across three simulated and one real robotic manipulation environment, and 21 different main tasks, we show that our approach substantially improves learning efficiency. Videos, code, and datasets are available at https://papers.starslab.ca/vpace.
• Abstract（参考訳）: 成功例から学ぶことは、強化学習への魅力的なアプローチであり、手作りの報酬関数や完全な専門家-実証軌道の欠点の多くを排除している。 しかし、例のみから学ぶことで、特に複雑なタスクにおいて、探索の課題が劇的に増加する。 本研究は,実例(VPACE)からの有償補助制御を導入し,計画された補助制御と補助タスクの例を追加することで,実例に基づく探索を著しく改善する。 さらに、政策値の推定値が理論上の限界を超えるような値校正問題を、成功したデータに基づいて特定する。 補助的なタスクを学習することで悪化するこの問題を、上記のレベルの値ペナルティを追加することで解決する。 3つのシミュレーション環境と1つの実際のロボット操作環境,21のタスクにまたがって,本手法が学習効率を大幅に向上することを示す。 ビデオ、コード、データセットはhttps://papers.starslab.ca/vpace.comで入手できる。

関連論文リスト

• Reinforcement Learning with Action Sequence for Data-Efficient Robot Learning [62.3886343725955]
  本稿では,行動列上のQ値を出力する批判ネットワークを学習する新しいRLアルゴリズムを提案する。 提案アルゴリズムは,現在および将来の一連の行動の実行結果を学習するために値関数を明示的に訓練することにより,ノイズのある軌道から有用な値関数を学習することができる。
  論文  参考訳（メタデータ） (2024-11-19T01:23:52Z)
• Reverse Forward Curriculum Learning for Extreme Sample and Demonstration Efficiency in Reinforcement Learning [17.092640837991883]
  強化学習(Reinforcement Learning, RL)は、環境相互作用を通じてポリシーを学ぶための有望な枠組みである。 ひとつの方向性として、オフラインデータによるRLの拡張による望ましいタスクの実証があるが、過去の作業では、多くの高品質なデモデータが必要になることが多い。 提案手法における逆カリキュラムと前方カリキュラムの組み合わせ(RFCL)は,実演とサンプル効率を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-06T11:33:12Z)
• Sample Efficient Reinforcement Learning by Automatically Learning to Compose Subtasks [3.1594865504808944]
  サブタスクを表すラベルのセットを与えられた場合、サンプル効率のために報酬関数を自動的に構成するRLアルゴリズムを提案する。 我々は,様々なスパース・リワード環境におけるアルゴリズムの評価を行った。
  論文  参考訳（メタデータ） (2024-01-25T15:06:40Z)
• Planning for Sample Efficient Imitation Learning [52.44953015011569]
  現在の模倣アルゴリズムは、高い性能と高環境サンプル効率を同時に達成するのに苦労している。 本研究では,環境内サンプルの効率と性能を同時に達成できる計画型模倣学習手法であるEfficientImitateを提案する。 実験結果から,EIは性能と試料効率の両立を図った。
  論文  参考訳（メタデータ） (2022-10-18T05:19:26Z)
• Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience [89.30876995059168]
  逆強化学習(IRL) - エージェントの報酬関数をその振る舞いを観察することから推測する。 本稿では、エージェントの報酬関数を観察することのできないIRLの問題に対処する。
  論文  参考訳（メタデータ） (2022-08-09T17:29:49Z)
• Learning from Guided Play: A Scheduled Hierarchical Approach for Improving Exploration in Adversarial Imitation Learning [7.51557557629519]
  本稿では,主課題,複数の補助課題に加えて,専門家による実演を活用するためのフレームワークであるLearning from Guided Play (LfGP)を紹介する。 主なタスクに対する学習効率は、ボトルネック遷移に挑戦して改善され、専門家データがタスク間で再利用可能になり、学習した補助タスクモデルの再利用を通じて学習を移行することが可能になります。
  論文  参考訳（メタデータ） (2021-12-16T14:58:08Z)
• Maximum Entropy Model-based Reinforcement Learning [0.0]
  この研究は、探索技術とモデルに基づく強化学習を結びつけている。 モデルベースアプローチの特徴を考慮した新しい探索手法を考案した。 また,本手法がモデルベースアルゴリズムDreamerの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2021-12-02T13:07:29Z)
• Learning by Examples Based on Multi-level Optimization [12.317568257671427]
  我々はLBE(Learning By Examples)と呼ばれる新しい学習手法を提案する。 提案手法では,クエリサンプルに類似したトレーニングサンプルの集合を自動的に検索し,検索したサンプルのクラスラベルを用いてクエリサンプルのラベルを予測する。 様々なベンチマークにおいて,教師付き学習と少数ショット学習の両方において,本手法の有効性を実証する実験を行った。
  論文  参考訳（メタデータ） (2021-09-22T16:33:06Z)
• MURAL: Meta-Learning Uncertainty-Aware Rewards for Outcome-Driven Reinforcement Learning [65.52675802289775]
  本研究では,不確かさを意識した分類器が,強化学習の難しさを解消できることを示す。 正規化最大度(NML)分布の計算法を提案する。 得られたアルゴリズムは、カウントベースの探索法と、報酬関数を学習するための先行アルゴリズムの両方に多くの興味深い関係を持つことを示す。
  論文  参考訳（メタデータ） (2021-07-15T08:19:57Z)
• Replacing Rewards with Examples: Example-Based Policy Search via Recursive Classification [133.20816939521941]
  標準的なマルコフ決定プロセス形式では、ユーザーは報酬関数を書き留めてタスクを指定する。 多くのシナリオでは、ユーザーはタスクを単語や数字で記述できないが、タスクが解決された場合の世界がどのように見えるかを簡単に示すことができる。 この観察に動機づけられた制御アルゴリズムは、成功した結果状態の例だけを考慮すれば、成功する結果につながる確率の高い状態を訪問することを目的としている。
  論文  参考訳（メタデータ） (2021-03-23T16:19:55Z)
• Zeroth-Order Supervised Policy Improvement [94.0748002906652]
  政策勾配(PG)アルゴリズムは強化学習(RL)に広く用いられている。 ゼロ次監視政策改善(ZOSPI)を提案する。 ZOSPIは、PGメソッドの局所的な利用を保ちながら、推定値関数を全世界で$Q$で活用する。
  論文  参考訳（メタデータ） (2020-06-11T16:49:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。