論文の概要: Wish you were here: Hindsight Goal Selection for long-horizon dexterous manipulation

• arxiv url: http://arxiv.org/abs/2112.00597v1
• Date: Wed, 1 Dec 2021 16:12:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-02 15:27:45.648475
• Title: Wish you were here: Hindsight Goal Selection for long-horizon dexterous manipulation
• Title（参考訳）: 近視のゴール選択で、長い水平な操作が可能に
• Authors: Todor Davchev, Oleg Sushkov, Jean-Baptiste Regli, Stefan Schaal, Yusuf Aytar, Markus Wulfmeier, Jon Scholz
• Abstract要約: スパース報酬をサンプル効率のよい方法で解くことは、現代の強化学習の課題である。 既存の戦略はタスク非依存のゴール分布に基づいて検討されており、これは長軸タスクの解を非現実的なものにすることができる。 実験を成功させた少数の事例によって示されるタスク固有の分布に沿った探索をガイドするために、後視リラベリング機構を拡張した。
• 参考スコア（独自算出の注目度）: 14.901636098553848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Complex sequential tasks in continuous-control settings often require agents to successfully traverse a set of "narrow passages" in their state space. Solving such tasks with a sparse reward in a sample-efficient manner poses a challenge to modern reinforcement learning (RL) due to the associated long-horizon nature of the problem and the lack of sufficient positive signal during learning. Various tools have been applied to address this challenge. When available, large sets of demonstrations can guide agent exploration. Hindsight relabelling on the other hand does not require additional sources of information. However, existing strategies explore based on task-agnostic goal distributions, which can render the solution of long-horizon tasks impractical. In this work, we extend hindsight relabelling mechanisms to guide exploration along task-specific distributions implied by a small set of successful demonstrations. We evaluate the approach on four complex, single and dual arm, robotics manipulation tasks against strong suitable baselines. The method requires far fewer demonstrations to solve all tasks and achieves a significantly higher overall performance as task complexity increases. Finally, we investigate the robustness of the proposed solution with respect to the quality of input representations and the number of demonstrations.
• Abstract（参考訳）: 連続制御設定における複雑なシーケンシャルタスクは、エージェントが状態空間内の「狭い通路」のセットをうまく通過させる必要があることが多い。 このような課題をサンプル効率のよい方法でスパース報酬で解決することは、問題の長期的性質と学習中に十分な正のシグナルが欠如していることから、現代の強化学習(RL)への挑戦となる。 この課題に対処するために様々なツールが適用されている。 利用可能な場合、大規模なデモセットはエージェント探索をガイドすることができる。 一方、後ろ向きのラベリングは追加の情報源を必要としない。 しかし、既存の戦略はタスクに依存しない目標分布に基づいて探索する。 本研究は,タスク固有の分布に沿って探索をガイドするための後視リラベリング機構を拡張し,少数の実演を成功させた。 提案手法は,4つの複雑な単腕と双腕のロボット操作タスクを,適切なベースラインに対して評価する。 この方法は全てのタスクを解決するためにはるかに少ないデモンストレーションを必要とし、タスクの複雑さが増すにつれて全体的なパフォーマンスが大幅に向上する。 最後に,提案する解のロバスト性について,入力表現の質と実演数について検討する。

関連論文リスト

• Screw Geometry Meets Bandits: Incremental Acquisition of Demonstrations to Generate Manipulation Plans [9.600625243282618]
  本研究では,1回に1回に1回,十分な審美的デモンストレーションの集合を得るという課題について検討する。 実験結果から操作計画を生成するために, (i) スクリュー幾何表現を用いて, これらのオープンな問題に対処する新しい手法を提案する。 本研究は,2つの実例操作課題,すなわち注水とスクーピングに関する実験結果である。
  論文  参考訳（メタデータ） (2024-10-23T20:57:56Z)
• Learning Complex Teamwork Tasks Using a Given Sub-task Decomposition [11.998708550268978]
  本稿では,タスクをよりシンプルなマルチエージェントサブタスクに分解する手法を提案する。 各サブタスクでは、チーム全体のサブセットが、サブタスク固有のポリシを取得するようにトレーニングされる。 サブチームはマージされ、ターゲットタスクに転送される。そこでは、そのポリシーは、より複雑なターゲットタスクを解決するために、まとめて微調整される。
  論文  参考訳（メタデータ） (2023-02-09T21:24:56Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
  シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。 合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。 次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
  論文  参考訳（メタデータ） (2021-09-15T21:19:11Z)
• Hierarchical Few-Shot Imitation with Skill Transition Models [66.81252581083199]
  FIST(Few-shot Imitation with Skill Transition Models)は、オフラインデータからスキルを抽出し、それらを利用して見えないタスクに一般化するアルゴリズムである。 本稿では,FISTが新たなタスクに一般化し,ナビゲーション実験において従来のベースラインを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2021-07-19T15:56:01Z)
• Batch Exploration with Examples for Scalable Robotic Reinforcement Learning [63.552788688544254]
  BEE(Batch Exploration with Examples)は、重要状態の画像の少ない数の人間がガイドする状態空間の関連領域を探索する。 BEEは、シミュレーションと本物のフランカロボットの両方で、視覚ベースの操作に挑戦することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:49:25Z)
• Planning to Explore via Self-Supervised World Models [120.31359262226758]
  Plan2Exploreは自己監督型強化学習エージェントである。 我々は、自己監督型探索と、新しいタスクへの迅速な適応に対する新しいアプローチを提案する。 Plan2Exploreは、訓練の監督やタスク固有の相互作用がなければ、自己監督型の探査方法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-12T17:59:45Z)
• Weakly-Supervised Reinforcement Learning for Controllable Behavior [126.04932929741538]
  強化学習(Reinforcement Learning、RL)は、タスクを解決するために行動を取るための学習のための強力なフレームワークである。 多くの設定において、エージェントは、現在解決するよう求められている単一のタスクに対して、不可能なほど大きなタスク空間を放棄しなければならない。 我々は,この意味論的意味のあるタスクのサブスペースを,非意味的な「チャフ」タスクの巨大な空間から自動的に切り離すために,弱い監督を利用するフレームワークを導入する。
  論文  参考訳（メタデータ） (2020-04-06T17:50:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。