論文の概要: Touch-based Curiosity for Sparse-Reward Tasks

• arxiv url: http://arxiv.org/abs/2104.00442v1
• Date: Thu, 1 Apr 2021 12:49:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-02 14:13:35.550697
• Title: Touch-based Curiosity for Sparse-Reward Tasks
• Title（参考訳）: スパース・リワード課題に対するタッチベース好奇心
• Authors: Sai Rajeswar, Cyril Ibrahim, Nitin Surya, Florian Golemo, David Vazquez, Aaron Courville, Pedro O. Pinheiro
• Abstract要約: タッチフィードバックのミスマッチからサプライズを使用して,難解な強化学習タスクの探索をガイドしています。 私たちのアプローチであるタッチベースのCuriosity(ToC)は、目に見えるオブジェクトの相互作用が「感じる」ことを学習します。 我々はタッチ集約型ロボットアームタスクにアプローチを試行する。
• 参考スコア（独自算出の注目度）: 15.766198618516137
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robots in many real-world settings have access to force/torque sensors in their gripper and tactile sensing is often necessary in tasks that involve contact-rich motion. In this work, we leverage surprise from mismatches in touch feedback to guide exploration in hard sparse-reward reinforcement learning tasks. Our approach, Touch-based Curiosity (ToC), learns what visible objects interactions are supposed to "feel" like. We encourage exploration by rewarding interactions where the expectation and the experience don't match. In our proposed method, an initial task-independent exploration phase is followed by an on-task learning phase, in which the original interactions are relabeled with on-task rewards. We test our approach on a range of touch-intensive robot arm tasks (e.g. pushing objects, opening doors), which we also release as part of this work. Across multiple experiments in a simulated setting, we demonstrate that our method is able to learn these difficult tasks through sparse reward and curiosity alone. We compare our cross-modal approach to single-modality (touch- or vision-only) approaches as well as other curiosity-based methods and find that our method performs better and is more sample-efficient.
• Abstract（参考訳）: 多くの現実世界のロボットは、握り手の力/トルクセンサーにアクセスでき、触覚センサーは、接触に富む動きを伴うタスクにしばしば必要である。 本研究では,タッチフィードバックのミスマッチからサプライズを活用し,難解な強化学習タスクの探索を指導する。 当社のアプローチであるタッチベースの好奇心(toc)は、目に見えるオブジェクトのインタラクションがどのようなものであるかを学習します。 期待と経験が一致しない相互作用に報いることで、探索を奨励します。 提案手法では,タスクに依存しない最初の探索段階をタスク学習段階とし,元のインタラクションにタスク報酬を付与する。 我々は、タッチ集約型ロボットアームタスク(例)において、アプローチをテストする。 物体を押したり 扉を開けたり) これもこの作業の一部としてリリースします シミュレーション環境での複数の実験を通して,本手法は,疎い報酬と好奇心だけでこれらの困難な課題を学習できることを実証した。 クロスモーダルアプローチを単一モダリティ(タッチまたは視覚のみ)のアプローチや、他の好奇心に基づく手法と比較し、この手法がより良く、よりサンプル効率があることを確認します。

関連論文リスト

• KOI: Accelerating Online Imitation Learning via Hybrid Key-state Guidance [51.09834120088799]
  キーステートガイド付きオンライン模倣(KOI)学習手法について紹介する。 我々は視覚言語モデルを用いて、専門家の軌跡から意味的キー状態を抽出し、「何をすべきか」の目的を示す。 セマンティックキー状態間の間隔内では、動作キー状態の捕捉に光流が使用され、「どうするか」のメカニズムが理解される。
  論文  参考訳（メタデータ） (2024-08-06T02:53:55Z)
• Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
  人間は触覚と触覚に頼っている。 視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。 本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
  論文  参考訳（メタデータ） (2023-03-10T16:27:37Z)
• Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
  我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。 学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
  論文  参考訳（メタデータ） (2022-11-16T16:26:48Z)
• TANDEM: Learning Joint Exploration and Decision Making with Tactile Sensors [15.418884994244996]
  我々は,触覚探索の指導プロセスとタスク関連意思決定との相互作用に焦点を当てた。 意思決定と協調して効率的な探索戦略を学習するアーキテクチャであるTANDEMを提案する。 本手法は,触覚フィードバックのみに基づいて,触覚センサを備えたロボットが既知の集合から物体を探索・識別する必要がある触覚物体認識タスクにおいて実証する。
  論文  参考訳（メタデータ） (2022-03-01T23:55:09Z)
• Bottom-Up Skill Discovery from Unsegmented Demonstrations for Long-Horizon Robot Manipulation [55.31301153979621]
  我々は,実世界の長距離ロボット操作作業に,スキル発見による取り組みを行う。 未解決のデモンストレーションから再利用可能なスキルのライブラリを学ぶためのボトムアップアプローチを提案する。 提案手法は,多段階操作タスクにおける最先端の模倣学習手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-09-28T16:18:54Z)
• Is Curiosity All You Need? On the Utility of Emergent Behaviours from Curious Exploration [20.38772636693469]
  我々は、好奇心を高速な環境探索や、特定のタスクに対するボーナス報酬として使うだけでは、この手法の潜在能力を最大限に活用できないと論じている。 好奇心に基づく学習において出現する行動の維持に焦点を移すことを提案する。
  論文  参考訳（メタデータ） (2021-09-17T15:28:25Z)
• Improved Learning of Robot Manipulation Tasks via Tactile Intrinsic Motivation [40.81570120196115]
  スパースゴール設定では、エージェントはランダムに目標を達成するまで肯定的なフィードバックを受けません。 子どもの触覚による探索から着想を得て,ロボットの力センサと操作対象との力の合計に基づいて本質的な報酬を定式化する。 提案手法は,3つの基本ロボット操作ベンチマークにおける最先端手法の探索と性能向上を促進させる。
  論文  参考訳（メタデータ） (2021-02-22T14:21:30Z)
• ACDER: Augmented Curiosity-Driven Experience Replay [16.755555854030412]
  Augmented Curiosity-Driven Experience Replay (ACDER) という新しい手法を提案する。 ACDERは新しい目標指向の好奇心を駆使して、エージェントが新しいタスク関連状態をより意図的に追求するよう促す。 Reach、Push、Pick&Place、Multi-step Pushの4つの挑戦的なロボット操作タスクの実験を行った。
  論文  参考訳（メタデータ） (2020-11-16T15:27:15Z)
• Hierarchical Affordance Discovery using Intrinsic Motivation [69.9674326582747]
  本研究では,移動ロボットの価格学習を支援するために,本質的なモチベーションを用いたアルゴリズムを提案する。 このアルゴリズムは、事前にプログラムされたアクションなしで、相互に関連のある価格を自律的に発見し、学習し、適応することができる。 一度学習すると、これらの余裕はアルゴリズムによって様々な困難を伴うタスクを実行するために一連のアクションを計画するために使われる。
  論文  参考訳（メタデータ） (2020-09-23T07:18:21Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。