論文の概要: MimicTouch: Learning Human's Control Strategy with Multi-Modal Tactile
Feedback
- arxiv url: http://arxiv.org/abs/2310.16917v2
- Date: Wed, 1 Nov 2023 22:42:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-03 16:17:04.982180
- Title: MimicTouch: Learning Human's Control Strategy with Multi-Modal Tactile
Feedback
- Title(参考訳): MimicTouch: マルチモーダル触覚フィードバックによる人間のコントロール戦略の学習
- Authors: Kelin Yu, Yunhai Han, Matthew Zhu, Ye Zhao
- Abstract要約: ミミックタッチ(MimicTouch)は、人間の触覚誘導制御戦略を模倣する新しいフレームワークである。
物理ロボットにオンライン強化学習を取り入れた。
この研究は、触覚誘導ロボットの幅広い分野への道を開くだろう。
- 参考スコア(独自算出の注目度): 2.8582031759986775
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In robotics and artificial intelligence, the integration of tactile
processing is becoming increasingly pivotal, especially in learning to execute
intricate tasks like alignment and insertion. However, existing works focusing
on tactile methods for insertion tasks predominantly rely on robot
teleoperation data and reinforcement learning, which do not utilize the rich
insights provided by human's control strategy guided by tactile feedback. For
utilizing human sensations, methodologies related to learning from humans
predominantly leverage visual feedback, often overlooking the invaluable
tactile feedback that humans inherently employ to finish complex manipulations.
Addressing this gap, we introduce "MimicTouch", a novel framework that mimics
human's tactile-guided control strategy. In this framework, we initially
collect multi-modal tactile datasets from human demonstrators, incorporating
human tactile-guided control strategies for task completion. The subsequent
step involves instructing robots through imitation learning using multi-modal
sensor data and retargeted human motions. To further mitigate the embodiment
gap between humans and robots, we employ online residual reinforcement learning
on the physical robot. Through comprehensive experiments, we validate the
safety of MimicTouch in transferring a latent policy learned through imitation
learning from human to robot. This ongoing work will pave the way for a broader
spectrum of tactile-guided robotic applications.
- Abstract(参考訳): 特にアライメントや挿入といった複雑なタスクを実行するための学習において、ロボット工学や人工知能では触覚処理の統合がますます重要になっている。
しかし,既存の作業では,ロボット遠隔操作データと強化学習に大きく依存しており,触覚フィードバックによって導かれる人間のコントロール戦略による豊かな洞察は利用されていない。
人間の感覚を利用するために、人間の学習に関連する方法論は視覚的なフィードバックを主に利用し、しばしば人間が複雑な操作を終えるために本質的に使用する貴重な触覚フィードバックを見越す。
このギャップに対処するために,人間の触覚誘導制御戦略を模倣する新しいフレームワークである"MimicTouch"を紹介する。
このフレームワークでは、まず人間のデモンストレータからマルチモーダル触覚データセットを収集し、タスク完了のためのヒューマン触覚誘導制御戦略を取り入れた。
その後のステップでは、マルチモーダルセンサーデータと人間の動きを再ターゲットとした模倣学習を通じてロボットに指示する。
さらに,人間とロボットの具体的ギャップを緩和するため,物理ロボットにオンライン残留強化学習を導入する。
総合的な実験を通じて,人間からロボットへの模倣学習を通じて学んだ潜伏政策の伝達におけるMimicTouchの安全性を検証する。
この進行中の作業は、触覚誘導ロボットの幅広い応用への道を開くだろう。
関連論文リスト
- DexTouch: Learning to Seek and Manipulate Objects with Tactile Dexterity [12.508332341279177]
触覚を用いて物体を探索・操作する多指ロボットシステムを提案する。
これを実現するために、ロボットハンドの片側に二元触覚センサを実装し、Sim2Realギャップを最小限に抑える。
視覚情報のない環境においても,触覚センサを用いた物体探索と操作が可能であることを示す。
論文 参考訳(メタデータ) (2024-01-23T05:37:32Z) - Robot Synesthesia: In-Hand Manipulation with Visuotactile Sensing [16.570647733532173]
視覚的・触覚的な感覚入力を活用して手動操作を可能にするシステムを提案する。
ロボット・シンセシス(Robot Synesthesia)は、人間の触覚と視覚の合成にインスパイアされた、新しい点の雲に基づく触覚表現である。
論文 参考訳(メタデータ) (2023-12-04T12:35:43Z) - Learning Human-to-Robot Handovers from Point Clouds [63.18127198174958]
視覚に基づく人間ロボットハンドオーバの制御ポリシーを学習する最初のフレームワークを提案する。
シミュレーションベンチマーク,sim-to-sim転送,sim-to-real転送において,ベースラインよりも大きな性能向上を示した。
論文 参考訳(メタデータ) (2023-03-30T17:58:36Z) - Dexterous Manipulation from Images: Autonomous Real-World RL via Substep
Guidance [71.36749876465618]
本稿では,ユーザが新しいタスクを定義するための"プログラミング不要"なアプローチを提供する,視覚に基づくデクスタラスな操作システムについて述べる。
本システムには,最終タスクと中間タスクを画像例で定義するためのフレームワークが組み込まれている。
実世界における多段階物体操作の4指ロボットハンドラーによる実験結果
論文 参考訳(メタデータ) (2022-12-19T22:50:40Z) - HERD: Continuous Human-to-Robot Evolution for Learning from Human
Demonstration [57.045140028275036]
本研究では,マイクロ進化的強化学習を用いて,操作スキルを人間からロボットに伝達可能であることを示す。
本稿では,ロボットの進化経路とポリシーを協調的に最適化する多次元進化経路探索アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-12-08T15:56:13Z) - See, Hear, and Feel: Smart Sensory Fusion for Robotic Manipulation [49.925499720323806]
視覚的、聴覚的、触覚的知覚が、ロボットが複雑な操作タスクを解くのにどのように役立つかを研究する。
私たちは、カメラで見たり、コンタクトマイクで聞いたり、視覚ベースの触覚センサーで感じるロボットシステムを構築しました。
論文 参考訳(メタデータ) (2022-12-07T18:55:53Z) - Gesture2Path: Imitation Learning for Gesture-aware Navigation [54.570943577423094]
Gesture2Pathは、画像に基づく模倣学習とモデル予測制御を組み合わせた新しいソーシャルナビゲーション手法である。
実際のロボットに本手法をデプロイし,4つのジェスチャーナビゲーションシナリオに対するアプローチの有効性を示す。
論文 参考訳(メタデータ) (2022-09-19T23:05:36Z) - Body Gesture Recognition to Control a Social Robot [5.557794184787908]
本研究では,人間の身体を自然に利用してロボットと対話できるジェスチャー型言語を提案する。
ニューラルネットワークを用いた新しいジェスチャー検出モデルと、ネットワークをトレーニングするための身体ジェスチャーセットを実行する人間のカスタムデータセットを作成しました。
論文 参考訳(メタデータ) (2022-06-15T13:49:22Z) - Co-GAIL: Learning Diverse Strategies for Human-Robot Collaboration [51.268988527778276]
本研究では,人間とロボットの協調実験から人間とロボットの協調政策を学習する手法を提案する。
本手法は対話型学習プロセスにおけるヒューマンポリシーとロボットポリシーを協調的に最適化する。
論文 参考訳(メタデータ) (2021-08-13T03:14:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。