論文の概要: MimicTouch: Learning Human's Control Strategy with Multi-Modal Tactile Feedback

• arxiv url: http://arxiv.org/abs/2310.16917v2
• Date: Wed, 1 Nov 2023 22:42:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 16:17:04.982180
• Title: MimicTouch: Learning Human's Control Strategy with Multi-Modal Tactile Feedback
• Title（参考訳）: MimicTouch: マルチモーダル触覚フィードバックによる人間のコントロール戦略の学習
• Authors: Kelin Yu, Yunhai Han, Matthew Zhu, Ye Zhao
• Abstract要約: ミミックタッチ(MimicTouch)は、人間の触覚誘導制御戦略を模倣する新しいフレームワークである。 物理ロボットにオンライン強化学習を取り入れた。 この研究は、触覚誘導ロボットの幅広い分野への道を開くだろう。
• 参考スコア（独自算出の注目度）: 2.8582031759986775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In robotics and artificial intelligence, the integration of tactile processing is becoming increasingly pivotal, especially in learning to execute intricate tasks like alignment and insertion. However, existing works focusing on tactile methods for insertion tasks predominantly rely on robot teleoperation data and reinforcement learning, which do not utilize the rich insights provided by human's control strategy guided by tactile feedback. For utilizing human sensations, methodologies related to learning from humans predominantly leverage visual feedback, often overlooking the invaluable tactile feedback that humans inherently employ to finish complex manipulations. Addressing this gap, we introduce "MimicTouch", a novel framework that mimics human's tactile-guided control strategy. In this framework, we initially collect multi-modal tactile datasets from human demonstrators, incorporating human tactile-guided control strategies for task completion. The subsequent step involves instructing robots through imitation learning using multi-modal sensor data and retargeted human motions. To further mitigate the embodiment gap between humans and robots, we employ online residual reinforcement learning on the physical robot. Through comprehensive experiments, we validate the safety of MimicTouch in transferring a latent policy learned through imitation learning from human to robot. This ongoing work will pave the way for a broader spectrum of tactile-guided robotic applications.
• Abstract（参考訳）: 特にアライメントや挿入といった複雑なタスクを実行するための学習において、ロボット工学や人工知能では触覚処理の統合がますます重要になっている。 しかし,既存の作業では,ロボット遠隔操作データと強化学習に大きく依存しており,触覚フィードバックによって導かれる人間のコントロール戦略による豊かな洞察は利用されていない。 人間の感覚を利用するために、人間の学習に関連する方法論は視覚的なフィードバックを主に利用し、しばしば人間が複雑な操作を終えるために本質的に使用する貴重な触覚フィードバックを見越す。 このギャップに対処するために,人間の触覚誘導制御戦略を模倣する新しいフレームワークである"MimicTouch"を紹介する。 このフレームワークでは、まず人間のデモンストレータからマルチモーダル触覚データセットを収集し、タスク完了のためのヒューマン触覚誘導制御戦略を取り入れた。 その後のステップでは、マルチモーダルセンサーデータと人間の動きを再ターゲットとした模倣学習を通じてロボットに指示する。 さらに,人間とロボットの具体的ギャップを緩和するため,物理ロボットにオンライン残留強化学習を導入する。 総合的な実験を通じて,人間からロボットへの模倣学習を通じて学んだ潜伏政策の伝達におけるMimicTouchの安全性を検証する。 この進行中の作業は、触覚誘導ロボットの幅広い応用への道を開くだろう。

関連論文リスト

• Human-Agent Joint Learning for Efficient Robot Manipulation Skill Acquisition [48.65867987106428]
  本稿では,人間とロボットの協調学習システムについて紹介する。 これにより、ロボットエンドエフェクターの制御を学習支援エージェントと共有することができる。 これにより、ダウンストリームタスクにおいて、収集されたデータが十分な品質であることを保証しながら、人間の適応の必要性を減らすことができる。
  論文  参考訳（メタデータ） (2024-06-29T03:37:29Z)
• ManiWAV: Learning Robot Manipulation from In-the-Wild Audio-Visual Data [28.36623343236893]
  我々は,同期音声と視覚的フィードバックを伴って人体でのデモを収集する「アー・イン・ハンド」データ収集装置であるManiWAVを紹介する。 また,本システムでは,多種多様な人間の実演から学習することで,未知の環境に一般化できることを示す。
  論文  参考訳（メタデータ） (2024-06-27T18:06:38Z)
• Learning Variable Compliance Control From a Few Demonstrations for Bimanual Robot with Haptic Feedback Teleoperation System [5.497832119577795]
  厳格なロボットを使った、きめ細やかな、接触に富んだ操作は、ロボット工学において重要な課題である。 外部センサを介して力を制御することでこれらの問題を緩和するために、コンプライアンス制御スキームが導入されている。 Demonstrationsからの学習は直感的な代替手段であり、ロボットは観察された動作を通じて操作を学習できる。
  論文  参考訳（メタデータ） (2024-06-21T09:03:37Z)
• Learning Visuotactile Skills with Two Multifingered Hands [80.99370364907278]
  マルチフィンガーハンドとバイソタクティブルデータを用いたバイマニアルシステムを用いて,人間の実演からの学習を探索する。 以上の結果から,バイスオタクティブルデータからの両指多指操作における有望な進歩が示唆された。
  論文  参考訳（メタデータ） (2024-04-25T17:59:41Z)
• DexTouch: Learning to Seek and Manipulate Objects with Tactile Dexterity [12.508332341279177]
  触覚を用いて物体を探索・操作する多指ロボットシステムを提案する。 これを実現するために、ロボットハンドの片側に二元触覚センサを実装し、Sim2Realギャップを最小限に抑える。 視覚情報のない環境においても,触覚センサを用いた物体探索と操作が可能であることを示す。
  論文  参考訳（メタデータ） (2024-01-23T05:37:32Z)
• Dexterous Manipulation from Images: Autonomous Real-World RL via Substep Guidance [71.36749876465618]
  本稿では,ユーザが新しいタスクを定義するための"プログラミング不要"なアプローチを提供する,視覚に基づくデクスタラスな操作システムについて述べる。 本システムには,最終タスクと中間タスクを画像例で定義するためのフレームワークが組み込まれている。 実世界における多段階物体操作の4指ロボットハンドラーによる実験結果
  論文  参考訳（メタデータ） (2022-12-19T22:50:40Z)
• Model Predictive Control for Fluid Human-to-Robot Handovers [50.72520769938633]
  人間の快適さを考慮に入れた計画運動は、人間ロボットのハンドオーバプロセスの一部ではない。 本稿では,効率的なモデル予測制御フレームワークを用いてスムーズな動きを生成することを提案する。 ユーザ数名の多様なオブジェクトに対して,人間とロボットのハンドオーバ実験を行う。
  論文  参考訳（メタデータ） (2022-03-31T23:08:20Z)
• TANDEM: Learning Joint Exploration and Decision Making with Tactile Sensors [15.418884994244996]
  我々は,触覚探索の指導プロセスとタスク関連意思決定との相互作用に焦点を当てた。 意思決定と協調して効率的な探索戦略を学習するアーキテクチャであるTANDEMを提案する。 本手法は,触覚フィードバックのみに基づいて,触覚センサを備えたロボットが既知の集合から物体を探索・識別する必要がある触覚物体認識タスクにおいて実証する。
  論文  参考訳（メタデータ） (2022-03-01T23:55:09Z)
• What Matters in Learning from Offline Human Demonstrations for Robot Manipulation [64.43440450794495]
  ロボット操作のための6つのオフライン学習アルゴリズムについて広範な研究を行う。 我々の研究は、オフラインの人間のデータから学習する際の最も重要な課題を分析します。 人間のデータセットから学ぶ機会を強調します。
  論文  参考訳（メタデータ） (2021-08-06T20:48:30Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。