論文の概要: MimicTouch: Leveraging Multi-modal Human Tactile Demonstrations for Contact-rich Manipulation

• arxiv url: http://arxiv.org/abs/2310.16917v4
• Date: Thu, 06 Feb 2025 04:08:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:29:50.475668
• Title: MimicTouch: Leveraging Multi-modal Human Tactile Demonstrations for Contact-rich Manipulation
• Title（参考訳）: MimicTouch: コンタクトリッチマニピュレーションのためのマルチモーダルなヒューマン触覚デモの活用
• Authors: Kelin Yu, Yunhai Han, Qixian Wang, Vaibhav Saxena, Danfei Xu, Ye Zhao,
• Abstract要約: ミミックタッチ(MimicTouch)は、人手によるデモンストレーションから直接ポリシーを学ぶための新しいフレームワークである。 i)人間の触覚誘導制御戦略を学習するためのマルチモーダルな触覚データセットを収集する人間の触覚データ収集システム,i)そのようなデータを通して人間の触覚誘導制御戦略を学習するための模倣学習ベースのフレームワーク。
• 参考スコア（独自算出の注目度）: 8.738889129462013
• License:
• Abstract: Tactile sensing is critical to fine-grained, contact-rich manipulation tasks, such as insertion and assembly. Prior research has shown the possibility of learning tactile-guided policy from teleoperated demonstration data. However, to provide the demonstration, human users often rely on visual feedback to control the robot. This creates a gap between the sensing modality used for controlling the robot (visual) and the modality of interest (tactile). To bridge this gap, we introduce "MimicTouch", a novel framework for learning policies directly from demonstrations provided by human users with their hands. The key innovations are i) a human tactile data collection system which collects multi-modal tactile dataset for learning human's tactile-guided control strategy, ii) an imitation learning-based framework for learning human's tactile-guided control strategy through such data, and iii) an online residual RL framework to bridge the embodiment gap between the human hand and the robot gripper. Through comprehensive experiments, we highlight the efficacy of utilizing human's tactile-guided control strategy to resolve contact-rich manipulation tasks. The project website is at https://sites.google.com/view/MimicTouch.
• Abstract（参考訳）: 触覚は、挿入や組立といった、きめ細かな、接触に富んだ操作タスクに不可欠である。 従来の研究では、遠隔操作による実証データから触覚誘導ポリシーを学習する可能性が示されている。 しかし、デモを行うために、人間のユーザーはロボットを制御するために視覚的フィードバックに頼ることが多い。 これにより、ロボット(視覚)を制御するために使用される知覚モダリティと興味のモダリティ(触覚)の間にギャップが生じる。 このギャップを埋めるために,人手によるデモンストレーションから直接ポリシーを学習する新しいフレームワークである"MimicTouch"を紹介した。 重要なイノベーションは 一 人間の触覚誘導制御戦略を学ぶための多モード触覚データセットを収集する人間の触覚データ収集システム 二 このようなデータを通じて人間の触覚誘導制御戦略を学習するための模倣学習に基づく枠組み 三 人間の手とロボットグリップのエンボディメントギャップを橋渡しするオンライン残留RLフレームワーク。 総合的な実験を通じて,人間の触覚誘導制御戦略を利用して,コンタクトリッチな操作課題を解決することの有効性を強調した。 プロジェクトのWebサイトはhttps://sites.google.com/view/MimicTouchにある。

関連論文リスト

• Human-Agent Joint Learning for Efficient Robot Manipulation Skill Acquisition [48.65867987106428]
  本稿では,人間とロボットの協調学習システムについて紹介する。 これにより、ロボットエンドエフェクターの制御を学習支援エージェントと共有することができる。 これにより、ダウンストリームタスクにおいて、収集されたデータが十分な品質であることを保証しながら、人間の適応の必要性を減らすことができる。
  論文  参考訳（メタデータ） (2024-06-29T03:37:29Z)
• ManiWAV: Learning Robot Manipulation from In-the-Wild Audio-Visual Data [28.36623343236893]
  我々は,同期音声と視覚的フィードバックを伴って人体でのデモを収集する「アー・イン・ハンド」データ収集装置であるManiWAVを紹介する。 また,本システムでは,多種多様な人間の実演から学習することで,未知の環境に一般化できることを示す。
  論文  参考訳（メタデータ） (2024-06-27T18:06:38Z)
• Learning Variable Compliance Control From a Few Demonstrations for Bimanual Robot with Haptic Feedback Teleoperation System [5.497832119577795]
  厳格なロボットを使った、きめ細やかな、接触に富んだ操作は、ロボット工学において重要な課題である。 外部センサを介して力を制御することでこれらの問題を緩和するために、コンプライアンス制御スキームが導入されている。 Demonstrationsからの学習は直感的な代替手段であり、ロボットは観察された動作を通じて操作を学習できる。
  論文  参考訳（メタデータ） (2024-06-21T09:03:37Z)
• Learning Visuotactile Skills with Two Multifingered Hands [80.99370364907278]
  マルチフィンガーハンドとバイソタクティブルデータを用いたバイマニアルシステムを用いて,人間の実演からの学習を探索する。 以上の結果から,バイスオタクティブルデータからの両指多指操作における有望な進歩が示唆された。
  論文  参考訳（メタデータ） (2024-04-25T17:59:41Z)
• DexTouch: Learning to Seek and Manipulate Objects with Tactile Dexterity [11.450027373581019]
  視覚に頼らずに触覚で物体を操作できる多指ロボットシステムを提案する。 日常の生活を模倣するタスクのために、ロボットは触覚を使ってランダムに配置された物体を暗く操作する。
  論文  参考訳（メタデータ） (2024-01-23T05:37:32Z)
• Dexterous Manipulation from Images: Autonomous Real-World RL via Substep Guidance [71.36749876465618]
  本稿では,ユーザが新しいタスクを定義するための"プログラミング不要"なアプローチを提供する,視覚に基づくデクスタラスな操作システムについて述べる。 本システムには,最終タスクと中間タスクを画像例で定義するためのフレームワークが組み込まれている。 実世界における多段階物体操作の4指ロボットハンドラーによる実験結果
  論文  参考訳（メタデータ） (2022-12-19T22:50:40Z)
• Model Predictive Control for Fluid Human-to-Robot Handovers [50.72520769938633]
  人間の快適さを考慮に入れた計画運動は、人間ロボットのハンドオーバプロセスの一部ではない。 本稿では,効率的なモデル予測制御フレームワークを用いてスムーズな動きを生成することを提案する。 ユーザ数名の多様なオブジェクトに対して,人間とロボットのハンドオーバ実験を行う。
  論文  参考訳（メタデータ） (2022-03-31T23:08:20Z)
• TANDEM: Learning Joint Exploration and Decision Making with Tactile Sensors [15.418884994244996]
  我々は,触覚探索の指導プロセスとタスク関連意思決定との相互作用に焦点を当てた。 意思決定と協調して効率的な探索戦略を学習するアーキテクチャであるTANDEMを提案する。 本手法は,触覚フィードバックのみに基づいて,触覚センサを備えたロボットが既知の集合から物体を探索・識別する必要がある触覚物体認識タスクにおいて実証する。
  論文  参考訳（メタデータ） (2022-03-01T23:55:09Z)
• What Matters in Learning from Offline Human Demonstrations for Robot Manipulation [64.43440450794495]
  ロボット操作のための6つのオフライン学習アルゴリズムについて広範な研究を行う。 我々の研究は、オフラインの人間のデータから学習する際の最も重要な課題を分析します。 人間のデータセットから学ぶ機会を強調します。
  論文  参考訳（メタデータ） (2021-08-06T20:48:30Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。