論文の概要: Learning Visuotactile Skills with Two Multifingered Hands

• arxiv url: http://arxiv.org/abs/2404.16823v2
• Date: Wed, 22 May 2024 22:44:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-25 05:30:39.934939
• Title: Learning Visuotactile Skills with Two Multifingered Hands
• Title（参考訳）: マルチフィンガーハンドによるヴァイオタクティルスキルの学習
• Authors: Toru Lin, Yu Zhang, Qiyang Li, Haozhi Qi, Brent Yi, Sergey Levine, Jitendra Malik,
• Abstract要約: マルチフィンガーハンドとバイソタクティブルデータを用いたバイマニアルシステムを用いて,人間の実演からの学習を探索する。 以上の結果から,バイスオタクティブルデータからの両指多指操作における有望な進歩が示唆された。
• 参考スコア（独自算出の注目度）: 80.99370364907278
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Aiming to replicate human-like dexterity, perceptual experiences, and motion patterns, we explore learning from human demonstrations using a bimanual system with multifingered hands and visuotactile data. Two significant challenges exist: the lack of an affordable and accessible teleoperation system suitable for a dual-arm setup with multifingered hands, and the scarcity of multifingered hand hardware equipped with touch sensing. To tackle the first challenge, we develop HATO, a low-cost hands-arms teleoperation system that leverages off-the-shelf electronics, complemented with a software suite that enables efficient data collection; the comprehensive software suite also supports multimodal data processing, scalable policy learning, and smooth policy deployment. To tackle the latter challenge, we introduce a novel hardware adaptation by repurposing two prosthetic hands equipped with touch sensors for research. Using visuotactile data collected from our system, we learn skills to complete long-horizon, high-precision tasks which are difficult to achieve without multifingered dexterity and touch feedback. Furthermore, we empirically investigate the effects of dataset size, sensing modality, and visual input preprocessing on policy learning. Our results mark a promising step forward in bimanual multifingered manipulation from visuotactile data. Videos, code, and datasets can be found at https://toruowo.github.io/hato/ .
• Abstract（参考訳）: 人のような器用さ,知覚経験,動作パターンを再現することを目的として,多指ハンドとビゾタクタクタブルデータを用いたバイマダルシステムを用いて,人間の実演からの学習を探索する。 2つの大きな課題は、マルチフィンガーハンドを備えたデュアルアーム設定に適した安価な遠隔操作システムがないこと、タッチセンサーを備えたマルチフィンガーハンドハードウェアの不足である。 最初の課題に取り組むために、私たちは、市販の電子機器を活用する低コストのハンドアーム遠隔操作システムであるHATOを開発し、効率的なデータ収集を可能にするソフトウェアスイートを補完し、包括的なソフトウェアスイートはマルチモーダルデータ処理、スケーラブルなポリシー学習、スムーズなポリシー展開もサポートしています。 後者の課題に対処するために, タッチセンサを備えた2本の義手を再使用し, 新たなハードウェア適応を導入する。 本システムから収集した粘菌データを用いて,マルチフィンガードデキスタリティやタッチフィードバックを伴わずに達成し難い長時間の高精度タスクを完遂する技術を学ぶ。 さらに,データサイズ,モダリティ,視覚入力前処理が政策学習に与える影響を実証的に検討した。 以上の結果から,バイスオタクティブルデータからの両指多指操作における有望な進歩が示唆された。 ビデオ、コード、データセットはhttps://toruowo.github.io/hato/で見ることができる。

関連論文リスト

• Twisting Lids Off with Two Hands [82.21668778600414]
  シミュレーションで訓練された政策を実世界へ効果的かつ効率的に移行する方法を示す。 具体的には,ボトル状物体の蓋を両手でねじる問題について考察する。 これは、バイマガル・マルチフィンガーハンドでそのような機能を実現する最初のsim-to-real RLシステムである。
  論文  参考訳（メタデータ） (2024-03-04T18:59:30Z)
• BOTH2Hands: Inferring 3D Hands from Both Text Prompts and Body Dynamics [50.88842027976421]
  両手動作生成のための新しいマルチモーダルデータセットBOTH57Mを提案する。 私たちのデータセットには、人体と手の動きの正確な追跡が含まれています。 また,新しいタスクのための強力なベースライン手法であるBOTH2Handsも提供する。
  論文  参考訳（メタデータ） (2023-12-13T07:30:19Z)
• MimicTouch: Leveraging Multi-modal Human Tactile Demonstrations for Contact-rich Manipulation [8.738889129462013]
  ミミックタッチ(MimicTouch)は、人手によるデモンストレーションから直接ポリシーを学ぶための新しいフレームワークである。 i)人間の触覚誘導制御戦略を学習するためのマルチモーダルな触覚データセットを収集する人間の触覚データ収集システム,i)そのようなデータを通して人間の触覚誘導制御戦略を学習するための模倣学習ベースのフレームワーク。
  論文  参考訳（メタデータ） (2023-10-25T18:34:06Z)
• Dexterous Manipulation from Images: Autonomous Real-World RL via Substep Guidance [71.36749876465618]
  本稿では,ユーザが新しいタスクを定義するための"プログラミング不要"なアプローチを提供する,視覚に基づくデクスタラスな操作システムについて述べる。 本システムには,最終タスクと中間タスクを画像例で定義するためのフレームワークが組み込まれている。 実世界における多段階物体操作の4指ロボットハンドラーによる実験結果
  論文  参考訳（メタデータ） (2022-12-19T22:50:40Z)
• All the Feels: A dexterous hand with large-area tactile sensing [23.631099756265996]
  高いコストと信頼性の欠如は、ロボット工学における器用な手の普及を妨げている。 触覚センサーがなければ、手の領域全体を感知できるので、巧妙な操作スキルの学習を改善するような、リッチで低レベルなフィードバックが妨げられます。 本稿では、DManusという、安価でモジュール化され、堅牢でスケーラブルなプラットフォームを紹介します。
  論文  参考訳（メタデータ） (2022-10-27T17:58:43Z)
• Learning to Detect Slip with Barometric Tactile Sensors and a Temporal Convolutional Neural Network [7.346580429118843]
  本研究では,バロメトリック・触覚センサを用いたスリップ検出手法を提案する。 我々は、スリップを検出するために時間畳み込みニューラルネットワークを訓練し、高い検出精度を実現する。 データ駆動学習と組み合わせたバロメトリック触覚センシング技術は,スリップ補償などの操作作業に適している,と我々は主張する。
  論文  参考訳（メタデータ） (2022-02-19T08:21:56Z)
• WaveGlove: Transformer-based hand gesture recognition using multiple inertial sensors [0.0]
  近年、慣性データに基づく手のジェスチャー認識(HGR)が大幅に増加しています。 本研究では,複数の慣性センサを利用するメリットを検討する。
  論文  参考訳（メタデータ） (2021-05-04T20:50:53Z)
• Under Pressure: Learning to Detect Slip with Barometric Tactile Sensors [7.35805050004643]
  本稿では,バロメトリック触覚センサを用いたスリップ検出法を提案する。 我々は91%以上のスリップ検出精度を達成することができる。 バロメトリック触覚センシング技術とデータ駆動学習の組み合わせは、多くの複雑な操作タスクに適しています。
  論文  参考訳（メタデータ） (2021-03-24T19:29:03Z)
• Learning Multi-Arm Manipulation Through Collaborative Teleoperation [63.35924708783826]
  模倣学習(il)はロボットに操作タスクを実行するための強力なパラダイムである。 多くの現実世界のタスクは、重い物体を持ち上げる、デスクを組み立てるなど、複数のアームを必要とする。 複数のリモートユーザが同時にロボットアームを遠隔操作できるマルチユーザデータ収集プラットフォームであるMulti-Arm RoboTurk(MART)を紹介した。
  論文  参考訳（メタデータ） (2020-12-12T05:43:43Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。