論文の概要: Multimodal and Force-Matched Imitation Learning with a See-Through Visuotactile Sensor
- arxiv url: http://arxiv.org/abs/2311.01248v3
- Date: Wed, 26 Jun 2024 17:40:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-27 19:34:10.106521
- Title: Multimodal and Force-Matched Imitation Learning with a See-Through Visuotactile Sensor
- Title（参考訳）: See-Through Visuotactile Sensorを用いたマルチモーダルおよびフォースマッチ型模倣学習
- Authors: Trevor Ablett, Oliver Limoyo, Adam Sigal, Affan Jilani, Jonathan Kelly, Kaleem Siddiqi, Francois Hogan, Gregory Dudek,
- Abstract要約: 我々は、模倣学習(IL)の枠組みの中でマルチモーダル・ビゾタクタクタブル・センサを活用し、コンタクトリッチなタスクを実行する。
本稿では,IL改善のための補完手法として,触覚力マッチングと学習モード切替という2つのアルゴリズム的貢献を紹介する。
以上の結果から, 力の一致が平均政策成功率62.5%, ビズオタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタク
- 参考スコア（独自算出の注目度）: 14.492202828369127
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contact-rich tasks continue to present a variety of challenges for robotic manipulation. In this work, we leverage a multimodal visuotactile sensor within the framework of imitation learning (IL) to perform contact rich tasks that involve relative motion (slipping/sliding) between the end-effector and object. We introduce two algorithmic contributions, tactile force matching and learned mode switching, as complimentary methods for improving IL. Tactile force matching enhances kinesthetic teaching by reading approximate forces during the demonstration and generating an adapted robot trajectory that recreates the recorded forces. Learned mode switching uses IL to couple visual and tactile sensor modes with the learned motion policy, simplifying the transition from reaching to contacting. We perform robotic manipulation experiments on four door opening tasks with a variety of observation and method configurations to study the utility of our proposed improvements and multimodal visuotactile sensing. Our results show that the inclusion of force matching raises average policy success rates by 62.5%, visuotactile mode switching by 30.3%, and visuotactile data as a policy input by 42.5%, emphasizing the value of see-through tactile sensing for IL, both for data collection to allow force matching, and for policy execution to allow accurate task feedback.
- Abstract（参考訳）: コンタクトが豊富なタスクは、ロボット操作におけるさまざまな課題を提示し続けている。
本研究は、模倣学習(IL)の枠組みにおけるマルチモーダルビズオタクティルセンサを用いて、エンドエフェクタとオブジェクト間の相対的な動き(スリップ/スライディング)を含む接触リッチなタスクを行う。
本稿では,IL改善のための補完手法として,触覚力マッチングと学習モード切替という2つのアルゴリズム的貢献を紹介する。
触覚力マッチングは、デモ中に近似力を読み、記録された力を再現する適応されたロボット軌道を生成することによって、体力の教育を強化する。
学習モードスイッチングでは、ILを使用して視覚と触覚のセンサーモードを学習されたモーションポリシーと組み合わせ、到達から接触への移行を簡単にする。
我々は,4つのドア開口作業におけるロボット操作実験を行い,様々な観察および方法構成を行い,提案した改良とマルチモーダルビゾタクティルセンシングの有用性について検討した。
以上の結果から,力のマッチングは平均政策成功率62.5%,ビズオタクタクタクタクタクタクタクタクタクタクタクタクタクサクタクタクサクタクタクタクサクタクタクサクタクタクサクタを42.5%とした。
関連論文リスト
- Learning Manipulation by Predicting Interaction [85.57297574510507]
本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。
実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
論文 参考訳（メタデータ） (2024-06-01T13:28:31Z) - Learning Visuotactile Skills with Two Multifingered Hands [80.99370364907278]
マルチフィンガーハンドとバイソタクティブルデータを用いたバイマニアルシステムを用いて,人間の実演からの学習を探索する。
以上の結果から,バイスオタクティブルデータからの両指多指操作における有望な進歩が示唆された。
論文 参考訳（メタデータ） (2024-04-25T17:59:41Z) - Multimodal Visual-Tactile Representation Learning through
Self-Supervised Contrastive Pre-Training [0.850206009406913]
MViTacは、コントラスト学習を利用して視覚と触覚を自己指導的に統合する新しい手法である。
両方の感覚入力を利用することで、MViTacは学習表現のモダリティ内およびモダリティ間損失を利用して、材料特性の分類を強化し、より適切な把握予測を行う。
論文 参考訳（メタデータ） (2024-01-22T15:11:57Z) - The Power of the Senses: Generalizable Manipulation from Vision and
Touch through Masked Multimodal Learning [60.91637862768949]
強化学習環境における視覚的・触覚的情報を融合するためのマスク付きマルチモーダル学習(M3L)を提案する。
M3Lは、マスク付きオートエンコーディングに基づいて、ポリシーと視覚触覚表現を学習する。
視覚と触覚の両方の観察を行い、3つの模擬環境におけるM3Lの評価を行った。
論文 参考訳（メタデータ） (2023-11-02T01:33:00Z) - Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
人間は触覚と触覚に頼っている。
視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。
本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
論文 参考訳（メタデータ） (2023-03-10T16:27:37Z) - Multi-dataset Training of Transformers for Robust Action Recognition [75.5695991766902]
動作認識のための複数のデータセットをうまく一般化することを目的として,ロバストな特徴表現の課題について検討する。
本稿では、情報損失と投影損失という2つの新しい損失項を設計した、新しいマルチデータセットトレーニングパラダイムであるMultiTrainを提案する。
本研究では,Kineetics-400,Kineetics-700,Moments-in-Time,Activitynet,Some-something-v2の5つの課題データセットに対して,本手法の有効性を検証する。
論文 参考訳（メタデータ） (2022-09-26T01:30:43Z) - Visual-Tactile Multimodality for Following Deformable Linear Objects
Using Reinforcement Learning [15.758583731036007]
本稿では,視覚と触覚入力を併用して変形可能な線形物体を追従するタスクを完遂する問題について検討する。
我々は,異なる感覚モーダルを用いた強化学習エージェントを作成し,その動作をどのように促進するかを検討する。
実験の結果,視覚入力と触覚入力の両方を使用することで,最大92%の症例で作業が完了することがわかった。
論文 参考訳（メタデータ） (2022-03-31T21:59:08Z) - TANDEM: Learning Joint Exploration and Decision Making with Tactile
Sensors [15.418884994244996]
我々は,触覚探索の指導プロセスとタスク関連意思決定との相互作用に焦点を当てた。
意思決定と協調して効率的な探索戦略を学習するアーキテクチャであるTANDEMを提案する。
本手法は,触覚フィードバックのみに基づいて,触覚センサを備えたロボットが既知の集合から物体を探索・識別する必要がある触覚物体認識タスクにおいて実証する。
論文 参考訳（メタデータ） (2022-03-01T23:55:09Z) - Under Pressure: Learning to Detect Slip with Barometric Tactile Sensors [7.35805050004643]
本稿では,バロメトリック触覚センサを用いたスリップ検出法を提案する。
我々は91%以上のスリップ検出精度を達成することができる。
バロメトリック触覚センシング技術とデータ駆動学習の組み合わせは、多くの複雑な操作タスクに適しています。
論文 参考訳（メタデータ） (2021-03-24T19:29:03Z) - Visual Imitation Made Easy [102.36509665008732]
本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。
我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。
我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
論文 参考訳（メタデータ） (2020-08-11T17:58:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。