論文の概要: Push it to the Demonstrated Limit: Multimodal Visuotactile Imitation
Learning with Force Matching
- arxiv url: http://arxiv.org/abs/2311.01248v1
- Date: Thu, 2 Nov 2023 14:02:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-03 13:27:00.356010
- Title: Push it to the Demonstrated Limit: Multimodal Visuotactile Imitation
Learning with Force Matching
- Title(参考訳): 実証された限界にプッシュする - 力のマッチングによるマルチモーダルビゾオタクティル模倣学習
- Authors: Trevor Ablett, Oliver Limoyo, Adam Sigal, Affan Jilani, Jonathan
Kelly, Kaleem Siddiqi, Francois Hogan, Gregory Dudek
- Abstract要約: コンタクトリッチな操作タスクのための模倣学習と組合わせ型ビゾタクティルセンシングの利点について検討する。
触覚力測定と審美教育における新しいアルゴリズムを用いて,ヒトデモンストレータとよりよく一致した力プロファイルを生成する。
- 参考スコア(独自算出の注目度): 15.116384991817092
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Optical tactile sensors have emerged as an effective means to acquire dense
contact information during robotic manipulation. A recently-introduced
`see-through-your-skin' (STS) variant of this type of sensor has both visual
and tactile modes, enabled by leveraging a semi-transparent surface and
controllable lighting. In this work, we investigate the benefits of pairing
visuotactile sensing with imitation learning for contact-rich manipulation
tasks. First, we use tactile force measurements and a novel algorithm during
kinesthetic teaching to yield a force profile that better matches that of the
human demonstrator. Second, we add visual/tactile STS mode switching as a
control policy output, simplifying the application of the sensor. Finally, we
study multiple observation configurations to compare and contrast the value of
visual/tactile data (both with and without mode switching) with visual data
from a wrist-mounted eye-in-hand camera. We perform an extensive series of
experiments on a real robotic manipulator with door-opening and closing tasks,
including over 3,000 real test episodes. Our results highlight the importance
of tactile sensing for imitation learning, both for data collection to allow
force matching, and for policy execution to allow accurate task feedback.
- Abstract(参考訳): 光触覚センサは、ロボット操作中に密接な接触情報を取得する効果的な手段として登場した。
このタイプのセンサの最近導入された'see-through-your-skin'(sts)変種は、視覚モードと触覚モードの両方を持ち、半透明な表面と制御可能な照明を活用できる。
本研究では,コンタクトリッチな操作タスクのための模倣学習と組み合わせたビゾタクティルセンシングの利点について検討する。
まず, 触覚力測定と, 審美教育における新しいアルゴリズムを用いて, 人間のデモンストレーターとよく一致した力プロファイルを得る。
第2に、制御ポリシ出力として視覚/触覚STSモードスイッチを追加し、センサの適用を簡素化する。
最後に,手首装着眼球カメラの視覚データと視覚・触覚データ(モード切替えなし)の値を比較し,比較するため,複数の観察構成について検討した。
3000以上の実際のテストエピソードを含む、ドアの開閉作業を伴う実際のロボットマニピュレータについて、広範囲にわたる実験を行った。
本研究では,データ収集による力のマッチングと,タスクフィードバックの精度向上を目的としたポリシ実行の両方において,模倣学習における触覚センシングの重要性を強調した。
関連論文リスト
- Learning Visuotactile Skills with Two Multifingered Hands [80.99370364907278]
マルチフィンガーハンドとバイソタクティブルデータを用いたバイマニアルシステムを用いて,人間の実演からの学習を探索する。
以上の結果から,バイスオタクティブルデータからの両指多指操作における有望な進歩が示唆された。
論文 参考訳(メタデータ) (2024-04-25T17:59:41Z) - The Power of the Senses: Generalizable Manipulation from Vision and
Touch through Masked Multimodal Learning [60.91637862768949]
強化学習環境における視覚的・触覚的情報を融合するためのマスク付きマルチモーダル学習(M3L)を提案する。
M3Lは、マスク付きオートエンコーディングに基づいて、ポリシーと視覚触覚表現を学習する。
視覚と触覚の両方の観察を行い、3つの模擬環境におけるM3Lの評価を行った。
論文 参考訳(メタデータ) (2023-11-02T01:33:00Z) - Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
人間は触覚と触覚に頼っている。
視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。
本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
論文 参考訳(メタデータ) (2023-03-10T16:27:37Z) - Visual-Tactile Multimodality for Following Deformable Linear Objects
Using Reinforcement Learning [15.758583731036007]
本稿では,視覚と触覚入力を併用して変形可能な線形物体を追従するタスクを完遂する問題について検討する。
我々は,異なる感覚モーダルを用いた強化学習エージェントを作成し,その動作をどのように促進するかを検討する。
実験の結果,視覚入力と触覚入力の両方を使用することで,最大92%の症例で作業が完了することがわかった。
論文 参考訳(メタデータ) (2022-03-31T21:59:08Z) - TANDEM: Learning Joint Exploration and Decision Making with Tactile
Sensors [15.418884994244996]
我々は,触覚探索の指導プロセスとタスク関連意思決定との相互作用に焦点を当てた。
意思決定と協調して効率的な探索戦略を学習するアーキテクチャであるTANDEMを提案する。
本手法は,触覚フィードバックのみに基づいて,触覚センサを備えたロボットが既知の集合から物体を探索・識別する必要がある触覚物体認識タスクにおいて実証する。
論文 参考訳(メタデータ) (2022-03-01T23:55:09Z) - Learning to Detect Slip with Barometric Tactile Sensors and a Temporal
Convolutional Neural Network [7.346580429118843]
本研究では,バロメトリック・触覚センサを用いたスリップ検出手法を提案する。
我々は、スリップを検出するために時間畳み込みニューラルネットワークを訓練し、高い検出精度を実現する。
データ駆動学習と組み合わせたバロメトリック触覚センシング技術は,スリップ補償などの操作作業に適している,と我々は主張する。
論文 参考訳(メタデータ) (2022-02-19T08:21:56Z) - Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。
EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。
さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
論文 参考訳(メタデータ) (2021-08-11T03:49:59Z) - Under Pressure: Learning to Detect Slip with Barometric Tactile Sensors [7.35805050004643]
本稿では,バロメトリック触覚センサを用いたスリップ検出法を提案する。
我々は91%以上のスリップ検出精度を達成することができる。
バロメトリック触覚センシング技術とデータ駆動学習の組み合わせは、多くの複雑な操作タスクに適しています。
論文 参考訳(メタデータ) (2021-03-24T19:29:03Z) - Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision
Action Recognition [131.6328804788164]
本稿では,視覚・センサ・モダリティ(動画)における行動認識を強化するためのフレームワーク,Semantics-Aware Adaptive Knowledge Distillation Networks (SAKDN)を提案する。
SAKDNは複数のウェアラブルセンサーを教師のモダリティとして使用し、RGB動画を学生のモダリティとして使用している。
論文 参考訳(メタデータ) (2020-09-01T03:38:31Z) - OmniTact: A Multi-Directional High Resolution Touch Sensor [109.28703530853542]
既存の触覚センサーは、平らで、感度が小さいか、低解像度の信号のみを提供する。
我々は,多方向高解像度触覚センサOmniTactを紹介する。
我々は,ロボット制御の課題に対して,OmniTactの能力を評価する。
論文 参考訳(メタデータ) (2020-03-16T01:31:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。