論文の概要: Push it to the Demonstrated Limit: Multimodal Visuotactile Imitation
Learning with Force Matching
- arxiv url: http://arxiv.org/abs/2311.01248v1
- Date: Thu, 2 Nov 2023 14:02:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-03 13:27:00.356010
- Title: Push it to the Demonstrated Limit: Multimodal Visuotactile Imitation
Learning with Force Matching
- Title（参考訳）: 実証された限界にプッシュする - 力のマッチングによるマルチモーダルビゾオタクティル模倣学習
- Authors: Trevor Ablett, Oliver Limoyo, Adam Sigal, Affan Jilani, Jonathan
Kelly, Kaleem Siddiqi, Francois Hogan, Gregory Dudek
- Abstract要約: コンタクトリッチな操作タスクのための模倣学習と組合わせ型ビゾタクティルセンシングの利点について検討する。
触覚力測定と審美教育における新しいアルゴリズムを用いて,ヒトデモンストレータとよりよく一致した力プロファイルを生成する。
- 参考スコア（独自算出の注目度）: 15.116384991817092
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Optical tactile sensors have emerged as an effective means to acquire dense
contact information during robotic manipulation. A recently-introduced
`see-through-your-skin' (STS) variant of this type of sensor has both visual
and tactile modes, enabled by leveraging a semi-transparent surface and
controllable lighting. In this work, we investigate the benefits of pairing
visuotactile sensing with imitation learning for contact-rich manipulation
tasks. First, we use tactile force measurements and a novel algorithm during
kinesthetic teaching to yield a force profile that better matches that of the
human demonstrator. Second, we add visual/tactile STS mode switching as a
control policy output, simplifying the application of the sensor. Finally, we
study multiple observation configurations to compare and contrast the value of
visual/tactile data (both with and without mode switching) with visual data
from a wrist-mounted eye-in-hand camera. We perform an extensive series of
experiments on a real robotic manipulator with door-opening and closing tasks,
including over 3,000 real test episodes. Our results highlight the importance
of tactile sensing for imitation learning, both for data collection to allow
force matching, and for policy execution to allow accurate task feedback.
- Abstract（参考訳）: 光触覚センサは、ロボット操作中に密接な接触情報を取得する効果的な手段として登場した。
このタイプのセンサの最近導入された'see-through-your-skin'(sts)変種は、視覚モードと触覚モードの両方を持ち、半透明な表面と制御可能な照明を活用できる。
本研究では,コンタクトリッチな操作タスクのための模倣学習と組み合わせたビゾタクティルセンシングの利点について検討する。
まず, 触覚力測定と, 審美教育における新しいアルゴリズムを用いて, 人間のデモンストレーターとよく一致した力プロファイルを得る。
第2に、制御ポリシ出力として視覚/触覚STSモードスイッチを追加し、センサの適用を簡素化する。
最後に,手首装着眼球カメラの視覚データと視覚・触覚データ(モード切替えなし)の値を比較し,比較するため,複数の観察構成について検討した。
3000以上の実際のテストエピソードを含む、ドアの開閉作業を伴う実際のロボットマニピュレータについて、広範囲にわたる実験を行った。
本研究では,データ収集による力のマッチングと,タスクフィードバックの精度向上を目的としたポリシ実行の両方において,模倣学習における触覚センシングの重要性を強調した。
関連論文リスト
- Learning Precise, Contact-Rich Manipulation through Uncalibrated Tactile Skins [17.412763585521688]
我々は、トランスフォーマーベースのポリシーを使用して、皮膚センサーデータを視覚情報とともに追加トークンとして扱うシンプルなアプローチであるVisuo-Skin(ViSk)フレームワークを提案する。
ViSkは、視力のみと光触覚に基づくポリシーの両方で著しく優れています。
さらに、触覚と視覚のモダリティを組み合わせることで、政策性能と空間的一般化が向上し、タスク全体で平均27.5%の改善が達成される。
論文 参考訳（メタデータ） (2024-10-22T17:59:49Z) - Learning Manipulation by Predicting Interaction [85.57297574510507]
本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。
実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
論文 参考訳（メタデータ） (2024-06-01T13:28:31Z) - Learning Visuotactile Skills with Two Multifingered Hands [80.99370364907278]
マルチフィンガーハンドとバイソタクティブルデータを用いたバイマニアルシステムを用いて,人間の実演からの学習を探索する。
以上の結果から,バイスオタクティブルデータからの両指多指操作における有望な進歩が示唆された。
論文 参考訳（メタデータ） (2024-04-25T17:59:41Z) - Multimodal Visual-Tactile Representation Learning through
Self-Supervised Contrastive Pre-Training [0.850206009406913]
MViTacは、コントラスト学習を利用して視覚と触覚を自己指導的に統合する新しい手法である。
両方の感覚入力を利用することで、MViTacは学習表現のモダリティ内およびモダリティ間損失を利用して、材料特性の分類を強化し、より適切な把握予測を行う。
論文 参考訳（メタデータ） (2024-01-22T15:11:57Z) - The Power of the Senses: Generalizable Manipulation from Vision and
Touch through Masked Multimodal Learning [60.91637862768949]
強化学習環境における視覚的・触覚的情報を融合するためのマスク付きマルチモーダル学習(M3L)を提案する。
M3Lは、マスク付きオートエンコーディングに基づいて、ポリシーと視覚触覚表現を学習する。
視覚と触覚の両方の観察を行い、3つの模擬環境におけるM3Lの評価を行った。
論文 参考訳（メタデータ） (2023-11-02T01:33:00Z) - Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
人間は触覚と触覚に頼っている。
視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。
本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
論文 参考訳（メタデータ） (2023-03-10T16:27:37Z) - Multi-dataset Training of Transformers for Robust Action Recognition [75.5695991766902]
動作認識のための複数のデータセットをうまく一般化することを目的として,ロバストな特徴表現の課題について検討する。
本稿では、情報損失と投影損失という2つの新しい損失項を設計した、新しいマルチデータセットトレーニングパラダイムであるMultiTrainを提案する。
本研究では,Kineetics-400,Kineetics-700,Moments-in-Time,Activitynet,Some-something-v2の5つの課題データセットに対して,本手法の有効性を検証する。
論文 参考訳（メタデータ） (2022-09-26T01:30:43Z) - Visual-Tactile Multimodality for Following Deformable Linear Objects
Using Reinforcement Learning [15.758583731036007]
本稿では,視覚と触覚入力を併用して変形可能な線形物体を追従するタスクを完遂する問題について検討する。
我々は,異なる感覚モーダルを用いた強化学習エージェントを作成し,その動作をどのように促進するかを検討する。
実験の結果,視覚入力と触覚入力の両方を使用することで,最大92%の症例で作業が完了することがわかった。
論文 参考訳（メタデータ） (2022-03-31T21:59:08Z) - TANDEM: Learning Joint Exploration and Decision Making with Tactile
Sensors [15.418884994244996]
我々は,触覚探索の指導プロセスとタスク関連意思決定との相互作用に焦点を当てた。
意思決定と協調して効率的な探索戦略を学習するアーキテクチャであるTANDEMを提案する。
本手法は,触覚フィードバックのみに基づいて,触覚センサを備えたロボットが既知の集合から物体を探索・識別する必要がある触覚物体認識タスクにおいて実証する。
論文 参考訳（メタデータ） (2022-03-01T23:55:09Z) - Visual Imitation Made Easy [102.36509665008732]
本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。
我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。
我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
論文 参考訳（メタデータ） (2020-08-11T17:58:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。