論文の概要: Multimodal and Force-Matched Imitation Learning with a See-Through Visuotactile Sensor

• arxiv url: http://arxiv.org/abs/2311.01248v2
• Date: Fri, 22 Dec 2023 19:27:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 21:30:05.537180
• Title: Multimodal and Force-Matched Imitation Learning with a See-Through Visuotactile Sensor
• Title（参考訳）: See-Through Visuotactile Sensorを用いたマルチモーダルおよびフォースマッチ型模倣学習
• Authors: Trevor Ablett, Oliver Limoyo, Adam Sigal, Affan Jilani, Jonathan Kelly, Kaleem Siddiqi, Francois Hogan, Gregory Dudek
• Abstract要約: 模倣学習のためのコンタクトリッチなタスクのロボットデモを専門的に収集するKineesthetic teaching (IL) 本研究は,第1報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2報,第2 まず,触覚信号を用いた体操教育において,ロボットが読み出した力にマッチする手法である触覚力マッチングを提案する。 第2に、STSモードの切り替えを制御し、ポリシーの学習を可能にするポリシーを開発する。
• 参考スコア（独自算出の注目度）: 15.116384991817092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Kinesthetic Teaching is a popular approach to collecting expert robotic demonstrations of contact-rich tasks for imitation learning (IL), but it typically only measures motion, ignoring the force placed on the environment by the robot. Furthermore, contact-rich tasks require accurate sensing of both reaching and touching, which can be difficult to provide with conventional sensing modalities. We address these challenges with a See-Through-your-Skin (STS) visuotactile sensor, using the sensor both (i) as a measurement tool to improve kinesthetic teaching, and (ii) as a policy input in contact-rich door manipulation tasks. An STS sensor can be switched between visual and tactile modes by leveraging a semi-transparent surface and controllable lighting, allowing for both pre-contact visual sensing and during-contact tactile sensing with a single sensor. First, we propose tactile force matching, a methodology that enables a robot to match forces read during kinesthetic teaching using tactile signals. Second, we develop a policy that controls STS mode switching, allowing a policy to learn the appropriate moment to switch an STS from its visual to its tactile mode. Finally, we study multiple observation configurations to compare and contrast the value of visual and tactile data from an STS with visual data from a wrist-mounted eye-in-hand camera. With over 3,000 test episodes from real-world manipulation experiments, we find that the inclusion of force matching raises average policy success rates by 62.5%, STS mode switching by 30.3%, and STS data as a policy input by 42.5%. Our results highlight the utility of see-through tactile sensing for IL, both for data collection to allow force matching, and for policy execution to allow accurate task feedback.
• Abstract（参考訳）: Kinesthetic Teachingは、模倣学習(IL)のための接触豊富なタスクの専門的なロボットデモを集めるための一般的なアプローチであるが、通常、ロボットによって環境に置かれる力を無視して、動きを計測するだけである。 さらに、接触に富んだタスクは、接触と接触の両方を正確に検知する必要があるため、従来の感覚モダリティの提供は困難である。 両センサを用いたSee-Through-Your-Skin (STS) Visuotactile Sensorを用いてこれらの課題に対処する。 (i)審美的指導を改善するための測定ツール、及び (ii)接触式ドア操作タスクにおけるポリシー入力として。 stsセンサは、半透明な表面と制御可能な照明を利用して、視覚モードと触覚モードを切り替えることができ、単一のセンサで、接触前の視覚センシングと接触時の触覚センシングの両方を可能にする。 まず,触覚信号を用いた審美的指導の際,ロボットが読み取る力とマッチングできる触覚力マッチング手法を提案する。 第2に、STSモードスイッチングを制御するポリシーを開発し、STSを視覚から触覚モードに切り替えるための適切なタイミングを学習できるようにする。 最後に,手首装着眼球カメラの視覚データとSTSの視覚的・触覚的データの価値を比較し比較するため,複数の観察構成について検討した。 実世界の実験実験から3000回以上のテストエピソードが得られた結果、力のマッチングは平均的な政策成功率を62.5%、STSモードの切り替えは30.3%、STSデータは42.5%向上することが判明した。 この結果から, IL のルックスルー触覚センシング, 力のマッチングを可能にするデータ収集, 正確なタスクフィードバックを可能にするポリシー実行の両面での有用性を強調した。

関連論文リスト

• Learning Precise, Contact-Rich Manipulation through Uncalibrated Tactile Skins [17.412763585521688]
  我々は、トランスフォーマーベースのポリシーを使用して、皮膚センサーデータを視覚情報とともに追加トークンとして扱うシンプルなアプローチであるVisuo-Skin(ViSk)フレームワークを提案する。 ViSkは、視力のみと光触覚に基づくポリシーの両方で著しく優れています。 さらに、触覚と視覚のモダリティを組み合わせることで、政策性能と空間的一般化が向上し、タスク全体で平均27.5%の改善が達成される。
  論文  参考訳（メタデータ） (2024-10-22T17:59:49Z)
• Learning Manipulation by Predicting Interaction [85.57297574510507]
  本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。 実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-06-01T13:28:31Z)
• Learning Visuotactile Skills with Two Multifingered Hands [80.99370364907278]
  マルチフィンガーハンドとバイソタクティブルデータを用いたバイマニアルシステムを用いて,人間の実演からの学習を探索する。 以上の結果から,バイスオタクティブルデータからの両指多指操作における有望な進歩が示唆された。
  論文  参考訳（メタデータ） (2024-04-25T17:59:41Z)
• Multimodal Visual-Tactile Representation Learning through Self-Supervised Contrastive Pre-Training [0.850206009406913]
  MViTacは、コントラスト学習を利用して視覚と触覚を自己指導的に統合する新しい手法である。 両方の感覚入力を利用することで、MViTacは学習表現のモダリティ内およびモダリティ間損失を利用して、材料特性の分類を強化し、より適切な把握予測を行う。
  論文  参考訳（メタデータ） (2024-01-22T15:11:57Z)
• The Power of the Senses: Generalizable Manipulation from Vision and Touch through Masked Multimodal Learning [60.91637862768949]
  強化学習環境における視覚的・触覚的情報を融合するためのマスク付きマルチモーダル学習(M3L)を提案する。 M3Lは、マスク付きオートエンコーディングに基づいて、ポリシーと視覚触覚表現を学習する。 視覚と触覚の両方の観察を行い、3つの模擬環境におけるM3Lの評価を行った。
  論文  参考訳（メタデータ） (2023-11-02T01:33:00Z)
• Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
  人間は触覚と触覚に頼っている。 視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。 本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
  論文  参考訳（メタデータ） (2023-03-10T16:27:37Z)
• Multi-dataset Training of Transformers for Robust Action Recognition [75.5695991766902]
  動作認識のための複数のデータセットをうまく一般化することを目的として,ロバストな特徴表現の課題について検討する。 本稿では、情報損失と投影損失という2つの新しい損失項を設計した、新しいマルチデータセットトレーニングパラダイムであるMultiTrainを提案する。 本研究では,Kineetics-400,Kineetics-700,Moments-in-Time,Activitynet,Some-something-v2の5つの課題データセットに対して,本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2022-09-26T01:30:43Z)
• Visual-Tactile Multimodality for Following Deformable Linear Objects Using Reinforcement Learning [15.758583731036007]
  本稿では,視覚と触覚入力を併用して変形可能な線形物体を追従するタスクを完遂する問題について検討する。 我々は,異なる感覚モーダルを用いた強化学習エージェントを作成し,その動作をどのように促進するかを検討する。 実験の結果,視覚入力と触覚入力の両方を使用することで,最大92%の症例で作業が完了することがわかった。
  論文  参考訳（メタデータ） (2022-03-31T21:59:08Z)
• TANDEM: Learning Joint Exploration and Decision Making with Tactile Sensors [15.418884994244996]
  我々は,触覚探索の指導プロセスとタスク関連意思決定との相互作用に焦点を当てた。 意思決定と協調して効率的な探索戦略を学習するアーキテクチャであるTANDEMを提案する。 本手法は,触覚フィードバックのみに基づいて,触覚センサを備えたロボットが既知の集合から物体を探索・識別する必要がある触覚物体認識タスクにおいて実証する。
  論文  参考訳（メタデータ） (2022-03-01T23:55:09Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。