論文の概要: Visuo-Tactile Pretraining for Cable Plugging
- arxiv url: http://arxiv.org/abs/2403.11898v1
- Date: Mon, 18 Mar 2024 15:56:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 19:40:35.790693
- Title: Visuo-Tactile Pretraining for Cable Plugging
- Title(参考訳): ケーブルプラグ用ビゾタクティルプレトレーニング
- Authors: Abraham George, Selam Gano, Pranav Katragadda, Amir Barati Farimani,
- Abstract要約: 我々は,複雑なタスクの性能向上のために,触覚情報を模倣学習プラットフォームに組み込む方法について検討する。
私たちはロボットエージェントにUSBケーブルを差し込むように訓練します。
また, 触覚情報を用いて非触覚エージェントの訓練を行う方法についても検討した。
- 参考スコア(独自算出の注目度): 8.187196813233362
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Tactile information is a critical tool for fine-grain manipulation. As humans, we rely heavily on tactile information to understand objects in our environments and how to interact with them. We use touch not only to perform manipulation tasks but also to learn how to perform these tasks. Therefore, to create robotic agents that can learn to complete manipulation tasks at a human or super-human level of performance, we need to properly incorporate tactile information into both skill execution and skill learning. In this paper, we investigate how we can incorporate tactile information into imitation learning platforms to improve performance on complex tasks. To do this, we tackle the challenge of plugging in a USB cable, a dexterous manipulation task that relies on fine-grain visuo-tactile serving. By incorporating tactile information into imitation learning frameworks, we are able to train a robotic agent to plug in a USB cable - a first for imitation learning. Additionally, we explore how tactile information can be used to train non-tactile agents through a contrastive-loss pretraining process. Our results show that by pretraining with tactile information, the performance of a non-tactile agent can be significantly improved, reaching a level on par with visuo-tactile agents. For demonstration videos and access to our codebase, see the project website: https://sites.google.com/andrew.cmu.edu/visuo-tactile-cable-plugging/home
- Abstract(参考訳): 触覚情報は微粒な操作にとって重要なツールである。
人間として、私たちは私たちの環境の物体を理解するために触覚情報に大きく依存しています。
操作タスクの実行だけでなく、これらのタスクの実行方法の学習にもタッチを使用します。
したがって、人間や超人的なパフォーマンスで操作作業の完了を学習できるロボットエージェントを作成するためには、触覚情報をスキル実行とスキル学習の両方に適切に組み込む必要がある。
本稿では,複雑なタスクの性能向上のために,触覚情報を模倣学習プラットフォームに組み込む方法について検討する。
そのために、細粒度ビズータクティルサーブに依存する巧妙な操作タスクであるUSBケーブルを差し込むという課題に取り組む。
触覚情報を模倣学習フレームワークに組み込むことで、ロボットエージェントにUSBケーブルを接続するように訓練することが可能になります。
さらに, 触覚情報を用いて非触覚エージェントの訓練を行う方法についても検討した。
その結果, 触覚情報による事前学習により, 非触覚エージェントの性能が著しく向上し, ビジュオ触覚エージェントと同等のレベルに達することが示唆された。
デモビデオとコードベースへのアクセスについては、プロジェクトのWebサイトを参照してください。
関連論文リスト
- Learning Visuotactile Skills with Two Multifingered Hands [80.99370364907278]
マルチフィンガーハンドとバイソタクティブルデータを用いたバイマニアルシステムを用いて,人間の実演からの学習を探索する。
以上の結果から,バイスオタクティブルデータからの両指多指操作における有望な進歩が示唆された。
論文 参考訳(メタデータ) (2024-04-25T17:59:41Z) - Tactile-based Object Retrieval From Granular Media [17.340244278653785]
本稿では,粒状体に埋もれた物体を回収するロボット操作手法であるGEOTACTを紹介する。
我々は,この問題の定式化が,マニピュレータが不確実性を低減するために使用する学習的プッシュ動作の自然発生に繋がることを示す。
また、シミュレーションでこれらの動作を学習し、その後、実際のハードウェアにゼロショットで転送する訓練カリキュラムも導入する。
論文 参考訳(メタデータ) (2024-02-07T02:50:56Z) - DexTouch: Learning to Seek and Manipulate Objects with Tactile Dexterity [12.508332341279177]
触覚を用いて物体を探索・操作する多指ロボットシステムを提案する。
これを実現するために、ロボットハンドの片側に二元触覚センサを実装し、Sim2Realギャップを最小限に抑える。
視覚情報のない環境においても,触覚センサを用いた物体探索と操作が可能であることを示す。
論文 参考訳(メタデータ) (2024-01-23T05:37:32Z) - Robot Synesthesia: In-Hand Manipulation with Visuotactile Sensing [16.570647733532173]
視覚的・触覚的な感覚入力を活用して手動操作を可能にするシステムを提案する。
ロボット・シンセシス(Robot Synesthesia)は、人間の触覚と視覚の合成にインスパイアされた、新しい点の雲に基づく触覚表現である。
論文 参考訳(メタデータ) (2023-12-04T12:35:43Z) - RH20T: A Comprehensive Robotic Dataset for Learning Diverse Skills in
One-Shot [56.130215236125224]
オープンドメインでのロボット操作における重要な課題は、ロボットの多様性と一般化可能なスキルの獲得方法である。
単発模倣学習の最近の研究は、訓練されたポリシーを実証に基づく新しいタスクに移行する可能性を示唆している。
本稿では,エージェントがマルチモーダルな知覚で数百の現実世界のスキルを一般化する可能性を解き放つことを目的とする。
論文 参考訳(メタデータ) (2023-07-02T15:33:31Z) - Dexterity from Touch: Self-Supervised Pre-Training of Tactile
Representations with Robotic Play [15.780086627089885]
T-Dexは、触覚に基づくデキスタリティの新しいアプローチで、2つのフェーズで動作する。
第1フェーズでは、2.5時間のプレイデータを収集し、自動教師付き触覚エンコーダの訓練に使用する。
第2段階では, 触覚観察と視覚的観察を組み合わせた非パラメトリックな政策を学習する。
論文 参考訳(メタデータ) (2023-03-21T17:59:20Z) - Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
人間は触覚と触覚に頼っている。
視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。
本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
論文 参考訳(メタデータ) (2023-03-10T16:27:37Z) - Dexterous Manipulation from Images: Autonomous Real-World RL via Substep
Guidance [71.36749876465618]
本稿では,ユーザが新しいタスクを定義するための"プログラミング不要"なアプローチを提供する,視覚に基づくデクスタラスな操作システムについて述べる。
本システムには,最終タスクと中間タスクを画像例で定義するためのフレームワークが組み込まれている。
実世界における多段階物体操作の4指ロボットハンドラーによる実験結果
論文 参考訳(メタデータ) (2022-12-19T22:50:40Z) - Visual-Tactile Multimodality for Following Deformable Linear Objects
Using Reinforcement Learning [15.758583731036007]
本稿では,視覚と触覚入力を併用して変形可能な線形物体を追従するタスクを完遂する問題について検討する。
我々は,異なる感覚モーダルを用いた強化学習エージェントを作成し,その動作をどのように促進するかを検討する。
実験の結果,視覚入力と触覚入力の両方を使用することで,最大92%の症例で作業が完了することがわかった。
論文 参考訳(メタデータ) (2022-03-31T21:59:08Z) - Actionable Models: Unsupervised Offline Reinforcement Learning of
Robotic Skills [93.12417203541948]
与えられたデータセットの任意の目標状態に到達するために学習することによって、環境の機能的な理解を学ぶ目的を提案する。
提案手法は,高次元カメラ画像上で動作し,これまで見つからなかったシーンやオブジェクトに一般化した実ロボットの様々なスキルを学習することができる。
論文 参考訳(メタデータ) (2021-04-15T20:10:11Z) - Visual Imitation Made Easy [102.36509665008732]
本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。
我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。
我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
論文 参考訳(メタデータ) (2020-08-11T17:58:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。