論文の概要: Visuo-Tactile Pretraining for Cable Plugging
- arxiv url: http://arxiv.org/abs/2403.11898v1
- Date: Mon, 18 Mar 2024 15:56:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 19:40:35.790693
- Title: Visuo-Tactile Pretraining for Cable Plugging
- Title（参考訳）: ケーブルプラグ用ビゾタクティルプレトレーニング
- Authors: Abraham George, Selam Gano, Pranav Katragadda, Amir Barati Farimani,
- Abstract要約: 我々は,複雑なタスクの性能向上のために,触覚情報を模倣学習プラットフォームに組み込む方法について検討する。
私たちはロボットエージェントにUSBケーブルを差し込むように訓練します。
また, 触覚情報を用いて非触覚エージェントの訓練を行う方法についても検討した。
- 参考スコア（独自算出の注目度）: 8.187196813233362
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Tactile information is a critical tool for fine-grain manipulation. As humans, we rely heavily on tactile information to understand objects in our environments and how to interact with them. We use touch not only to perform manipulation tasks but also to learn how to perform these tasks. Therefore, to create robotic agents that can learn to complete manipulation tasks at a human or super-human level of performance, we need to properly incorporate tactile information into both skill execution and skill learning. In this paper, we investigate how we can incorporate tactile information into imitation learning platforms to improve performance on complex tasks. To do this, we tackle the challenge of plugging in a USB cable, a dexterous manipulation task that relies on fine-grain visuo-tactile serving. By incorporating tactile information into imitation learning frameworks, we are able to train a robotic agent to plug in a USB cable - a first for imitation learning. Additionally, we explore how tactile information can be used to train non-tactile agents through a contrastive-loss pretraining process. Our results show that by pretraining with tactile information, the performance of a non-tactile agent can be significantly improved, reaching a level on par with visuo-tactile agents. For demonstration videos and access to our codebase, see the project website: https://sites.google.com/andrew.cmu.edu/visuo-tactile-cable-plugging/home
- Abstract（参考訳）: 触覚情報は微粒な操作にとって重要なツールである。
人間として、私たちは私たちの環境の物体を理解するために触覚情報に大きく依存しています。
操作タスクの実行だけでなく、これらのタスクの実行方法の学習にもタッチを使用します。
したがって、人間や超人的なパフォーマンスで操作作業の完了を学習できるロボットエージェントを作成するためには、触覚情報をスキル実行とスキル学習の両方に適切に組み込む必要がある。
本稿では,複雑なタスクの性能向上のために,触覚情報を模倣学習プラットフォームに組み込む方法について検討する。
そのために、細粒度ビズータクティルサーブに依存する巧妙な操作タスクであるUSBケーブルを差し込むという課題に取り組む。
触覚情報を模倣学習フレームワークに組み込むことで、ロボットエージェントにUSBケーブルを接続するように訓練することが可能になります。
さらに, 触覚情報を用いて非触覚エージェントの訓練を行う方法についても検討した。
その結果, 触覚情報による事前学習により, 非触覚エージェントの性能が著しく向上し, ビジュオ触覚エージェントと同等のレベルに達することが示唆された。
デモビデオとコードベースへのアクセスについては、プロジェクトのWebサイトを参照してください。
関連論文リスト
- Learning Visuotactile Skills with Two Multifingered Hands [80.99370364907278]
マルチフィンガーハンドとバイソタクティブルデータを用いたバイマニアルシステムを用いて,人間の実演からの学習を探索する。
以上の結果から,バイスオタクティブルデータからの両指多指操作における有望な進歩が示唆された。
論文 参考訳（メタデータ） (2024-04-25T17:59:41Z) - Tactile-based Object Retrieval From Granular Media [17.340244278653785]
本稿では,粒状体に埋もれた物体を回収するロボット操作手法であるGEOTACTを紹介する。
我々は,この問題の定式化が,マニピュレータが不確実性を低減するために使用する学習的プッシュ動作の自然発生に繋がることを示す。
また、シミュレーションでこれらの動作を学習し、その後、実際のハードウェアにゼロショットで転送する訓練カリキュラムも導入する。
論文 参考訳（メタデータ） (2024-02-07T02:50:56Z) - DexTouch: Learning to Seek and Manipulate Objects with Tactile Dexterity [11.450027373581019]
視覚に頼らずに触覚で物体を操作できる多指ロボットシステムを提案する。
日常の生活を模倣するタスクのために、ロボットは触覚を使ってランダムに配置された物体を暗く操作する。
論文 参考訳（メタデータ） (2024-01-23T05:37:32Z) - Any-point Trajectory Modeling for Policy Learning [64.23861308947852]
我々は、ビデオフレーム内の任意の点の将来の軌跡を予測するために、ATM(Any-point Trajectory Modeling)を導入する。
ATMは、強力なビデオ事前トレーニングベースラインを平均80%上回っている。
本研究では,人間の動画やビデオからの操作スキルを,異なるロボット形態から効果的に伝達する学習方法を示す。
論文 参考訳（メタデータ） (2023-12-28T23:34:43Z) - See to Touch: Learning Tactile Dexterity through Visual Incentives [20.586023376454115]
触覚に基づくデキスタリティを高める新しいフレームワークである視覚インセンティブ(TAVI)による触覚適応を提案する。
6つの課題において、TAVIは我々の4本指のアレグロロボットを使って73%の成功率を達成した。
論文 参考訳（メタデータ） (2023-09-21T17:58:13Z) - Dexterity from Touch: Self-Supervised Pre-Training of Tactile
Representations with Robotic Play [15.780086627089885]
T-Dexは、触覚に基づくデキスタリティの新しいアプローチで、2つのフェーズで動作する。
第1フェーズでは、2.5時間のプレイデータを収集し、自動教師付き触覚エンコーダの訓練に使用する。
第2段階では, 触覚観察と視覚的観察を組み合わせた非パラメトリックな政策を学習する。
論文 参考訳（メタデータ） (2023-03-21T17:59:20Z) - Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
人間は触覚と触覚に頼っている。
視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。
本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
論文 参考訳（メタデータ） (2023-03-10T16:27:37Z) - Visual-Tactile Multimodality for Following Deformable Linear Objects
Using Reinforcement Learning [15.758583731036007]
本稿では,視覚と触覚入力を併用して変形可能な線形物体を追従するタスクを完遂する問題について検討する。
我々は,異なる感覚モーダルを用いた強化学習エージェントを作成し,その動作をどのように促進するかを検討する。
実験の結果,視覚入力と触覚入力の両方を使用することで,最大92%の症例で作業が完了することがわかった。
論文 参考訳（メタデータ） (2022-03-31T21:59:08Z) - Actionable Models: Unsupervised Offline Reinforcement Learning of
Robotic Skills [93.12417203541948]
与えられたデータセットの任意の目標状態に到達するために学習することによって、環境の機能的な理解を学ぶ目的を提案する。
提案手法は,高次元カメラ画像上で動作し,これまで見つからなかったシーンやオブジェクトに一般化した実ロボットの様々なスキルを学習することができる。
論文 参考訳（メタデータ） (2021-04-15T20:10:11Z) - Learning Dexterous Grasping with Object-Centric Visual Affordances [86.49357517864937]
控えめなロボットハンドは、機敏さと人間のような形態をアピールしています。
本稿では,厳密な把握を学習するためのアプローチを提案する。
私たちのキーとなるアイデアは、オブジェクト中心の視覚的余裕モデルを深い強化学習ループに埋め込むことです。
論文 参考訳（メタデータ） (2020-09-03T04:00:40Z) - Visual Imitation Made Easy [102.36509665008732]
本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。
我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。
我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
論文 参考訳（メタデータ） (2020-08-11T17:58:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。