論文の概要: VITaL Pretraining: Visuo-Tactile Pretraining for Tactile and Non-Tactile Manipulation Policies
- arxiv url: http://arxiv.org/abs/2403.11898v2
- Date: Thu, 26 Sep 2024 18:47:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-09 03:59:24.278700
- Title: VITaL Pretraining: Visuo-Tactile Pretraining for Tactile and Non-Tactile Manipulation Policies
- Title（参考訳）: VITaL プレトレーニング: 触覚・非触覚操作のための Visuo-Tactile Pretraining
- Authors: Abraham George, Selam Gano, Pranav Katragadda, Amir Barati Farimani,
- Abstract要約: 触覚情報を模倣学習プラットフォームに組み込んで操作タスクのパフォーマンスを向上させる方法について述べる。
触覚前訓練を取り入れることで,触覚エージェントだけでなく,模倣学習性能が向上することを示す。
- 参考スコア（独自算出の注目度）: 8.187196813233362
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Tactile information is a critical tool for dexterous manipulation. As humans, we rely heavily on tactile information to understand objects in our environments and how to interact with them. We use touch not only to perform manipulation tasks but also to learn how to perform these tasks. Therefore, to create robotic agents that can learn to complete manipulation tasks at a human or super-human level of performance, we need to properly incorporate tactile information into both skill execution and skill learning. In this paper, we investigate how we can incorporate tactile information into imitation learning platforms to improve performance on manipulation tasks. We show that incorporating visuo-tactile pretraining improves imitation learning performance, not only for tactile agents (policies that use tactile information at inference), but also for non-tactile agents (policies that do not use tactile information at inference). For these non-tactile agents, pretraining with tactile information significantly improved performance (for example, improving the accuracy on USB plugging from 20% to 85%), reaching a level on par with visuo-tactile agents, and even surpassing them in some cases. For demonstration videos and access to our codebase, see the project website: https://sites.google.com/andrew.cmu.edu/visuo-tactile-pretraining
- Abstract（参考訳）: 触覚情報は器用な操作にとって重要なツールである。
人間として、私たちは私たちの環境の物体を理解するために触覚情報に大きく依存しています。
操作タスクの実行だけでなく、これらのタスクの実行方法の学習にもタッチを使用します。
したがって、人間や超人的なパフォーマンスで操作作業の完了を学習できるロボットエージェントを作成するためには、触覚情報をスキル実行とスキル学習の両方に適切に組み込む必要がある。
本稿では,触覚情報を模倣学習プラットフォームに組み込んで操作タスクの性能向上を図る。
触覚前訓練を取り入れることで、触覚エージェント(推論時に触覚情報を使用する政治)だけでなく、非触覚エージェント(推論時に触覚情報を使用しない政治)にも模倣学習性能が向上することを示す。
これらの非触覚エージェントに対して、触覚情報による事前トレーニングは、性能を著しく向上させ(例えば、USBプラグの精度を20%から85%に向上させる)、ビジュオ触覚エージェントと同等のレベルに達し、場合によってはそれを上回った。
デモビデオとコードベースへのアクセスについては、プロジェクトのWebサイトを参照してください。
関連論文リスト
- Learning Visuotactile Skills with Two Multifingered Hands [80.99370364907278]
マルチフィンガーハンドとバイソタクティブルデータを用いたバイマニアルシステムを用いて,人間の実演からの学習を探索する。
以上の結果から,バイスオタクティブルデータからの両指多指操作における有望な進歩が示唆された。
論文 参考訳（メタデータ） (2024-04-25T17:59:41Z) - Tactile-based Object Retrieval From Granular Media [17.340244278653785]
本稿では,粒状体に埋もれた物体を回収するロボット操作手法であるGEOTACTを紹介する。
我々は,この問題の定式化が,マニピュレータが不確実性を低減するために使用する学習的プッシュ動作の自然発生に繋がることを示す。
また、シミュレーションでこれらの動作を学習し、その後、実際のハードウェアにゼロショットで転送する訓練カリキュラムも導入する。
論文 参考訳（メタデータ） (2024-02-07T02:50:56Z) - DexTouch: Learning to Seek and Manipulate Objects with Tactile Dexterity [11.450027373581019]
視覚に頼らずに触覚で物体を操作できる多指ロボットシステムを提案する。
日常の生活を模倣するタスクのために、ロボットは触覚を使ってランダムに配置された物体を暗く操作する。
論文 参考訳（メタデータ） (2024-01-23T05:37:32Z) - Any-point Trajectory Modeling for Policy Learning [64.23861308947852]
我々は、ビデオフレーム内の任意の点の将来の軌跡を予測するために、ATM(Any-point Trajectory Modeling)を導入する。
ATMは、強力なビデオ事前トレーニングベースラインを平均80%上回っている。
本研究では,人間の動画やビデオからの操作スキルを,異なるロボット形態から効果的に伝達する学習方法を示す。
論文 参考訳（メタデータ） (2023-12-28T23:34:43Z) - See to Touch: Learning Tactile Dexterity through Visual Incentives [20.586023376454115]
触覚に基づくデキスタリティを高める新しいフレームワークである視覚インセンティブ(TAVI)による触覚適応を提案する。
6つの課題において、TAVIは我々の4本指のアレグロロボットを使って73%の成功率を達成した。
論文 参考訳（メタデータ） (2023-09-21T17:58:13Z) - Dexterity from Touch: Self-Supervised Pre-Training of Tactile
Representations with Robotic Play [15.780086627089885]
T-Dexは、触覚に基づくデキスタリティの新しいアプローチで、2つのフェーズで動作する。
第1フェーズでは、2.5時間のプレイデータを収集し、自動教師付き触覚エンコーダの訓練に使用する。
第2段階では, 触覚観察と視覚的観察を組み合わせた非パラメトリックな政策を学習する。
論文 参考訳（メタデータ） (2023-03-21T17:59:20Z) - Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
人間は触覚と触覚に頼っている。
視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。
本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
論文 参考訳（メタデータ） (2023-03-10T16:27:37Z) - Visual-Tactile Multimodality for Following Deformable Linear Objects
Using Reinforcement Learning [15.758583731036007]
本稿では,視覚と触覚入力を併用して変形可能な線形物体を追従するタスクを完遂する問題について検討する。
我々は,異なる感覚モーダルを用いた強化学習エージェントを作成し,その動作をどのように促進するかを検討する。
実験の結果,視覚入力と触覚入力の両方を使用することで,最大92%の症例で作業が完了することがわかった。
論文 参考訳（メタデータ） (2022-03-31T21:59:08Z) - Actionable Models: Unsupervised Offline Reinforcement Learning of
Robotic Skills [93.12417203541948]
与えられたデータセットの任意の目標状態に到達するために学習することによって、環境の機能的な理解を学ぶ目的を提案する。
提案手法は,高次元カメラ画像上で動作し,これまで見つからなかったシーンやオブジェクトに一般化した実ロボットの様々なスキルを学習することができる。
論文 参考訳（メタデータ） (2021-04-15T20:10:11Z) - Learning Dexterous Grasping with Object-Centric Visual Affordances [86.49357517864937]
控えめなロボットハンドは、機敏さと人間のような形態をアピールしています。
本稿では,厳密な把握を学習するためのアプローチを提案する。
私たちのキーとなるアイデアは、オブジェクト中心の視覚的余裕モデルを深い強化学習ループに埋め込むことです。
論文 参考訳（メタデータ） (2020-09-03T04:00:40Z) - Visual Imitation Made Easy [102.36509665008732]
本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。
我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。
我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
論文 参考訳（メタデータ） (2020-08-11T17:58:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。