論文の概要: See to Touch: Learning Tactile Dexterity through Visual Incentives

• arxiv url: http://arxiv.org/abs/2309.12300v1
• Date: Thu, 21 Sep 2023 17:58:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-22 13:49:07.052952
• Title: See to Touch: Learning Tactile Dexterity through Visual Incentives
• Title（参考訳）: see to touch: 視覚インセンティブによる触覚のデクタリティの学習
• Authors: Irmak Guzey, Yinlong Dai, Ben Evans, Soumith Chintala and Lerrel Pinto
• Abstract要約: 触覚に基づくデキスタリティを高める新しいフレームワークである視覚インセンティブ(TAVI)による触覚適応を提案する。 6つの課題において、TAVIは我々の4本指のアレグロロボットを使って73%の成功率を達成した。
• 参考スコア（独自算出の注目度）: 20.586023376454115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Equipping multi-fingered robots with tactile sensing is crucial for achieving the precise, contact-rich, and dexterous manipulation that humans excel at. However, relying solely on tactile sensing fails to provide adequate cues for reasoning about objects' spatial configurations, limiting the ability to correct errors and adapt to changing situations. In this paper, we present Tactile Adaptation from Visual Incentives (TAVI), a new framework that enhances tactile-based dexterity by optimizing dexterous policies using vision-based rewards. First, we use a contrastive-based objective to learn visual representations. Next, we construct a reward function using these visual representations through optimal-transport based matching on one human demonstration. Finally, we use online reinforcement learning on our robot to optimize tactile-based policies that maximize the visual reward. On six challenging tasks, such as peg pick-and-place, unstacking bowls, and flipping slender objects, TAVI achieves a success rate of 73% using our four-fingered Allegro robot hand. The increase in performance is 108% higher than policies using tactile and vision-based rewards and 135% higher than policies without tactile observational input. Robot videos are best viewed on our project website: https://see-to-touch.github.io/.
• Abstract（参考訳）: 触覚センサーを備えた多指ロボットの装着は、人間が得意とする正確で接触性の高い操作を実現する上で不可欠だ。 しかし、触覚のみに頼ると、オブジェクトの空間的構成を推論するための適切な手がかりが得られず、エラーの修正と状況の変化に適応する能力が制限される。 本稿では,視覚に基づく報酬を用いたデクスタリポリシーを最適化することにより,触覚に基づくデクスタリティーを高める新しいフレームワークである,視覚インセンティブからの触覚適応(TAVI)を提案する。 まず,視覚表現の学習にコントラストに基づく目標を用いる。 次に,この視覚表現を用いた報奨関数を,人間の1つの実演に基づく最適移動ベースマッチングによって構築する。 最後に、ロボットのオンライン強化学習を利用して触覚に基づくポリシーを最適化し、視覚報酬を最大化する。 peg pick-and-place、unstacking bowls、flipping slender objectsといった6つの課題において、taviは4本指のallegroロボットハンドで73%の成功率を達成しました。 性能の向上は触覚と視力に基づく報酬を用いた政策よりも108%高く、触覚を含まない政策よりも135%高い。 ロボットビデオはプロジェクトのWebサイトでよく見られる。

関連論文リスト

• ViViDex: Learning Vision-based Dexterous Manipulation from Human Videos [81.99559944822752]
  我々は人間のビデオから視覚に基づくポリシー学習を改善するためにViViDexを提案する。 最初は強化学習と軌道誘導報酬を使って、各ビデオに対する州ベースのポリシーを訓練する。 次に、州ベースのポリシーから成功したエピソードをロールアウトし、特権情報を使用しずに統一された視覚ポリシーをトレーニングします。
  論文  参考訳（メタデータ） (2024-04-24T07:58:28Z)
• PseudoTouch: Efficiently Imaging the Surface Feel of Objects for Robotic Manipulation [8.997347199266592]
  私たちの目標は、ロボットに同じような能力を持たせることです。 我々はこの問題を,低次元視覚触覚埋め込み学習のタスクとして捉えている。 ReSkinを使って、アライメントされた触覚と視覚データペアからなるデータセット上でPseudoTouchを収集し、トレーニングします。 我々はPseudoTouchの有効性を、物体認識と把握安定性予測という2つの下流タスクに適用することで実証する。
  論文  参考訳（メタデータ） (2024-03-22T10:51:31Z)
• DexTouch: Learning to Seek and Manipulate Objects with Tactile Dexterity [11.450027373581019]
  視覚に頼らずに触覚で物体を操作できる多指ロボットシステムを提案する。 日常の生活を模倣するタスクのために、ロボットは触覚を使ってランダムに配置された物体を暗く操作する。
  論文  参考訳（メタデータ） (2024-01-23T05:37:32Z)
• Neural feels with neural fields: Visuo-tactile perception for in-hand manipulation [57.60490773016364]
  マルチフィンガーハンドの視覚と触覚を組み合わせることで,手動操作時の物体の姿勢と形状を推定する。 提案手法であるNeuralFeelsは,ニューラルネットワークをオンラインで学習することでオブジェクトの形状を符号化し,ポーズグラフ問題を最適化して共同で追跡する。 私たちの結果は、タッチが少なくとも、洗練され、そして最も最良のものは、手動操作中に視覚的推定を曖昧にすることを示しています。
  論文  参考訳（メタデータ） (2023-12-20T22:36:37Z)
• Robot Synesthesia: In-Hand Manipulation with Visuotactile Sensing [15.970078821894758]
  視覚的・触覚的な感覚入力を活用して手動操作を可能にするシステムを提案する。 ロボット・シンセシス(Robot Synesthesia)は、人間の触覚と視覚の合成にインスパイアされた、新しい点の雲に基づく触覚表現である。
  論文  参考訳（メタデータ） (2023-12-04T12:35:43Z)
• What Matters to You? Towards Visual Representation Alignment for Robot Learning [81.30964736676103]
  人のために運用する場合、ロボットはエンドユーザーの好みに合わせて報酬を最適化する必要がある。 本稿では、視覚的表現アライメント問題を解決するためのRAPL(Representation-Aligned Preference-based Learning)を提案する。
  論文  参考訳（メタデータ） (2023-10-11T23:04:07Z)
• Human-oriented Representation Learning for Robotic Manipulation [64.59499047836637]
  人間は本質的に、操作作業において環境を効率的に探索し、相互作用することを可能にする、一般化可能な視覚表現を持っている。 我々は、このアイデアを、事前訓練された視覚エンコーダの上に、人間指向のマルチタスク微調整のレンズを通してフォーマル化する。 我々のタスクフュージョンデコーダは、下流操作ポリシー学習のための最先端の3つのビジュアルエンコーダの表現を一貫して改善する。
  論文  参考訳（メタデータ） (2023-10-04T17:59:38Z)
• Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
  人間は触覚と触覚に頼っている。 視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。 本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
  論文  参考訳（メタデータ） (2023-03-10T16:27:37Z)
• Learning Dexterous Grasping with Object-Centric Visual Affordances [86.49357517864937]
  控えめなロボットハンドは、機敏さと人間のような形態をアピールしています。 本稿では,厳密な把握を学習するためのアプローチを提案する。 私たちのキーとなるアイデアは、オブジェクト中心の視覚的余裕モデルを深い強化学習ループに埋め込むことです。
  論文  参考訳（メタデータ） (2020-09-03T04:00:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。