論文の概要: DexTouch: Learning to Seek and Manipulate Objects with Tactile Dexterity
- arxiv url: http://arxiv.org/abs/2401.12496v1
- Date: Tue, 23 Jan 2024 05:37:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-24 16:41:35.985310
- Title: DexTouch: Learning to Seek and Manipulate Objects with Tactile Dexterity
- Title(参考訳): DexTouch: 触覚によるオブジェクトの検索と操作を学ぶ
- Authors: Kang-Won Lee, Yuzhe Qin, Xiaolong Wang and Soo-Chul Lim
- Abstract要約: 触覚を用いて物体を探索・操作する多指ロボットシステムを提案する。
これを実現するために、ロボットハンドの片側に二元触覚センサを実装し、Sim2Realギャップを最小限に抑える。
視覚情報のない環境においても,触覚センサを用いた物体探索と操作が可能であることを示す。
- 参考スコア(独自算出の注目度): 12.508332341279177
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The sense of touch is an essential ability for skillfully performing a
variety of tasks, providing the capacity to search and manipulate objects
without relying on visual information. Extensive research has been conducted
over time to apply these human tactile abilities to robots. In this paper, we
introduce a multi-finger robot system designed to search for and manipulate
objects using the sense of touch without relying on visual information.
Randomly located target objects are searched using tactile sensors, and the
objects are manipulated for tasks that mimic daily-life. The objective of the
study is to endow robots with human-like tactile capabilities. To achieve this,
binary tactile sensors are implemented on one side of the robot hand to
minimize the Sim2Real gap. Training the policy through reinforcement learning
in simulation and transferring the trained policy to the real environment, we
demonstrate that object search and manipulation using tactile sensors is
possible even in an environment without vision information. In addition, an
ablation study was conducted to analyze the effect of tactile information on
manipulative tasks. Our project page is available at
https://lee-kangwon.github.io/dextouch/
- Abstract(参考訳): 触覚は様々なタスクを巧みに実行し、視覚情報に頼らずにオブジェクトを検索・操作する能力を提供する上で不可欠な能力である。
これらの人間の触覚能力をロボットに適用するための大規模な研究が時間をかけて行われている。
本稿では,視覚情報に頼ることなく触覚を用いて物体を探索・操作する多指ロボットシステムを提案する。
ランダムに位置付けられた対象物を触覚センサーで探索し、日常を模倣するタスクのために操作する。
この研究の目的は、ロボットに人間のような触覚能力を与えることだ。
これを実現するために、ロボットハンドの片側に二元触覚センサを実装し、Sim2Realギャップを最小限に抑える。
シミュレーションによる強化学習と訓練されたポリシーを実環境に伝達することにより,視覚情報のない環境でも触覚センサを用いた物体探索と操作が可能であることを実証する。
さらに,触覚情報が操作課題に及ぼす影響を分析するためのアブレーション研究を行った。
私たちのプロジェクトページはhttps://lee-kangwon.github.io/dextouch/で閲覧できます。
関連論文リスト
- Robot Synesthesia: In-Hand Manipulation with Visuotactile Sensing [16.570647733532173]
視覚的・触覚的な感覚入力を活用して手動操作を可能にするシステムを提案する。
ロボット・シンセシス(Robot Synesthesia)は、人間の触覚と視覚の合成にインスパイアされた、新しい点の雲に基づく触覚表現である。
論文 参考訳(メタデータ) (2023-12-04T12:35:43Z) - RH20T: A Comprehensive Robotic Dataset for Learning Diverse Skills in
One-Shot [56.130215236125224]
オープンドメインでのロボット操作における重要な課題は、ロボットの多様性と一般化可能なスキルの獲得方法である。
単発模倣学習の最近の研究は、訓練されたポリシーを実証に基づく新しいタスクに移行する可能性を示唆している。
本稿では,エージェントがマルチモーダルな知覚で数百の現実世界のスキルを一般化する可能性を解き放つことを目的とする。
論文 参考訳(メタデータ) (2023-07-02T15:33:31Z) - Rotating without Seeing: Towards In-hand Dexterity through Touch [43.87509744768282]
本稿では,タッチデクスタリティ(Touch Dexterity)を提案する。
小さな領域で正確な触覚センサーに頼る代わりに、ロボットハンドの片側をオーバーレイする密度の高い二分力センサー(タッチまたはタッチなし)を用いた新しいシステム設計を導入する。
我々は,各種物体のシミュレーションに強化学習を用いて手動回転ポリシーを訓練する。タッチオンリーセンシングを応用して,実際のロボットの手で直接ポリシーを展開し,トレーニングで提示されていない新規物体を回転させることができる。
論文 参考訳(メタデータ) (2023-03-20T05:38:30Z) - Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
人間は触覚と触覚に頼っている。
視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。
本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
論文 参考訳(メタデータ) (2023-03-10T16:27:37Z) - Open-World Object Manipulation using Pre-trained Vision-Language Models [72.87306011500084]
ロボットが人からの指示に従うためには、人間の語彙の豊かな意味情報を繋げなければならない。
我々は、事前学習された視覚言語モデルを利用して、オブジェクト識別情報を抽出するシンプルなアプローチを開発する。
実際の移動マニピュレータにおける様々な実験において、MOOはゼロショットを様々な新しいオブジェクトカテゴリや環境に一般化する。
論文 参考訳(メタデータ) (2023-03-02T01:55:10Z) - See, Hear, and Feel: Smart Sensory Fusion for Robotic Manipulation [49.925499720323806]
視覚的、聴覚的、触覚的知覚が、ロボットが複雑な操作タスクを解くのにどのように役立つかを研究する。
私たちは、カメラで見たり、コンタクトマイクで聞いたり、視覚ベースの触覚センサーで感じるロボットシステムを構築しました。
論文 参考訳(メタデータ) (2022-12-07T18:55:53Z) - Touch and Go: Learning from Human-Collected Vision and Touch [16.139106833276]
我々はTouch and Goという,視覚と触覚のペアデータを用いたデータセットを提案する。
人間のデータ収集者は触覚センサーを使って自然環境の物体を探査する。
私たちのデータセットは、多数の"野生の"オブジェクトとシーンにまたがっています。
論文 参考訳(メタデータ) (2022-11-22T18:59:32Z) - Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。
学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
論文 参考訳(メタデータ) (2022-11-16T16:26:48Z) - Visual-Tactile Multimodality for Following Deformable Linear Objects
Using Reinforcement Learning [15.758583731036007]
本稿では,視覚と触覚入力を併用して変形可能な線形物体を追従するタスクを完遂する問題について検討する。
我々は,異なる感覚モーダルを用いた強化学習エージェントを作成し,その動作をどのように促進するかを検討する。
実験の結果,視覚入力と触覚入力の両方を使用することで,最大92%の症例で作業が完了することがわかった。
論文 参考訳(メタデータ) (2022-03-31T21:59:08Z) - Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。
我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。
この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
論文 参考訳(メタデータ) (2021-09-09T16:04:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。