論文の概要: Attention for Robot Touch: Tactile Saliency Prediction for Robust
Sim-to-Real Tactile Control
- arxiv url: http://arxiv.org/abs/2307.14510v2
- Date: Wed, 2 Aug 2023 09:42:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-03 17:04:01.402303
- Title: Attention for Robot Touch: Tactile Saliency Prediction for Robust
Sim-to-Real Tactile Control
- Title（参考訳）: ロボットタッチの注意:ロバストなシム・トゥ・リアル触覚制御のための触覚閾値予測
- Authors: Yijiong Lin, Mauro Comi, Alex Church, Dandan Zhang, Nathan F. Lepora
- Abstract要約: 高解像度触覚センサーは、接触に富むロボットタスクにおける局所的な接触に関する情報を正確に提供することができる。
我々は,神経科学の人間のタッチアテンション機構にヒントを得た,ロボットタッチのためのテクスティタクティル・サリエンシ(textittactile saliency)という新しい概念を研究した。
- 参考スコア（独自算出の注目度）: 12.302685367517718
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: High-resolution tactile sensing can provide accurate information about local
contact in contact-rich robotic tasks. However, the deployment of such tasks in
unstructured environments remains under-investigated. To improve the robustness
of tactile robot control in unstructured environments, we propose and study a
new concept: \textit{tactile saliency} for robot touch, inspired by the human
touch attention mechanism from neuroscience and the visual saliency prediction
problem from computer vision. In analogy to visual saliency, this concept
involves identifying key information in tactile images captured by a tactile
sensor. While visual saliency datasets are commonly annotated by humans,
manually labelling tactile images is challenging due to their counterintuitive
patterns. To address this challenge, we propose a novel approach comprised of
three interrelated networks: 1) a Contact Depth Network (ConDepNet), which
generates a contact depth map to localize deformation in a real tactile image
that contains target and noise features; 2) a Tactile Saliency Network
(TacSalNet), which predicts a tactile saliency map to describe the target areas
for an input contact depth map; 3) and a Tactile Noise Generator (TacNGen),
which generates noise features to train the TacSalNet. Experimental results in
contact pose estimation and edge-following in the presence of distractors
showcase the accurate prediction of target features from real tactile images.
Overall, our tactile saliency prediction approach gives robust sim-to-real
tactile control in environments with unknown distractors. Project page:
https://sites.google.com/view/tactile-saliency/.
- Abstract（参考訳）: 高解像度触覚センサーは、接触に富むロボットタスクにおける局所的な接触に関する情報を正確に提供することができる。
しかし、そのようなタスクの非構造化環境への展開は未調査のままである。
非構造環境における触覚ロボット制御のロバスト性を向上させるため,ニューロサイエンスのヒューマンタッチアテンション機構やコンピュータビジョンのビジュアルサリエンシー予測問題に触発されたロボットタッチのための新しい概念である \textit{tactile saliency} を提案し,検討した。
視覚的サリエンシと類似したこの概念は、触覚センサーが捉えた触覚画像のキー情報を識別する。
視覚サリエンシーデータセットは、一般に人間が注釈を付けるが、触覚画像を手動でラベル付けすることは、直観に反するパターンのため困難である。
この課題に対処するため、3つのネットワークからなる新しいアプローチを提案する。
1)接触深度ネットワーク(ConDepNet)は、目標と雑音の特徴を含む実際の触覚画像の変形を局所化する接触深度マップを生成する。
2) 入力接触深度マップの目標領域を記述するために、触覚的サルテンシーマップを予測する触覚的サルテンシーネットワーク(tacsalnet)
3) 触覚ノイズ生成装置(tacngen)は,tacsalnetを訓練するためにノイズ特性を生成する。
コンタクトポーズ推定とエッジ追従実験の結果から,実触覚画像からのターゲット特徴の正確な予測が得られた。
全体として、当社の触覚塩分予測アプローチは、未知の障害のある環境での堅牢なsim-to-real触覚制御を可能にする。
プロジェクトページ: https://sites.google.com/view/tactile-saliency/
関連論文リスト
- Digitizing Touch with an Artificial Multimodal Fingertip [51.7029315337739]
人間とロボットはどちらも、周囲の環境を知覚し、相互作用するためにタッチを使うことの恩恵を受ける。
ここでは、タッチのデジタル化を改善するための概念的および技術革新について述べる。
これらの進歩は、高度なセンシング機能を備えた人工指型センサーに具現化されている。
論文 参考訳（メタデータ） (2024-11-04T18:38:50Z) - PseudoTouch: Efficiently Imaging the Surface Feel of Objects for Robotic Manipulation [8.997347199266592]
私たちの目標は、ロボットに同じような能力を持たせることです。
我々はこの問題を,低次元視覚触覚埋め込み学習のタスクとして捉えている。
ReSkinを使って、アライメントされた触覚と視覚データペアからなるデータセット上でPseudoTouchを収集し、トレーニングします。
我々はPseudoTouchの有効性を、物体認識と把握安定性予測という2つの下流タスクに適用することで実証する。
論文 参考訳（メタデータ） (2024-03-22T10:51:31Z) - Controllable Visual-Tactile Synthesis [28.03469909285511]
一つのスケッチから視覚と触覚の両方の出力を合成する条件生成モデルを開発した。
次に,電気接着型触覚デバイスに高品質な視覚・触覚出力を描画するパイプラインを導入する。
論文 参考訳（メタデータ） (2023-05-04T17:59:51Z) - Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
人間は触覚と触覚に頼っている。
視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。
本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
論文 参考訳（メタデータ） (2023-03-10T16:27:37Z) - Touch and Go: Learning from Human-Collected Vision and Touch [16.139106833276]
我々はTouch and Goという,視覚と触覚のペアデータを用いたデータセットを提案する。
人間のデータ収集者は触覚センサーを使って自然環境の物体を探査する。
私たちのデータセットは、多数の"野生の"オブジェクトとシーンにまたがっています。
論文 参考訳（メタデータ） (2022-11-22T18:59:32Z) - Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。
我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。
この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
論文 参考訳（メタデータ） (2021-09-09T16:04:14Z) - Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。
EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。
さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
論文 参考訳（メタデータ） (2021-08-11T03:49:59Z) - Active 3D Shape Reconstruction from Vision and Touch [66.08432412497443]
人間は、視覚と触覚を共同で利用して、活発な物体探索を通じて世界の3D理解を構築する。
3次元形状の再構成では、最新の進歩はRGB画像、深度マップ、触覚読影などの限られた感覚データの静的データセットに依存している。
1)高空間分解能視覚に基づく触覚センサを応用した3次元物体のアクティブタッチに活用した触覚シミュレータ,2)触覚やビジュオクティビティルを先導するメッシュベースの3次元形状再構成モデル,3)触覚やビジュオのいずれかを用いたデータ駆動型ソリューションのセットからなるシステムを導入する。
論文 参考訳（メタデータ） (2021-07-20T15:56:52Z) - Spatio-temporal Attention Model for Tactile Texture Recognition [25.06942319117782]
触覚テクスチャ認識のための新しい時空間注意モデル(STAM)を提案する。
提案したSTAMは,それぞれの触覚テクスチャの空間的焦点と触覚シーケンスの時間的相関の両方に注意を払っている。
100種類の異なる布のテクスチャを識別する実験では,空間的,時間的に選択的な注意が認識精度を大幅に向上させた。
論文 参考訳（メタデータ） (2020-08-10T22:32:34Z) - OmniTact: A Multi-Directional High Resolution Touch Sensor [109.28703530853542]
既存の触覚センサーは、平らで、感度が小さいか、低解像度の信号のみを提供する。
我々は,多方向高解像度触覚センサOmniTactを紹介する。
我々は,ロボット制御の課題に対して,OmniTactの能力を評価する。
論文 参考訳（メタデータ） (2020-03-16T01:31:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。