論文の概要: Learning to Synthesize Volumetric Meshes from Vision-based Tactile
Imprints
- arxiv url: http://arxiv.org/abs/2203.15155v1
- Date: Tue, 29 Mar 2022 00:24:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-30 13:40:07.981603
- Title: Learning to Synthesize Volumetric Meshes from Vision-based Tactile
Imprints
- Title(参考訳): 視力に基づく触覚インプリントからボリュームメッシュを合成する学習
- Authors: Xinghao Zhu, Siddarth Jain, Masayoshi Tomizuka, and Jeroen van Baar
- Abstract要約: 視覚ベースの触覚センサーは、通常、変形可能なエラストマーと上に取り付けられたカメラを使用して、コンタクトの高解像度な画像観察を行う。
本稿では,視覚に基づく触覚センサから得られた画像インプリントに基づいてエラストマーのメッシュを合成する学習に焦点を当てた。
グラフニューラルネットワーク(GNN)を導入し、教師付き学習で画像とメシュのマッピングを学習する。
- 参考スコア(独自算出の注目度): 26.118805500471066
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-based tactile sensors typically utilize a deformable elastomer and a
camera mounted above to provide high-resolution image observations of contacts.
Obtaining accurate volumetric meshes for the deformed elastomer can provide
direct contact information and benefit robotic grasping and manipulation. This
paper focuses on learning to synthesize the volumetric mesh of the elastomer
based on the image imprints acquired from vision-based tactile sensors.
Synthetic image-mesh pairs and real-world images are gathered from 3D finite
element methods (FEM) and physical sensors, respectively. A graph neural
network (GNN) is introduced to learn the image-to-mesh mappings with supervised
learning. A self-supervised adaptation method and image augmentation techniques
are proposed to transfer networks from simulation to reality, from primitive
contacts to unseen contacts, and from one sensor to another. Using these
learned and adapted networks, our proposed method can accurately reconstruct
the deformation of the real-world tactile sensor elastomer in various domains,
as indicated by the quantitative and qualitative results.
- Abstract(参考訳): 視覚ベースの触覚センサーは通常、変形可能なエラストマーと上に取り付けられたカメラを使用して、コンタクトの高解像度画像観察を行う。
変形エラストマーの正確な体積メッシュの取得は、直接接触情報を提供し、ロボットの把握と操作に役立てることができる。
本稿では,視覚に基づく触覚センサから得られた画像インプリントに基づいて,エラストマーの体積メッシュを合成する学習に焦点を当てた。
3次元有限要素法(FEM)と物理センサから合成画像-メッシュ対と実世界像をそれぞれ収集する。
グラフニューラルネットワーク(GNN)を導入し、教師付き学習で画像とメシュのマッピングを学習する。
自己教師あり適応法と画像拡張法を提案し,ネットワークをシミュレーションから現実へ,原始的接触から未発見の接触へ,そしてあるセンサから別のセンサへ転送する。
提案手法は,これらの学習・適応ネットワークを用いて,実世界の触覚センサエラストマーの変形を定量的・定性的に再現する。
関連論文リスト
- CNN-based Methods for Object Recognition with High-Resolution Tactile
Sensors [0.0]
ロボットのエンドエフェクターに高解像度の触覚センサーを装着し、接触した物体を識別する。
CNNベースの2つのアプローチが圧力画像の分類に使われている。
論文 参考訳(メタデータ) (2023-05-21T09:54:12Z) - Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。
EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。
さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
論文 参考訳(メタデータ) (2021-08-11T03:49:59Z) - Active 3D Shape Reconstruction from Vision and Touch [66.08432412497443]
人間は、視覚と触覚を共同で利用して、活発な物体探索を通じて世界の3D理解を構築する。
3次元形状の再構成では、最新の進歩はRGB画像、深度マップ、触覚読影などの限られた感覚データの静的データセットに依存している。
1)高空間分解能視覚に基づく触覚センサを応用した3次元物体のアクティブタッチに活用した触覚シミュレータ,2)触覚やビジュオクティビティルを先導するメッシュベースの3次元形状再構成モデル,3)触覚やビジュオのいずれかを用いたデータ駆動型ソリューションのセットからなるシステムを導入する。
論文 参考訳(メタデータ) (2021-07-20T15:56:52Z) - Intriguing Properties of Vision Transformers [114.28522466830374]
視覚変換器(ViT)は、様々なマシンビジョン問題にまたがって印象的な性能を誇示している。
我々は、この問題を広範囲の実験を通して体系的に研究し、高性能畳み込みニューラルネットワーク(CNN)との比較を行った。
ViTsの効果的な特徴は、自己認識機構によって可能なフレキシブルな受容と動的場によるものであることを示す。
論文 参考訳(メタデータ) (2021-05-21T17:59:18Z) - Sim-to-real for high-resolution optical tactile sensing: From images to
3D contact force distributions [5.939410304994348]
本稿では、内部カメラに基づく視覚ベースの触覚センサのシミュレーションにおいて触覚画像を生成する戦略を提案する。
材料の変形は、様々な接触条件の下で有限要素環境下でシミュレートされ、シミュレートされた画像に球状粒子が投影される。
画像から抽出した特徴は、3次元接触力分布にマップされ、有限要素シミュレーションによっても得られる。
論文 参考訳(メタデータ) (2020-12-21T12:43:33Z) - Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision
Action Recognition [131.6328804788164]
本稿では,視覚・センサ・モダリティ(動画)における行動認識を強化するためのフレームワーク,Semantics-Aware Adaptive Knowledge Distillation Networks (SAKDN)を提案する。
SAKDNは複数のウェアラブルセンサーを教師のモダリティとして使用し、RGB動画を学生のモダリティとして使用している。
論文 参考訳(メタデータ) (2020-09-01T03:38:31Z) - 3D Shape Reconstruction from Vision and Touch [62.59044232597045]
3次元形状再構成では、視覚と触覚の相補的な融合はほとんど未解明のままである。
本稿では,ロボットハンドと多数の3Dオブジェクトの相互作用から,触覚と視覚信号のシミュレーションデータセットを提案する。
論文 参考訳(メタデータ) (2020-07-07T20:20:33Z) - OmniTact: A Multi-Directional High Resolution Touch Sensor [109.28703530853542]
既存の触覚センサーは、平らで、感度が小さいか、低解像度の信号のみを提供する。
我々は,多方向高解像度触覚センサOmniTactを紹介する。
我々は,ロボット制御の課題に対して,OmniTactの能力を評価する。
論文 参考訳(メタデータ) (2020-03-16T01:31:29Z) - Learning the sense of touch in simulation: a sim-to-real strategy for
vision-based tactile sensing [1.9981375888949469]
本稿では,3次元接触力分布の再構成を目的とした,視覚に基づく触覚センサについて述べる。
シミュレーションデータから完全に調整されたディープニューラルネットワークをトレーニングするための戦略が提案されている。
結果として得られる学習アーキテクチャは、さらなるトレーニングをすることなく、複数の触覚センサ間で直接転送可能であり、実際のデータに対して正確な予測が得られます。
論文 参考訳(メタデータ) (2020-03-05T14:17:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。