論文の概要: Learning to Synthesize Volumetric Meshes from Vision-based Tactile Imprints

• arxiv url: http://arxiv.org/abs/2203.15155v1
• Date: Tue, 29 Mar 2022 00:24:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-30 13:40:07.981603
• Title: Learning to Synthesize Volumetric Meshes from Vision-based Tactile Imprints
• Title（参考訳）: 視力に基づく触覚インプリントからボリュームメッシュを合成する学習
• Authors: Xinghao Zhu, Siddarth Jain, Masayoshi Tomizuka, and Jeroen van Baar
• Abstract要約: 視覚ベースの触覚センサーは、通常、変形可能なエラストマーと上に取り付けられたカメラを使用して、コンタクトの高解像度な画像観察を行う。 本稿では,視覚に基づく触覚センサから得られた画像インプリントに基づいてエラストマーのメッシュを合成する学習に焦点を当てた。 グラフニューラルネットワーク(GNN)を導入し、教師付き学習で画像とメシュのマッピングを学習する。
• 参考スコア（独自算出の注目度）: 26.118805500471066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-based tactile sensors typically utilize a deformable elastomer and a camera mounted above to provide high-resolution image observations of contacts. Obtaining accurate volumetric meshes for the deformed elastomer can provide direct contact information and benefit robotic grasping and manipulation. This paper focuses on learning to synthesize the volumetric mesh of the elastomer based on the image imprints acquired from vision-based tactile sensors. Synthetic image-mesh pairs and real-world images are gathered from 3D finite element methods (FEM) and physical sensors, respectively. A graph neural network (GNN) is introduced to learn the image-to-mesh mappings with supervised learning. A self-supervised adaptation method and image augmentation techniques are proposed to transfer networks from simulation to reality, from primitive contacts to unseen contacts, and from one sensor to another. Using these learned and adapted networks, our proposed method can accurately reconstruct the deformation of the real-world tactile sensor elastomer in various domains, as indicated by the quantitative and qualitative results.
• Abstract（参考訳）: 視覚ベースの触覚センサーは通常、変形可能なエラストマーと上に取り付けられたカメラを使用して、コンタクトの高解像度画像観察を行う。 変形エラストマーの正確な体積メッシュの取得は、直接接触情報を提供し、ロボットの把握と操作に役立てることができる。 本稿では,視覚に基づく触覚センサから得られた画像インプリントに基づいて,エラストマーの体積メッシュを合成する学習に焦点を当てた。 3次元有限要素法(FEM)と物理センサから合成画像-メッシュ対と実世界像をそれぞれ収集する。 グラフニューラルネットワーク(GNN)を導入し、教師付き学習で画像とメシュのマッピングを学習する。 自己教師あり適応法と画像拡張法を提案し,ネットワークをシミュレーションから現実へ,原始的接触から未発見の接触へ,そしてあるセンサから別のセンサへ転送する。 提案手法は,これらの学習・適応ネットワークを用いて,実世界の触覚センサエラストマーの変形を定量的・定性的に再現する。

関連論文リスト

• Deep Domain Adaptation: A Sim2Real Neural Approach for Improving Eye-Tracking Systems [80.62854148838359]
  眼球画像のセグメンテーションは、最終視線推定に大きな影響を及ぼす眼球追跡の重要なステップである。 対象視線画像と合成訓練データとの重なり合いを測定するために,次元還元法を用いている。 提案手法は,シミュレーションと実世界のデータサンプルの相違に対処する際の頑健で,性能が向上する。
  論文  参考訳（メタデータ） (2024-03-23T22:32:06Z)
• CNN-based Methods for Object Recognition with High-Resolution Tactile Sensors [0.0]
  ロボットのエンドエフェクターに高解像度の触覚センサーを装着し、接触した物体を識別する。 CNNベースの2つのアプローチが圧力画像の分類に使われている。
  論文  参考訳（メタデータ） (2023-05-21T09:54:12Z)
• Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
  触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。 EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。 さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-11T03:49:59Z)
• Intriguing Properties of Vision Transformers [114.28522466830374]
  視覚変換器(ViT)は、様々なマシンビジョン問題にまたがって印象的な性能を誇示している。 我々は、この問題を広範囲の実験を通して体系的に研究し、高性能畳み込みニューラルネットワーク(CNN)との比較を行った。 ViTsの効果的な特徴は、自己認識機構によって可能なフレキシブルな受容と動的場によるものであることを示す。
  論文  参考訳（メタデータ） (2021-05-21T17:59:18Z)
• Sim-to-real for high-resolution optical tactile sensing: From images to 3D contact force distributions [5.939410304994348]
  本稿では、内部カメラに基づく視覚ベースの触覚センサのシミュレーションにおいて触覚画像を生成する戦略を提案する。 材料の変形は、様々な接触条件の下で有限要素環境下でシミュレートされ、シミュレートされた画像に球状粒子が投影される。 画像から抽出した特徴は、3次元接触力分布にマップされ、有限要素シミュレーションによっても得られる。
  論文  参考訳（メタデータ） (2020-12-21T12:43:33Z)
• Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision Action Recognition [131.6328804788164]
  本稿では,視覚・センサ・モダリティ(動画)における行動認識を強化するためのフレームワーク,Semantics-Aware Adaptive Knowledge Distillation Networks (SAKDN)を提案する。 SAKDNは複数のウェアラブルセンサーを教師のモダリティとして使用し、RGB動画を学生のモダリティとして使用している。
  論文  参考訳（メタデータ） (2020-09-01T03:38:31Z)
• 3D Shape Reconstruction from Vision and Touch [62.59044232597045]
  3次元形状再構成では、視覚と触覚の相補的な融合はほとんど未解明のままである。 本稿では,ロボットハンドと多数の3Dオブジェクトの相互作用から,触覚と視覚信号のシミュレーションデータセットを提案する。
  論文  参考訳（メタデータ） (2020-07-07T20:20:33Z)
• OmniTact: A Multi-Directional High Resolution Touch Sensor [109.28703530853542]
  既存の触覚センサーは、平らで、感度が小さいか、低解像度の信号のみを提供する。 我々は,多方向高解像度触覚センサOmniTactを紹介する。 我々は,ロボット制御の課題に対して,OmniTactの能力を評価する。
  論文  参考訳（メタデータ） (2020-03-16T01:31:29Z)
• Learning the sense of touch in simulation: a sim-to-real strategy for vision-based tactile sensing [1.9981375888949469]
  本稿では,3次元接触力分布の再構成を目的とした,視覚に基づく触覚センサについて述べる。 シミュレーションデータから完全に調整されたディープニューラルネットワークをトレーニングするための戦略が提案されている。 結果として得られる学習アーキテクチャは、さらなるトレーニングをすることなく、複数の触覚センサ間で直接転送可能であり、実際のデータに対して正確な予測が得られます。
  論文  参考訳（メタデータ） (2020-03-05T14:17:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。