論文の概要: Elastic Tactile Simulation Towards Tactile-Visual Perception
- arxiv url: http://arxiv.org/abs/2108.05013v2
- Date: Thu, 12 Aug 2021 09:54:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-13 11:26:19.425196
- Title: Elastic Tactile Simulation Towards Tactile-Visual Perception
- Title（参考訳）: 触覚・視覚知覚のための弾性触覚シミュレーション
- Authors: Yikai Wang, Wenbing Huang, Bin Fang, Fuchun Sun, Chang Li
- Abstract要約: 触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。
EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。
さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
- 参考スコア（独自算出の注目度）: 58.44106915440858
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tactile sensing plays an important role in robotic perception and
manipulation tasks. To overcome the real-world limitations of data collection,
simulating tactile response in a virtual environment comes as a desirable
direction of robotic research. In this paper, we propose Elastic Interaction of
Particles (EIP) for tactile simulation. Most existing works model the tactile
sensor as a rigid multi-body, which is incapable of reflecting the elastic
property of the tactile sensor as well as characterizing the fine-grained
physical interaction between the two objects. By contrast, EIP models the
tactile sensor as a group of coordinated particles, and the elastic property is
applied to regulate the deformation of particles during contact. With the
tactile simulation by EIP, we further propose a tactile-visual perception
network that enables information fusion between tactile data and visual images.
The perception network is based on a global-to-local fusion mechanism where
multi-scale tactile features are aggregated to the corresponding local region
of the visual modality with the guidance of tactile positions and directions.
The fusion method exhibits superiority regarding the 3D geometric
reconstruction task.
- Abstract（参考訳）: 触覚はロボットの知覚や操作に重要な役割を果たしている。
データ収集の現実的な限界を克服するために、仮想環境における触覚応答のシミュレーションは、ロボット研究の望ましい方向性となる。
本稿では,触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。
既存の作品の多くは触覚センサーを剛性のある多体体としてモデル化しており、触覚センサーの弾性特性を反映させることができず、2つの物体間のきめ細かい物理的相互作用を特徴づけることができない。
対照的に、EIPは触覚センサを座標粒子群としてモデル化し、弾性特性を適用して接触時の粒子の変形を調節する。
EIPによる触覚シミュレーションにより,触覚データと視覚画像との情報融合を可能にする触覚知覚ネットワークを提案する。
知覚ネットワークは、多スケールの触覚特徴を、触覚位置と方向の誘導により視覚的モダリティの対応する局所領域に集約するグローバル・ローカル融合機構に基づいている。
融合法は3次元幾何再構成作業において優位性を示す。
関連論文リスト
- Dynamic Reconstruction of Hand-Object Interaction with Distributed Force-aware Contact Representation [52.36691633451968]
ViTaM-Dは動的手動物体相互作用再構成のための視覚触覚フレームワークである。
DF-Fieldは分散力認識型接触表現モデルである。
剛性および変形性のある物体再構成におけるViTaM-Dの優れた性能について検討した。
論文 参考訳（メタデータ） (2024-11-14T16:29:45Z) - Controllable Visual-Tactile Synthesis [28.03469909285511]
一つのスケッチから視覚と触覚の両方の出力を合成する条件生成モデルを開発した。
次に,電気接着型触覚デバイスに高品質な視覚・触覚出力を描画するパイプラインを導入する。
論文 参考訳（メタデータ） (2023-05-04T17:59:51Z) - Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
人間は触覚と触覚に頼っている。
視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。
本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
論文 参考訳（メタデータ） (2023-03-10T16:27:37Z) - Learning to Synthesize Volumetric Meshes from Vision-based Tactile
Imprints [26.118805500471066]
視覚ベースの触覚センサーは、通常、変形可能なエラストマーと上に取り付けられたカメラを使用して、コンタクトの高解像度な画像観察を行う。
本稿では,視覚に基づく触覚センサから得られた画像インプリントに基づいてエラストマーのメッシュを合成する学習に焦点を当てた。
グラフニューラルネットワーク(GNN)を導入し、教師付き学習で画像とメシュのマッピングを学習する。
論文 参考訳（メタデータ） (2022-03-29T00:24:10Z) - Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。
我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。
この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
論文 参考訳（メタデータ） (2021-09-09T16:04:14Z) - Learning Intuitive Physics with Multimodal Generative Models [24.342994226226786]
本稿では,視覚と触覚のフィードバックを融合させ,動的シーンにおける物体の動きを予測する枠組みを提案する。
我々は、接触面の高解像度マルチモーダルセンシングを提供する新しいSee-Through-your-Skin(STS)センサを使用します。
物体の静止状態を所定の初期条件から予測するシミュレーションおよび実世界の実験を通じて検証する。
論文 参考訳（メタデータ） (2021-01-12T12:55:53Z) - Sim-to-real for high-resolution optical tactile sensing: From images to
3D contact force distributions [5.939410304994348]
本稿では、内部カメラに基づく視覚ベースの触覚センサのシミュレーションにおいて触覚画像を生成する戦略を提案する。
材料の変形は、様々な接触条件の下で有限要素環境下でシミュレートされ、シミュレートされた画像に球状粒子が投影される。
画像から抽出した特徴は、3次元接触力分布にマップされ、有限要素シミュレーションによっても得られる。
論文 参考訳（メタデータ） (2020-12-21T12:43:33Z) - Elastic Interaction of Particles for Robotic Tactile Simulation [43.933808122317274]
触覚エミュレーションのための新しいフレームワークであるElastic Interaction of Particles (EIP)を提案する。
EIPは触覚センサを協調粒子群としてモデル化し、弾性理論を適用して接触過程における粒子の変形を制御する。
提案手法の有効性を検証する実験を2つのアプリケーションで行った。
論文 参考訳（メタデータ） (2020-11-23T16:37:00Z) - OmniTact: A Multi-Directional High Resolution Touch Sensor [109.28703530853542]
既存の触覚センサーは、平らで、感度が小さいか、低解像度の信号のみを提供する。
我々は,多方向高解像度触覚センサOmniTactを紹介する。
我々は,ロボット制御の課題に対して,OmniTactの能力を評価する。
論文 参考訳（メタデータ） (2020-03-16T01:31:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。