論文の概要: Sim-to-real for high-resolution optical tactile sensing: From images to 3D contact force distributions

• arxiv url: http://arxiv.org/abs/2012.11295v2
• Date: Thu, 31 Dec 2020 11:45:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-27 06:22:08.542412
• Title: Sim-to-real for high-resolution optical tactile sensing: From images to 3D contact force distributions
• Title（参考訳）: 高解像度光触覚センシングのためのsim-to-real:画像から3次元接触力分布へ
• Authors: Carmelo Sferrazza and Raffaello D'Andrea
• Abstract要約: 本稿では、内部カメラに基づく視覚ベースの触覚センサのシミュレーションにおいて触覚画像を生成する戦略を提案する。 材料の変形は、様々な接触条件の下で有限要素環境下でシミュレートされ、シミュレートされた画像に球状粒子が投影される。 画像から抽出した特徴は、3次元接触力分布にマップされ、有限要素シミュレーションによっても得られる。
• 参考スコア（独自算出の注目度）: 5.939410304994348
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The images captured by vision-based tactile sensors carry information about high-resolution tactile fields, such as the distribution of the contact forces applied to their soft sensing surface. However, extracting the information encoded in the images is challenging and often addressed with learning-based approaches, which generally require a large amount of training data. This article proposes a strategy to generate tactile images in simulation for a vision-based tactile sensor based on an internal camera that tracks the motion of spherical particles within a soft material. The deformation of the material is simulated in a finite element environment under a diverse set of contact conditions, and spherical particles are projected to a simulated image. Features extracted from the images are mapped to the 3D contact force distribution, with the ground truth also obtained via finite-element simulations, with an artificial neural network that is therefore entirely trained on synthetic data avoiding the need for real-world data collection. The resulting model exhibits high accuracy when evaluated on real-world tactile images, is transferable across multiple tactile sensors without further training, and is suitable for efficient real-time inference.
• Abstract（参考訳）: 視覚ベースの触覚センサによって撮影された画像は、ソフトセンシング面に作用する接触力の分布など、高解像度の触覚フィールドに関する情報を運ぶ。 しかし、画像にエンコードされた情報を抽出することは困難であり、一般的に大量のトレーニングデータを必要とする学習ベースのアプローチで対処されることが多い。 本稿では,軟質材料中の球状粒子の動きを追跡する内部カメラを用いて,視覚に基づく触覚センサのシミュレーションにおいて触覚画像を生成する手法を提案する。 材料の変形は、様々な接触条件の下で有限要素環境下でシミュレートされ、シミュレートされた画像に球状粒子が投影される。 画像から抽出された特徴は3次元接触力分布にマッピングされ、有限要素シミュレーションにより基底真理も得られた。 実世界の触覚画像で評価すると高い精度を示し、さらにトレーニングすることなく複数の触覚センサ間で伝達可能であり、効率的なリアルタイム推論に適している。

関連論文リスト

• Learning to Synthesize Volumetric Meshes from Vision-based Tactile Imprints [26.118805500471066]
  視覚ベースの触覚センサーは、通常、変形可能なエラストマーと上に取り付けられたカメラを使用して、コンタクトの高解像度な画像観察を行う。 本稿では,視覚に基づく触覚センサから得られた画像インプリントに基づいてエラストマーのメッシュを合成する学習に焦点を当てた。 グラフニューラルネットワーク(GNN)を導入し、教師付き学習で画像とメシュのマッピングを学習する。
  論文  参考訳（メタデータ） (2022-03-29T00:24:10Z)
• Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
  触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。 EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。 さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-11T03:49:59Z)
• Aug3D-RPN: Improving Monocular 3D Object Detection by Synthetic Images with Virtual Depth [64.29043589521308]
  仮想深度で画像を合成することでトレーニングデータを増強するレンダリングモジュールを提案する。 レンダリングモジュールは、RGB画像と対応するスパース深度画像とを入力として、さまざまなフォトリアリスティック合成画像を出力する。 さらに,深度推定タスクを通じて共同で最適化することで,検出モデルを改善する補助モジュールを導入する。
  論文  参考訳（メタデータ） (2021-07-28T11:00:47Z)
• Active 3D Shape Reconstruction from Vision and Touch [66.08432412497443]
  人間は、視覚と触覚を共同で利用して、活発な物体探索を通じて世界の3D理解を構築する。 3次元形状の再構成では、最新の進歩はRGB画像、深度マップ、触覚読影などの限られた感覚データの静的データセットに依存している。 1)高空間分解能視覚に基づく触覚センサを応用した3次元物体のアクティブタッチに活用した触覚シミュレータ,2)触覚やビジュオクティビティルを先導するメッシュベースの3次元形状再構成モデル,3)触覚やビジュオのいずれかを用いたデータ駆動型ソリューションのセットからなるシステムを導入する。
  論文  参考訳（メタデータ） (2021-07-20T15:56:52Z)
• Optical Tactile Sim-to-Real Policy Transfer via Real-to-Sim Tactile Image Translation [21.82940445333913]
  触覚ロボットと強化学習に適したシミュレーション環境について紹介する。 データ駆動型アプローチにより、実際の触覚センサの現在の状態を、対応するシミュレーションされた深度画像に変換することができる。 このポリシーは、物理ロボットのリアルタイム制御ループ内に実装され、ゼロショットシム対リアルポリシー転送を実証する。
  論文  参考訳（メタデータ） (2021-06-16T13:58:35Z)
• Learning 3D Granular Flow Simulations [6.308272531414633]
  離散要素法LIGGGHTSにより生成された複雑な3次元粒状流シミュレーションプロセスの正確なモデリングに向けたグラフニューラルネットワークアプローチを提案する。 本稿では,3次元物体,境界条件,粒子-粒子,粒子-境界相互作用を扱うグラフニューラルネットワークの実装方法について論じる。
  論文  参考訳（メタデータ） (2021-05-04T17:27:59Z)
• Learning optical flow from still images [53.295332513139925]
  我々は,容易に利用可能な単一の実画像から,高精度な光学的フローアノテーションを迅速かつ多量に生成するフレームワークを提案する。 既知の動きベクトルと回転角を持つ再構成された環境でカメラを仮想的に移動させる。 我々のデータでトレーニングすると、最先端の光フローネットワークは、実データを見るのに優れた一般化を実現する。
  論文  参考訳（メタデータ） (2021-04-08T17:59:58Z)
• gradSim: Differentiable simulation for system identification and visuomotor control [66.37288629125996]
  本稿では,微分可能マルチフィジカルシミュレーションと微分可能レンダリングを活用し,3次元監督への依存を克服するフレームワークであるgradsimを提案する。 当社の統合グラフは、状態ベースの(3D)監督に頼ることなく、挑戦的なバイスモメータ制御タスクで学習を可能にします。
  論文  参考訳（メタデータ） (2021-04-06T16:32:01Z)
• Physics-based Differentiable Depth Sensor Simulation [5.134435281973137]
  リアルな2.5Dスキャンを生成するための新しいエンドツーエンドの微分可能なシミュレーションパイプラインを紹介します。 各モジュールはw.r.tセンサーとシーンパラメータを区別できる。 シミュレーションにより,実スキャンで得られたモデルの性能が大幅に向上する。
  論文  参考訳（メタデータ） (2021-03-30T17:59:43Z)
• GeoSim: Photorealistic Image Simulation with Geometry-Aware Composition [81.24107630746508]
  GeoSimは、新しい都市の運転シーンを合成するジオメトリ認識の画像合成プロセスです。 まず、センサーデータからリアルな形状と外観の両方を備えた多様な3Dオブジェクトのバンクを構築します。 得られた合成画像は、フォトリアリズム、トラフィック認識、幾何学的一貫性があり、画像シミュレーションが複雑なユースケースにスケールできる。
  論文  参考訳（メタデータ） (2021-01-16T23:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。