論文の概要: Learning the sense of touch in simulation: a sim-to-real strategy for vision-based tactile sensing

• arxiv url: http://arxiv.org/abs/2003.02640v1
• Date: Thu, 5 Mar 2020 14:17:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 07:27:06.855855
• Title: Learning the sense of touch in simulation: a sim-to-real strategy for vision-based tactile sensing
• Title（参考訳）: シミュレーションにおけるタッチ感覚の学習 : 視覚触覚センシングのためのsim-to-real戦略
• Authors: Carmelo Sferrazza, Thomas Bi and Raffaello D'Andrea
• Abstract要約: 本稿では,3次元接触力分布の再構成を目的とした,視覚に基づく触覚センサについて述べる。 シミュレーションデータから完全に調整されたディープニューラルネットワークをトレーニングするための戦略が提案されている。 結果として得られる学習アーキテクチャは、さらなるトレーニングをすることなく、複数の触覚センサ間で直接転送可能であり、実際のデータに対して正確な予測が得られます。
• 参考スコア（独自算出の注目度）: 1.9981375888949469
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data-driven approaches to tactile sensing aim to overcome the complexity of accurately modeling contact with soft materials. However, their widespread adoption is impaired by concerns about data efficiency and the capability to generalize when applied to various tasks. This paper focuses on both these aspects with regard to a vision-based tactile sensor, which aims to reconstruct the distribution of the three-dimensional contact forces applied on its soft surface. Accurate models for the soft materials and the camera projection, derived via state-of-the-art techniques in the respective domains, are employed to generate a dataset in simulation. A strategy is proposed to train a tailored deep neural network entirely from the simulation data. The resulting learning architecture is directly transferable across multiple tactile sensors without further training and yields accurate predictions on real data, while showing promising generalization capabilities to unseen contact conditions.
• Abstract（参考訳）: 触覚センシングへのデータ駆動アプローチは、軟質材料との接触を正確にモデル化する複雑さを克服することを目的としている。 しかし、それらの普及は、データ効率と様々なタスクに適用する際の一般化能力に関する懸念によって損なわれている。 本稿では,その軟面に作用する3次元接触力の分布を再構築することを目的とした,視覚に基づく触覚センサの両面に着目した。 各ドメインにおける最先端技術によって導出されるソフトマテリアルとカメラ投影の正確なモデルを用いて、シミュレーションでデータセットを生成する。 シミュレーションデータから完全にカスタマイズされたディープニューラルネットワークをトレーニングする戦略が提案されている。 その結果得られた学習アーキテクチャは、さらにトレーニングすることなく、複数の触覚センサーを直接移動でき、実際のデータを正確に予測することができる。

関連論文リスト

• Flex: End-to-End Text-Instructed Visual Navigation with Foundation Models [59.892436892964376]
  本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。 この知見はFlex (Fly-lexically) で合成され,VLM(Vision Language Models) をフリーズしたパッチワイド特徴抽出器として利用するフレームワークである。 本研究では,本手法が4段階のフライ・トゥ・ターゲットタスクにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T19:59:31Z)
• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• Visual-Tactile Sensing for In-Hand Object Reconstruction [38.42487660352112]
  我々は、視覚触覚による手動オブジェクト再構成フレームワーク textbfVTacO を提案し、手動オブジェクト再構成のために textbfVTacOH に拡張する。 シミュレーション環境であるVT-Simは、剛性オブジェクトと変形可能なオブジェクトの両方のハンドオブジェクトインタラクションの生成をサポートする。
  論文  参考訳（メタデータ） (2023-03-25T15:16:31Z)
• Persistence-based operators in machine learning [62.997667081978825]
  永続性に基づくニューラルネットワークレイヤのクラスを導入します。 永続化ベースのレイヤにより、ユーザは、データによって尊重される対称性に関する知識を容易に注入でき、学習可能なウェイトを備え、最先端のニューラルネットワークアーキテクチャで構成できる。
  論文  参考訳（メタデータ） (2022-12-28T18:03:41Z)
• Learning to Simulate Realistic LiDARs [66.7519667383175]
  リアルLiDARセンサのデータ駆動シミュレーションのためのパイプラインを提案する。 本モデルでは, 透明表面上の落下点などの現実的な効果を符号化できることが示される。 我々は2つの異なるLiDARセンサのモデルを学習し、それに従ってシミュレーションされたLiDARデータを改善する。
  論文  参考訳（メタデータ） (2022-09-22T13:12:54Z)
• Learning to Synthesize Volumetric Meshes from Vision-based Tactile Imprints [26.118805500471066]
  視覚ベースの触覚センサーは、通常、変形可能なエラストマーと上に取り付けられたカメラを使用して、コンタクトの高解像度な画像観察を行う。 本稿では,視覚に基づく触覚センサから得られた画像インプリントに基づいてエラストマーのメッシュを合成する学習に焦点を当てた。 グラフニューラルネットワーク(GNN)を導入し、教師付き学習で画像とメシュのマッピングを学習する。
  論文  参考訳（メタデータ） (2022-03-29T00:24:10Z)
• Towards Optimal Strategies for Training Self-Driving Perception Models in Simulation [98.51313127382937]
  合成ドメインのみにおけるラベルの使用に焦点を当てる。 提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。 マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
  論文  参考訳（メタデータ） (2021-11-15T18:37:43Z)
• Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
  触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。 EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。 さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-11T03:49:59Z)
• Sim-to-real for high-resolution optical tactile sensing: From images to 3D contact force distributions [5.939410304994348]
  本稿では、内部カメラに基づく視覚ベースの触覚センサのシミュレーションにおいて触覚画像を生成する戦略を提案する。 材料の変形は、様々な接触条件の下で有限要素環境下でシミュレートされ、シミュレートされた画像に球状粒子が投影される。 画像から抽出した特徴は、3次元接触力分布にマップされ、有限要素シミュレーションによっても得られる。
  論文  参考訳（メタデータ） (2020-12-21T12:43:33Z)
• Zero-Shot Reinforcement Learning with Deep Attention Convolutional Neural Networks [12.282277258055542]
  本研究では、特定の視覚センサ構成を持つ深層注意畳み込みニューラルネットワーク(DACNN)が、より低い計算複雑性で高いドメインとパラメータの変動を持つデータセット上でトレーニングを行うことを示す。 我々の新しいアーキテクチャは、制御対象に対する認識に適応し、知覚ネットワークを事前訓練することなくゼロショット学習を実現する。
  論文  参考訳（メタデータ） (2020-01-02T19:41:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。