論文の概要: Teaching Cameras to Feel: Estimating Tactile Physical Properties of Surfaces From Images

• arxiv url: http://arxiv.org/abs/2004.14487v3
• Date: Mon, 20 Sep 2021 19:03:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 13:25:06.277339
• Title: Teaching Cameras to Feel: Estimating Tactile Physical Properties of Surfaces From Images
• Title（参考訳）: カメラに触感を教える:画像から表面の触覚特性を推定する
• Authors: Matthew Purri and Kristin Dana
• Abstract要約: 本稿では,視覚情報から触覚特性の集合を推定する課題を紹介する。 我々は400以上のマルチビュー画像列とそれに対応する触覚特性を持つ画像触覚データセットの1つを構築した。 対向目的と新規なビジュオ触覚関節分類損失からなるクロスモーダルフレームワークを開発した。
• 参考スコア（独自算出の注目度）: 4.666400601228301
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The connection between visual input and tactile sensing is critical for object manipulation tasks such as grasping and pushing. In this work, we introduce the challenging task of estimating a set of tactile physical properties from visual information. We aim to build a model that learns the complex mapping between visual information and tactile physical properties. We construct a first of its kind image-tactile dataset with over 400 multiview image sequences and the corresponding tactile properties. A total of fifteen tactile physical properties across categories including friction, compliance, adhesion, texture, and thermal conductance are measured and then estimated by our models. We develop a cross-modal framework comprised of an adversarial objective and a novel visuo-tactile joint classification loss. Additionally, we develop a neural architecture search framework capable of selecting optimal combinations of viewing angles for estimating a given physical property.
• Abstract（参考訳）: 視覚入力と触覚センサの接続は、つかみや押すなどのオブジェクト操作作業において重要である。 本研究では,視覚情報から触覚特性の集合を推定する課題について紹介する。 視覚情報と触覚の物理的特性の複雑なマッピングを学習するモデルの構築を目指している。 我々は400以上のマルチビュー画像シーケンスとそれに対応する触覚特性を持つ画像触覚データセットを構築した。 摩擦, コンプライアンス, 密着性, テクスチャ, 熱伝導性など, カテゴリー別に15種類の触覚特性を測定し, モデルにより推定した。 対向目的と新規なビジュオ触覚関節分類損失からなるクロスモーダルフレームワークを開発した。 さらに,任意の物理的特性を推定するための視角の最適な組み合わせを選択できるニューラルネットワーク探索フレームワークを開発した。

関連論文リスト

• Compositional Physical Reasoning of Objects and Events from Videos [122.6862357340911]
  本稿では,物体の動きや相互作用から隠れた物理的特性を推定するという課題に対処する。 我々は、ComPhyの最先端ビデオ推論モデルを評価し、これらの隠れプロパティをキャプチャする限られた能力を明らかにする。 また,視覚的および隠れた物理的特性を学習し,原因を解明する,新しいニューロシンボリックな枠組みであるPhysical Concept Reasoner(PCR)を提案する。
  論文  参考訳（メタデータ） (2024-08-02T15:19:55Z)
• Controllable Visual-Tactile Synthesis [28.03469909285511]
  一つのスケッチから視覚と触覚の両方の出力を合成する条件生成モデルを開発した。 次に,電気接着型触覚デバイスに高品質な視覚・触覚出力を描画するパイプラインを導入する。
  論文  参考訳（メタデータ） (2023-05-04T17:59:51Z)
• Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
  人間は触覚と触覚に頼っている。 視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。 本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
  論文  参考訳（メタデータ） (2023-03-10T16:27:37Z)
• Touch and Go: Learning from Human-Collected Vision and Touch [16.139106833276]
  我々はTouch and Goという,視覚と触覚のペアデータを用いたデータセットを提案する。 人間のデータ収集者は触覚センサーを使って自然環境の物体を探査する。 私たちのデータセットは、多数の"野生の"オブジェクトとシーンにまたがっています。
  論文  参考訳（メタデータ） (2022-11-22T18:59:32Z)
• VisTaNet: Attention Guided Deep Fusion for Surface Roughness Classification [0.0]
  本稿では,既存の触覚データセットを付加した視覚データセットを提案する。 4種類の融合戦略を用いて視覚・触覚データを融合する新しい深層融合アーキテクチャを提案する。 本モデルでは触覚のみに比べて表面粗さ分類精度が97.22%向上した。
  論文  参考訳（メタデータ） (2022-09-18T09:37:06Z)
• ComPhy: Compositional Physical Reasoning of Objects and Events from Videos [113.2646904729092]
  目に見える性質と隠れた性質の間の構成性は、物理的な世界から推論するAIモデルに固有の課題をもたらす。 ビデオ推論に関する既存の研究は、主に物体の外観、動き、接触相互作用などの視覚的に観察可能な要素に焦点を当てている。 本稿では,視覚知覚,物理特性学習,動的予測,記号実行を組み合わせた,構成物理学学習(CPL)と呼ばれるオラクルニューラルシンボリックフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-02T17:59:13Z)
• Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
  本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。 我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。 この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
  論文  参考訳（メタデータ） (2021-09-09T16:04:14Z)
• Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
  触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。 EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。 さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-11T03:49:59Z)
• Learning Intuitive Physics with Multimodal Generative Models [24.342994226226786]
  本稿では,視覚と触覚のフィードバックを融合させ,動的シーンにおける物体の動きを予測する枠組みを提案する。 我々は、接触面の高解像度マルチモーダルセンシングを提供する新しいSee-Through-your-Skin(STS)センサを使用します。 物体の静止状態を所定の初期条件から予測するシミュレーションおよび実世界の実験を通じて検証する。
  論文  参考訳（メタデータ） (2021-01-12T12:55:53Z)
• Visual Grounding of Learned Physical Models [66.04898704928517]
  人間は、物体の物理的特性を直感的に認識し、複雑な相互作用に従事している場合でも、その動きを予測する。 我々は、物理を同時に推論し、視覚と力学の先行に基づく将来の予測を行うニューラルモデルを提案する。 実験により、我々のモデルはいくつかの観測範囲内で物理的特性を推測できることが示され、モデルが目に見えないシナリオに迅速に適応し、将来正確な予測を行うことができる。
  論文  参考訳（メタデータ） (2020-04-28T17:06:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。