論文の概要: Adding internal audio sensing to internal vision enables human-like in-hand fabric recognition with soft robotic fingertips

• arxiv url: http://arxiv.org/abs/2602.12918v1
• Date: Fri, 13 Feb 2026 13:23:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:41.434834
• Title: Adding internal audio sensing to internal vision enables human-like in-hand fabric recognition with soft robotic fingertips
• Title（参考訳）: 内部視覚に内部オーディオセンサーを加えることで、ソフトなロボットの指先で人間の手の布地を認識できる
• Authors: Iris Andrussow, Jans Solano, Benjamin A. Richardson, Georg Martius, Katherine J. Kuchenbecker,
• Abstract要約: 本研究では,両タイプの触覚情報を検出するシステムを提案する。 人間の動きにインスパイアされた私たちのロボットは、2本の感性のある指の間に布のサンプルを積極的に囲み、こぼす。
• 参考スコア（独自算出の注目度）: 24.17784887837483
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Distinguishing the feel of smooth silk from coarse cotton is a trivial everyday task for humans. When exploring such fabrics, fingertip skin senses both spatio-temporal force patterns and texture-induced vibrations that are integrated to form a haptic representation of the explored material. It is challenging to reproduce this rich, dynamic perceptual capability in robots because tactile sensors typically cannot achieve both high spatial resolution and high temporal sampling rate. In this work, we present a system that can sense both types of haptic information, and we investigate how each type influences robotic tactile perception of fabrics. Our robotic hand's middle finger and thumb each feature a soft tactile sensor: one is the open-source Minsight sensor that uses an internal camera to measure fingertip deformation and force at 50 Hz, and the other is our new sensor Minsound that captures vibrations through an internal MEMS microphone with a bandwidth from 50 Hz to 15 kHz. Inspired by the movements humans make to evaluate fabrics, our robot actively encloses and rubs folded fabric samples between its two sensitive fingers. Our results test the influence of each sensing modality on overall classification performance, showing high utility for the audio-based sensor. Our transformer-based method achieves a maximum fabric classification accuracy of 97 % on a dataset of 20 common fabrics. Incorporating an external microphone away from Minsound increases our method's robustness in loud ambient noise conditions. To show that this audio-visual tactile sensing approach generalizes beyond the training data, we learn general representations of fabric stretchiness, thickness, and roughness.
• Abstract（参考訳）: 粗い綿からスムーズな絹の感覚を断ち切ることは、人間の日常的な仕事である。 このような布地を探索する際、指先皮膚は時空間力パターンとテクスチャ誘起振動の両方を感知し、その材料を触覚的に表現する。 触覚センサーは、通常、高空間分解能と高時間サンプリング率の両方を達成できないため、このリッチでダイナミックな知覚能力をロボットで再現することは困難である。 本研究では,触覚情報と触覚情報の両方を検知するシステムを提案する。 ロボットハンドの中指と親指は、それぞれソフトな触覚センサーを備えています。ひとつは、内部カメラを使って50Hzで指先の動きと力を測定するMinsightセンサー、もうひとつは、50Hzから15kHzの帯域幅を持つ内部MEMSマイクを通して振動を捉えるMinsoundです。 ロボットは2本の感性のある指の間に折りたたまれた布のサンプルを積極的に囲み、こすります。 以上の結果から,感性モータリティが全体の分類性能に及ぼす影響を検証し,音声センサの有効性を示した。 本手法は,20の共用布のデータセット上で,最大布の分類精度を97 %向上する。 外部マイクをMinsoundから遠ざけることで、周囲の騒音条件下での手法の頑健さが向上する。 このオーディオ視覚触覚センシング手法がトレーニングデータを超えて一般化されていることを示すために,布の伸縮性,厚み,粗さの一般的な表現法を学習する。

関連論文リスト

• Acoustic Sensing for Universal Jamming Grippers [42.48594146171026]
  音はグリッパーとオブジェクトを通して伝搬し、オブジェクトプロパティをコードし、機械学習によって再構成される。 我々のセンサは、物体サイズ(2.6mm誤差)と方位(0.6deg誤差)の空間分解能が高い。 リアルな触覚オブジェクトソート作業におけるセンサの検証を行い,53分間の未中断の把握とセンシングを実現した。
  論文  参考訳（メタデータ） (2026-02-27T22:31:05Z)
• Vibro-Sense: Robust Vibration-based Impulse Response Localization and Trajectory Tracking for Robotic Hands [0.5500249707065662]
  高度な接触認識はロボット操作には不可欠だが、従来の触覚スキンは高価で複雑である。 本稿では,ビブロ音響センサを用いた高精度全体タッチ位置決め方式を提案する。
  論文  参考訳（メタデータ） (2026-01-28T12:49:39Z)
• Tactile MNIST: Benchmarking Active Tactile Perception [19.93022179513013]
  本稿では,触覚タスクのためのオープンソースのGymnasium互換ベンチマークであるTactile MNIST Benchmark Suiteを紹介する。 私たちのベンチマークスイートは、単純な玩具環境から視覚ベースの触覚センサーを用いた複雑な触覚知覚タスクまで、さまざまなシミュレーションシナリオを提供しています。 また,600個の3Dプリントディジットから収集した合成3D MNIST桁モデル13,500点と実世界の触覚サンプル153,600点からなる包括的データセットも提供する。
  論文  参考訳（メタデータ） (2025-06-03T14:42:16Z)
• Digitizing Touch with an Artificial Multimodal Fingertip [51.7029315337739]
  人間とロボットはどちらも、周囲の環境を知覚し、相互作用するためにタッチを使うことの恩恵を受ける。 ここでは、タッチのデジタル化を改善するための概念的および技術革新について述べる。 これらの進歩は、高度なセンシング機能を備えた人工指型センサーに具現化されている。
  論文  参考訳（メタデータ） (2024-11-04T18:38:50Z)
• Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
  人間は触覚と触覚に頼っている。 視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。 本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
  論文  参考訳（メタデータ） (2023-03-10T16:27:37Z)
• Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
  触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。 EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。 さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-11T03:49:59Z)
• Extended Tactile Perception: Vibration Sensing through Tools and Grasped Objects [11.60680126397386]
  ロボットがツールを具現化し、標準的把握オブジェクトを使って知覚を拡張できることを示します。 ロボット指の動的触覚センサを用いた視覚触覚センシングと機械学習モデルにより,ロボットが接触情報を解読できることを提案する。 本稿では,BioTacマイクロ振動センサと4kHzでのマルチタキセルセンシングが可能な新しいイベントダイナミックセンサであるNUSkinを用いた広範囲な実験について報告する。
  論文  参考訳（メタデータ） (2021-06-01T13:49:31Z)
• Spatio-temporal Attention Model for Tactile Texture Recognition [25.06942319117782]
  触覚テクスチャ認識のための新しい時空間注意モデル(STAM)を提案する。 提案したSTAMは,それぞれの触覚テクスチャの空間的焦点と触覚シーケンスの時間的相関の両方に注意を払っている。 100種類の異なる布のテクスチャを識別する実験では,空間的,時間的に選択的な注意が認識精度を大幅に向上させた。
  論文  参考訳（メタデータ） (2020-08-10T22:32:34Z)
• OmniTact: A Multi-Directional High Resolution Touch Sensor [109.28703530853542]
  既存の触覚センサーは、平らで、感度が小さいか、低解像度の信号のみを提供する。 我々は,多方向高解像度触覚センサOmniTactを紹介する。 我々は,ロボット制御の課題に対して,OmniTactの能力を評価する。
  論文  参考訳（メタデータ） (2020-03-16T01:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。