論文の概要: An Interpretable Deep Learning Framework for Material Perception and Classification from Multisensory Tactile Data
- arxiv url: http://arxiv.org/abs/2608.21894v1
- Date: Sat, 22 Aug 2026 10:13:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.511845
- Title: An Interpretable Deep Learning Framework for Material Perception and Classification from Multisensory Tactile Data
- Title（参考訳）: 多感覚触覚データからの材料知覚と分類のための解釈可能なディープラーニングフレームワーク
- Abstract要約: 我々は,多感覚タッチデータを物質知覚にマッピングするフレームワークを開発した。
深層学習は, 中間知覚段階に拘束されない場合, ほぼ完全な物質分類にアプローチできることを示す。
また、解釈可能なディープラーニングが人間レベルのパフォーマンスにどのようにアプローチできるかを示し、ロボットと触覚システムが組み込む必要がある手がかりを明らかにします。
- 参考スコア（独自算出の注目度）: 3.7277730514654555
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Human tactile perception relies on complex multisensory cues. Yet the relationship between tactile signals and perceptual representations remains poorly understood, limiting the integration of touch in digital environments and human-like robotic perception. To address this gap, we developed a computational framework comprising three interconnected deep learning models that map multisensory touch data to material perception, without relying on hand-crafted features. The models represent progressively different routes from tactile signals to material class: from low-level interaction signals to perceptual attribute distributions (Model 1), from predicted attribute distributions to material classification (Model 2), and directly from tactile signals to material categories, bypassing intermediate representations (Model 3). By combining deep learning with Integrated Gradients, the framework achieved high accuracy while offering interpretability, revealing which sensory modalities most strongly drive its decisions. Our results show that deep learning can approach near-perfect material classification when unconstrained by intermediate perceptual stages, but matching human-like performance is harder once those stages are modeled explicitly. Notably, thermal cues emerged as particularly informative across all models, providing robust signals for material differentiation. The results offer a computational account of how tactile signals lead to material perception and show how interpretable deep learning can both approach human-level performance and reveal cues that robotic and haptic systems need to incorporate.
- Abstract（参考訳）: 人間の触覚知覚は複雑な多感覚の手がかりに依存する。
しかし、触覚信号と知覚表現の関係は未だによく理解されておらず、デジタル環境における触覚の統合や人間のようなロボットの知覚が制限されている。
このギャップに対処するため,我々は3つの相互接続型深層学習モデルを用いて,手作りの特徴に頼らずに,多感覚タッチデータを物質知覚にマッピングする計算フレームワークを開発した。
低レベル相互作用信号から知覚的属性分布(モデル1)、予測属性分布から物質分類(モデル2)、触覚信号から物質カテゴリーへの直接的経路を中間表現をバイパスする(モデル3)。
ディープラーニングと統合グラディエントを組み合わせることで、このフレームワークは解釈可能性を提供しながら高い精度を達成し、どの感覚モーダルが決定を最も強く推進するかを明らかにした。
以上の結果から,中間知覚段階に拘束されない場合,深層学習は,ほぼ完璧な素材分類にアプローチできることが示された。
特に、熱的手がかりはすべてのモデルで特に有益であり、物質分化のための堅牢な信号を提供した。
その結果は、触覚信号が物質知覚にどう影響するかを計算し、解釈可能なディープラーニングが人間レベルのパフォーマンスにどのようにアプローチできるかを示し、ロボットと触覚システムが組み込む必要がある手がかりを明らかにする。
関連論文リスト
- AdaDexGrasp: Adaptive Dexterous Grasping via 3D Visuo-Tactile Representation Fusion [60.79507611737292]
人間は視覚知覚と触覚フィードバックをシームレスに統合することで、安定的で適応的な把握を実現する。
既存のロボットグルーピングアプローチは、視覚入力と接触後の触覚誘導適応機構の欠如に依存している。
本稿では, 把握生成, 実現可能性予測, 適応的改善を統合した統合型ビジュオタクティル・フュージョン・グリーティング・フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-06T16:29:11Z) - Learning to Feel Materials from Multisensory Tactile Data via Interpretable Models [4.189643331553923]
多感タッチデータを用いた人体知覚と認識をモデル化するための解釈可能な計算フレームワークを提案する。
その結果, プレス, 静的接触, すべり相互作用からの情報を組み合わせることで, 予測精度が向上することがわかった。
これらの知見は、現在のロボットの指や触覚ディスプレイでは表現されていない熱とコンプライアンスの重要性を浮き彫りにしている。
論文 参考訳（メタデータ） (2026-05-28T08:20:01Z) - Multimodal Visual-Tactile Representation Learning through
Self-Supervised Contrastive Pre-Training [0.850206009406913]
MViTacは、コントラスト学習を利用して視覚と触覚を自己指導的に統合する新しい手法である。
両方の感覚入力を利用することで、MViTacは学習表現のモダリティ内およびモダリティ間損失を利用して、材料特性の分類を強化し、より適切な把握予測を行う。
論文 参考訳（メタデータ） (2024-01-22T15:11:57Z) - Bayesian and Neural Inference on LSTM-based Object Recognition from
Tactile and Kinesthetic Information [0.0]
触覚知覚は触覚(触覚や審美感覚など)に遭遇する感覚のモーダル性を含む
本論文は多モーダル物体認識に焦点をあて,触覚と審美に基づく分類結果を融合する解析的およびデータ駆動手法を提案する。
論文 参考訳（メタデータ） (2023-06-10T12:29:23Z) - Neurosymbolic hybrid approach to driver collision warning [64.02492460600905]
自律運転システムには2つの主要なアルゴリズムアプローチがある。
ディープラーニングだけでは、多くの分野で最先端の結果が得られています。
しかし、ディープラーニングモデルが機能しない場合、デバッグが非常に難しい場合もあります。
論文 参考訳（メタデータ） (2022-03-28T20:29:50Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。
我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。
この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
論文 参考訳（メタデータ） (2021-09-09T16:04:14Z) - Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision
Action Recognition [131.6328804788164]
本稿では,視覚・センサ・モダリティ(動画)における行動認識を強化するためのフレームワーク,Semantics-Aware Adaptive Knowledge Distillation Networks (SAKDN)を提案する。
SAKDNは複数のウェアラブルセンサーを教師のモダリティとして使用し、RGB動画を学生のモダリティとして使用している。
論文 参考訳（メタデータ） (2020-09-01T03:38:31Z) - Learning to Combine Top-Down and Bottom-Up Signals in Recurrent Neural
Networks with Attention over Modules [81.1967157385085]
ロバスト知覚はボトムアップ信号とトップダウン信号の両方に依存している。
ボトムアップ信号とトップダウン信号が動的に結合されるディープリカレントニューラルネットワークアーキテクチャについて検討する。
言語モデリング、逐次画像分類、映像予測、強化学習における様々なベンチマークにおいて、遠方方向情報フローが強いベースライン上で結果を改善することを実証する。
論文 参考訳（メタデータ） (2020-06-30T17:26:19Z) - A Framework for Learning Invariant Physical Relations in Multimodal
Sensory Processing [0.0]
我々は、教師なしの方法で、知覚的手がかり間の関係を学習できる新しいニューラルネットワークアーキテクチャを設計する。
低次元知覚データにおける任意の非線形関係を学習する際のコアシステム機能について述べる。
我々は、標準的なRGBカメラフレームから物理量間の関係を学習する現実世界の学習問題を通してこれを実証する。
論文 参考訳（メタデータ） (2020-06-30T08:42:48Z) - Learning the sense of touch in simulation: a sim-to-real strategy for
vision-based tactile sensing [1.9981375888949469]
本稿では,3次元接触力分布の再構成を目的とした,視覚に基づく触覚センサについて述べる。
シミュレーションデータから完全に調整されたディープニューラルネットワークをトレーニングするための戦略が提案されている。
結果として得られる学習アーキテクチャは、さらなるトレーニングをすることなく、複数の触覚センサ間で直接転送可能であり、実際のデータに対して正確な予測が得られます。
論文 参考訳（メタデータ） (2020-03-05T14:17:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。