論文の概要: Temporal Visuo-Tactile Learning for Dexterous Grasp Stability
- arxiv url: http://arxiv.org/abs/2610.10283v1
- Date: Wed, 07 Oct 2026 15:48:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:23.012862
- Title: Temporal Visuo-Tactile Learning for Dexterous Grasp Stability
- Title（参考訳）: 軸索安定度に対する時間的ビジュオ触覚学習
- Abstract要約: 本研究では,高分解能でダイナミックな触覚感が,ロボットハンドの安定性予測とモデル誘導の把握にどのように寄与するかを検討する。
Digit 360の触覚センサーを4つ搭載した多指ロボットハンドを用いて,200オブジェクトにわたる1万件のグリップトライアルのデータセットを収集した。
我々は,前後の時間的マルチモーダルモデルを訓練し,プレリフトグリーティング観測からリフト後の安定性を予測し,センシングモードとバックボーンの符号化を比較した。
- 参考スコア（独自算出の注目度）: 1.9710344458155555
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans can grasp everyday objects with almost perfect success rates using fingertip tactile feedback, yet much of the robotic grasping literature emphasizes vision-based grasp selection with parallel grippers. In this work, we systematically investigate how high-resolution, dynamic tactile sensing contributes to grasp stability prediction and model-guided grasping in dexterous robotic hands. To this end, we collected a dataset of 10,000 grasp trials across 200 objects using a multi-fingered robotic hand equipped with four Digit 360 tactile sensors, recording external vision, proprioception, and tactile streams throughout each grasp. With this dataset, we trained end-to-end temporal multimodal models to predict post-lift stability from pre-lift grasp observations and compared sensing modalities and encoding backbones. Experimental results and controlled input ablations show that incorporating touch, and particularly high-resolution, dynamic touch, improves grasp stability prediction. Finally, we deployed the learned predictor as an online stability gate on the real robot, where visuo-tactile model-guided regrasping improved the success rate among executed lifts by 10.5 percentage points over a non-tactile gate. These results show how rich fingertip sensing and expressive temporal models that capture the dynamics of touch can support learned grasping with multi-fingered hands without explicit contact or force modeling, providing a scalable data-driven path from tactile experience toward stable dexterous manipulation. The dataset is publicly available at https://lasr-lab.github.io/dexterous-grasp-stability/.
- Abstract（参考訳）: 人間は指先触覚フィードバックを使って日常の物体をほぼ完璧な成功率で把握することができるが、ロボットの把握文献の多くは、平行グリップによる視覚ベースのグリップ選択を強調している。
本研究では,高分解能でダイナミックな触覚感が,ロボットハンドの安定性の予測とモデル誘導の把握にどのように寄与するかを系統的に検討する。
この目的のために,4つのDigit 360触覚センサを備えた多指ロボットハンドを用いて,200個の物体にまたがる1万件の把握試験のデータセットを収集した。
このデータセットを用いて,前後の時間的マルチモーダルモデルを訓練し,プレリフトグリーティング観測からリフト後の安定性を予測し,センシングモードとバックボーンの符号化を比較した。
実験結果と制御された入力アブリゲーションにより,特に高解像度の動的タッチを取り入れることで,把握安定性の予測が向上した。
最後に、実ロボット上で学習した予測器をオンライン安定ゲートとして配置し、ビジュオ触覚モデル誘導移植により、非触覚ゲート上でのリフト成功率を10.5ポイント向上させた。
これらの結果は,触覚のダイナミックスを捉えたリッチな指先知覚と表現型時間モデルが,触覚経験から安定な触覚操作へのスケーラブルなデータ駆動経路を提供するために,多指ハンドによる学習学習を支援することを示す。
データセットはhttps://lasr-lab.github.io/dexterous-grasp-stability/で公開されている。
関連論文リスト
- TouchScale: 500 Hours of Human Vision and Touch for Visual-Tactile Learning [103.68709128626244]
我々は、単一の統一ウェアラブルセットアップで記録されたコンタクトリッチなヒューマンインタラクションのデータセットであるTouchScaleを紹介した。
TouchScaleのトレーニングでは、目に見えない触覚センサからのデータから、ゼロショットコンタクトIoUが0.134から0.383に上昇する。
TouchScaleは、4つのコンタクトリッチな操作タスクの平均的な実世界の成功率を22.5%から57.5%に改善している。
論文 参考訳（メタデータ） (2026-10-07T15:49:41Z) - Bench2Dex: Benchmarking Visuo-Tactile Bimanual Dexterous Manipulation Across Dexterous Hands [99.00248904465089]
指の構造、接触面、センサーレイアウトが異なる。
本報告では,12手にわたるバイスオタクティルバイマニュアル操作のシミュレーションベンチマークであるBench2Dexについて述べる。
論文 参考訳（メタデータ） (2026-09-14T15:22:59Z) - AdaDexGrasp: Adaptive Dexterous Grasping via 3D Visuo-Tactile Representation Fusion [60.79507611737292]
人間は視覚知覚と触覚フィードバックをシームレスに統合することで、安定的で適応的な把握を実現する。
既存のロボットグルーピングアプローチは、視覚入力と接触後の触覚誘導適応機構の欠如に依存している。
本稿では, 把握生成, 実現可能性予測, 適応的改善を統合した統合型ビジュオタクティル・フュージョン・グリーティング・フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-06T16:29:11Z) - T-Rex: Tactile-Reactive Dexterous Manipulation [139.71263755530654]
本稿では,新しい時相触覚VQ-VAEエンコーダを備えた可変レートMixture-of-Transformers (MoT)アーキテクチャを提案する。
微妙な力制御と変形可能な物体操作を必要とする12の操作課題に対して,触覚反応が有効であることを示す。
論文 参考訳（メタデータ） (2026-06-15T17:59:55Z) - Grasp Like Humans: Learning Generalizable Multi-Fingered Grasping from Human Proprioceptive Sensorimotor Integration [26.351720551267846]
触覚と審美的知覚は、人間の器用な操作に欠かせないものであり、感覚運動器統合による物体の確実な把握を可能にしている。
本研究では,人間の直感的・自然な操作から模倣学習に基づくロボット実行へのスキル伝達を把握するための,新しい手袋による触覚的知覚予測フレームワークを提案する。
論文 参考訳（メタデータ） (2025-09-10T07:44:12Z) - Learning Gentle Grasping Using Vision, Sound, and Touch [4.482495915731277]
本稿では,視覚的,触覚的,聴覚的信号を用いて物体を安定かつ優雅に把握・再生することを提案する。
把握時の優しさの指標として音声信号を使用し、生のビジュオ触覚入力から行動条件モデルを訓練する。
1500以上の握力試験を多指ハンドで行った実験結果から,本モデルは柔らかい握力に有用であることが判明した。
論文 参考訳（メタデータ） (2025-03-11T00:12:25Z) - Capturing complex hand movements and object interactions using machine learning-powered stretchable smart textile gloves [9.838013581109681]
手の動きをリアルタイムに追跡することは、人間とコンピュータの相互作用、メタバース、ロボット工学、遠隔医療に多くの応用がある。
そこで本研究では, 伸縮性, 洗浄性を有するスマートグローブ, ヘリカルセンサ糸, 慣性測定ユニットを用いた手指運動の高精度かつダイナミックな追跡を報告する。
センサ糸は高いダイナミックレンジを有し, 0.005 %の低い155 %のひずみに応答し, 広範囲の使用および洗浄サイクルの安定性を示す。
論文 参考訳（メタデータ） (2024-10-03T05:32:16Z) - Leveraging distributed contact force measurements for slip detection: a
physics-based approach enabled by a data-driven tactile sensor [5.027571997864706]
本稿では,新たなモデルに基づくスリップ検出パイプラインについて述べる。
分散力を正確に推定する視覚ベースの触覚センサを、6自由度コボットと2フィンガーグリップパーからなる把握装置に統合した。
その結果, 形状, 材料, 重量の異なる物体を操作しながら, スリップを確実に予測できることがわかった。
論文 参考訳（メタデータ） (2021-09-23T17:12:46Z) - Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。
我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。
この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
論文 参考訳（メタデータ） (2021-09-09T16:04:14Z) - The Feeling of Success: Does Touch Sensing Help Predict Grasp Outcomes? [57.366931129764815]
両指にGelSight高解像度触覚センサを装着した2本指グリップを用いて,9000以上の握力試験を行った。
実験結果から,触覚を取り入れることで把握性能が著しく向上することが示唆された。
論文 参考訳（メタデータ） (2017-10-16T05:32:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。