論文の概要: Dynamic Modeling of Hand-Object Interactions via Tactile Sensing
- arxiv url: http://arxiv.org/abs/2109.04378v1
- Date: Thu, 9 Sep 2021 16:04:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-10 14:36:19.774759
- Title: Dynamic Modeling of Hand-Object Interactions via Tactile Sensing
- Title（参考訳）: 触覚センシングによる物体間相互作用の動的モデリング
- Authors: Qiang Zhang, Yunzhu Li, Yiyue Luo, Wan Shou, Michael Foshey, Junchi
Yan, Joshua B. Tenenbaum, Wojciech Matusik, Antonio Torralba
- Abstract要約: 本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。
我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。
この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
- 参考スコア（独自算出の注目度）: 133.52375730875696
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tactile sensing is critical for humans to perform everyday tasks. While
significant progress has been made in analyzing object grasping from vision, it
remains unclear how we can utilize tactile sensing to reason about and model
the dynamics of hand-object interactions. In this work, we employ a
high-resolution tactile glove to perform four different interactive activities
on a diversified set of objects. We build our model on a cross-modal learning
framework and generate the labels using a visual processing pipeline to
supervise the tactile model, which can then be used on its own during the test
time. The tactile model aims to predict the 3d locations of both the hand and
the object purely from the touch data by combining a predictive model and a
contrastive learning module. This framework can reason about the interaction
patterns from the tactile data, hallucinate the changes in the environment,
estimate the uncertainty of the prediction, and generalize to unseen objects.
We also provide detailed ablation studies regarding different system designs as
well as visualizations of the predicted trajectories. This work takes a step on
dynamics modeling in hand-object interactions from dense tactile sensing, which
opens the door for future applications in activity learning, human-computer
interactions, and imitation learning for robotics.
- Abstract（参考訳）: 触覚センシングは、人間が日常的なタスクを実行するために重要である。
視覚から物体をつかむことで大きな進歩があったが、触覚を使って手-物体相互作用のダイナミクスを推論しモデル化する方法は、まだ不明である。
本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。
私たちは、クロスモーダルな学習フレームワーク上にモデルを構築し、ビジュアル処理パイプラインを使用してラベルを生成して、触覚モデルを監視します。
触覚モデルは、予測モデルと対照的学習モジュールを組み合わせることにより、手と物体の3次元位置をタッチデータから純粋に予測することを目的としている。
このフレームワークは触覚データからのインタラクションパターンを推論し、環境の変化を暗示し、予測の不確実性を推定し、見えないオブジェクトに一般化することができる。
また、異なるシステム設計に関する詳細なアブレーション研究や、予測された軌道の可視化も提供する。
この研究は、高密度触覚センシングによる手動物体相互作用のダイナミックスモデリングの一歩を踏み出し、活動学習、人間とコンピュータの相互作用、ロボット工学の模倣学習における将来の応用への扉を開く。
関連論文リスト
- Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。
本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
論文 参考訳（メタデータ） (2024-10-15T07:35:51Z) - RoboPack: Learning Tactile-Informed Dynamics Models for Dense Packing [38.97168020979433]
本稿では, 視覚と触覚を組み合わせ, 触覚インフォームド・ダイナミックスモデルを学習することでロボット操作を実現するアプローチを提案する。
提案するフレームワークであるRoboPackは、オブジェクト状態を推定するために、リカレントグラフニューラルネットワークを使用している。
我々は,非包括的操作と密包装作業に対するソフトバブル触覚センサを備えた実ロボットへのアプローチを実証する。
論文 参考訳（メタデータ） (2024-07-01T16:08:37Z) - Novel-view Synthesis and Pose Estimation for Hand-Object Interaction
from Sparse Views [41.50710846018882]
スパースビューから手動物体間相互作用を推定するニューラルレンダリングとポーズ推定システムを提案する。
まず,手や物体の形状や外観を,神経表現と別々に学習する。
オンライン段階では、動的手-物体相互作用を理解するためのレンダリングベースのジョイントモデルフィッティングフレームワークを設計する。
論文 参考訳（メタデータ） (2023-08-22T05:17:41Z) - Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
人間は触覚と触覚に頼っている。
視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。
本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
論文 参考訳（メタデータ） (2023-03-10T16:27:37Z) - Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。
EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。
さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
論文 参考訳（メタデータ） (2021-08-11T03:49:59Z) - 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。
学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
論文 参考訳（メタデータ） (2021-07-08T17:49:37Z) - Learning Intuitive Physics with Multimodal Generative Models [24.342994226226786]
本稿では,視覚と触覚のフィードバックを融合させ,動的シーンにおける物体の動きを予測する枠組みを提案する。
我々は、接触面の高解像度マルチモーダルセンシングを提供する新しいSee-Through-your-Skin(STS)センサを使用します。
物体の静止状態を所定の初期条件から予測するシミュレーションおよび実世界の実験を通じて検証する。
論文 参考訳（メタデータ） (2021-01-12T12:55:53Z) - Model-Based Visual Planning with Self-Supervised Functional Distances [104.83979811803466]
モデルに基づく視覚的目標達成のための自己監視手法を提案する。
私たちのアプローチは、オフラインでラベルなしのデータを使って完全に学習します。
このアプローチは,モデルフリーとモデルベース先行手法の両方で大幅に性能が向上することがわかった。
論文 参考訳（メタデータ） (2020-12-30T23:59:09Z) - Hindsight for Foresight: Unsupervised Structured Dynamics Models from
Physical Interaction [24.72947291987545]
エージェントが世界と対話することを学ぶための鍵となる課題は、オブジェクトの物理的性質を推論することである。
本研究では,ラベルのない3次元点群と画像から直接,ロボットのインタラクションのダイナミクスをモデル化するための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2020-08-02T11:04:49Z) - TactileSGNet: A Spiking Graph Neural Network for Event-based Tactile
Object Recognition [17.37142241982902]
フレキシブルでイベント駆動の電子スキンの新しい進歩は、すぐに人間に似たタッチ認識能力を持つロボットを養うかもしれない。
これらのユニークな特徴は、触覚学習には適さない畳み込み特徴抽出器のような、現在のディープラーニングアプローチをもたらす可能性がある。
イベントベース触覚物体認識のための新しいスパイキンググラフニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2020-08-01T03:35:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。