論文の概要: Binding Touch to Everything: Learning Unified Multimodal Tactile
Representations
- arxiv url: http://arxiv.org/abs/2401.18084v1
- Date: Wed, 31 Jan 2024 18:59:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-01 13:30:57.010117
- Title: Binding Touch to Everything: Learning Unified Multimodal Tactile
Representations
- Title(参考訳): あらゆるものへのタッチ:統一されたマルチモーダル触覚表現を学ぶ
- Authors: Fengyu Yang, Chao Feng, Ziyang Chen, Hyoungseob Park, Daniel Wang,
Yiming Dou, Ziyao Zeng, Xien Chen, Rit Gangopadhyay, Andrew Owens, Alex Wong
- Abstract要約: 複数モードに接続された視覚ベースのタッチセンサの統一モデルであるUniTouchを紹介する。
我々は、すでに様々なモダリティに関連付けられている事前訓練済みのイメージ埋め込みに、UniTouchの埋め込みを合わせることで、これを実現する。
さらに、学習可能なセンサ固有のトークンを提案し、不均一な触覚センサの集合からモデルを学習できるようにする。
- 参考スコア(独自算出の注目度): 29.76008953177392
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ability to associate touch with other modalities has huge implications
for humans and computational systems. However, multimodal learning with touch
remains challenging due to the expensive data collection process and
non-standardized sensor outputs. We introduce UniTouch, a unified tactile model
for vision-based touch sensors connected to multiple modalities, including
vision, language, and sound. We achieve this by aligning our UniTouch
embeddings to pretrained image embeddings already associated with a variety of
other modalities. We further propose learnable sensor-specific tokens, allowing
the model to learn from a set of heterogeneous tactile sensors, all at the same
time. UniTouch is capable of conducting various touch sensing tasks in the
zero-shot setting, from robot grasping prediction to touch image question
answering. To the best of our knowledge, UniTouch is the first to demonstrate
such capabilities. Project page: https://cfeng16.github.io/UniTouch/
- Abstract(参考訳): タッチと他のモダリティを関連付ける能力は、人間と計算システムにとって大きな意味を持つ。
しかし、高価なデータ収集プロセスと非標準センサ出力のため、タッチによるマルチモーダル学習は依然として困難である。
視覚,言語,音など複数のモードに接続した視覚ベースのタッチセンサのための統合触覚モデルUniTouchを紹介する。
我々は、既に様々なモダリティに関連付けられている事前訓練済みのイメージ埋め込みにUniTouch埋め込みを合わせることで、これを実現する。
さらに、学習可能なセンサ固有のトークンを提案し、モデルが不均一な触覚センサの集合から同時に学習できるようにする。
UniTouchは、ロボットの把握予測からタッチ画像質問応答まで、さまざまなタッチセンシングタスクをゼロショット設定で実行することができる。
私たちの知る限りでは、UniTouchはそのような機能を最初にデモしました。
プロジェクトページ: https://cfeng16.github.io/UniTouch/
関連論文リスト
- Controllable Visual-Tactile Synthesis [28.03469909285511]
一つのスケッチから視覚と触覚の両方の出力を合成する条件生成モデルを開発した。
次に,電気接着型触覚デバイスに高品質な視覚・触覚出力を描画するパイプラインを導入する。
論文 参考訳(メタデータ) (2023-05-04T17:59:51Z) - Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
人間は触覚と触覚に頼っている。
視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。
本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
論文 参考訳(メタデータ) (2023-03-10T16:27:37Z) - Touch and Go: Learning from Human-Collected Vision and Touch [16.139106833276]
我々はTouch and Goという,視覚と触覚のペアデータを用いたデータセットを提案する。
人間のデータ収集者は触覚センサーを使って自然環境の物体を探査する。
私たちのデータセットは、多数の"野生の"オブジェクトとシーンにまたがっています。
論文 参考訳(メタデータ) (2022-11-22T18:59:32Z) - The Gesture Authoring Space: Authoring Customised Hand Gestures for
Grasping Virtual Objects in Immersive Virtual Environments [81.5101473684021]
本研究は、仮想オブジェクトを現実世界のようにつかむことができる、オブジェクト固有のグリップジェスチャーのためのハンドジェスチャーオーサリングツールを提案する。
提示されたソリューションは、ジェスチャー認識にテンプレートマッチングを使用し、カスタムのカスタマイズされた手の動きを設計および作成するために技術的な知識を必要としない。
本研究は,提案手法を用いて作成したジェスチャーが,ユーザによって他のユーザよりも自然な入力モダリティとして認識されていることを示した。
論文 参考訳(メタデータ) (2022-07-03T18:33:33Z) - Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。
我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。
この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
論文 参考訳(メタデータ) (2021-09-09T16:04:14Z) - Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。
EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。
さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
論文 参考訳(メタデータ) (2021-08-11T03:49:59Z) - PyTouch: A Machine Learning Library for Touch Processing [68.32055581488557]
我々は、タッチセンシング信号の処理に特化した、最初の機械学習ライブラリであるPyTouchを紹介する。
PyTouchはモジュール式で使いやすく、最先端のタッチ処理機能をサービスとして提供するように設計されている。
タッチ検出,スリップ,オブジェクトポーズ推定などのタッチ処理タスクにおいて,触覚センサの実際のデータからPyTouchを評価する。
論文 参考訳(メタデータ) (2021-05-26T18:55:18Z) - OmniTact: A Multi-Directional High Resolution Touch Sensor [109.28703530853542]
既存の触覚センサーは、平らで、感度が小さいか、低解像度の信号のみを提供する。
我々は,多方向高解像度触覚センサOmniTactを紹介する。
我々は,ロボット制御の課題に対して,OmniTactの能力を評価する。
論文 参考訳(メタデータ) (2020-03-16T01:31:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。