論文の概要: Binding Touch to Everything: Learning Unified Multimodal Tactile
Representations
- arxiv url: http://arxiv.org/abs/2401.18084v1
- Date: Wed, 31 Jan 2024 18:59:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-01 13:30:57.010117
- Title: Binding Touch to Everything: Learning Unified Multimodal Tactile
Representations
- Title(参考訳): あらゆるものへのタッチ:統一されたマルチモーダル触覚表現を学ぶ
- Authors: Fengyu Yang, Chao Feng, Ziyang Chen, Hyoungseob Park, Daniel Wang,
Yiming Dou, Ziyao Zeng, Xien Chen, Rit Gangopadhyay, Andrew Owens, Alex Wong
- Abstract要約: 複数モードに接続された視覚ベースのタッチセンサの統一モデルであるUniTouchを紹介する。
我々は、すでに様々なモダリティに関連付けられている事前訓練済みのイメージ埋め込みに、UniTouchの埋め込みを合わせることで、これを実現する。
さらに、学習可能なセンサ固有のトークンを提案し、不均一な触覚センサの集合からモデルを学習できるようにする。
- 参考スコア(独自算出の注目度): 29.76008953177392
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ability to associate touch with other modalities has huge implications
for humans and computational systems. However, multimodal learning with touch
remains challenging due to the expensive data collection process and
non-standardized sensor outputs. We introduce UniTouch, a unified tactile model
for vision-based touch sensors connected to multiple modalities, including
vision, language, and sound. We achieve this by aligning our UniTouch
embeddings to pretrained image embeddings already associated with a variety of
other modalities. We further propose learnable sensor-specific tokens, allowing
the model to learn from a set of heterogeneous tactile sensors, all at the same
time. UniTouch is capable of conducting various touch sensing tasks in the
zero-shot setting, from robot grasping prediction to touch image question
answering. To the best of our knowledge, UniTouch is the first to demonstrate
such capabilities. Project page: https://cfeng16.github.io/UniTouch/
- Abstract(参考訳): タッチと他のモダリティを関連付ける能力は、人間と計算システムにとって大きな意味を持つ。
しかし、高価なデータ収集プロセスと非標準センサ出力のため、タッチによるマルチモーダル学習は依然として困難である。
視覚,言語,音など複数のモードに接続した視覚ベースのタッチセンサのための統合触覚モデルUniTouchを紹介する。
我々は、既に様々なモダリティに関連付けられている事前訓練済みのイメージ埋め込みにUniTouch埋め込みを合わせることで、これを実現する。
さらに、学習可能なセンサ固有のトークンを提案し、モデルが不均一な触覚センサの集合から同時に学習できるようにする。
UniTouchは、ロボットの把握予測からタッチ画像質問応答まで、さまざまなタッチセンシングタスクをゼロショット設定で実行することができる。
私たちの知る限りでは、UniTouchはそのような機能を最初にデモしました。
プロジェクトページ: https://cfeng16.github.io/UniTouch/
関連論文リスト
- Digitizing Touch with an Artificial Multimodal Fingertip [51.7029315337739]
人間とロボットはどちらも、周囲の環境を知覚し、相互作用するためにタッチを使うことの恩恵を受ける。
ここでは、タッチのデジタル化を改善するための概念的および技術革新について述べる。
これらの進歩は、高度なセンシング機能を備えた人工指型センサーに具現化されている。
論文 参考訳(メタデータ) (2024-11-04T18:38:50Z) - Learning Visuotactile Skills with Two Multifingered Hands [80.99370364907278]
マルチフィンガーハンドとバイソタクティブルデータを用いたバイマニアルシステムを用いて,人間の実演からの学習を探索する。
以上の結果から,バイスオタクティブルデータからの両指多指操作における有望な進歩が示唆された。
論文 参考訳(メタデータ) (2024-04-25T17:59:41Z) - PseudoTouch: Efficiently Imaging the Surface Feel of Objects for Robotic Manipulation [8.997347199266592]
私たちの目標は、ロボットに同じような能力を持たせることです。
我々はこの問題を,低次元視覚触覚埋め込み学習のタスクとして捉えている。
ReSkinを使って、アライメントされた触覚と視覚データペアからなるデータセット上でPseudoTouchを収集し、トレーニングします。
我々はPseudoTouchの有効性を、物体認識と把握安定性予測という2つの下流タスクに適用することで実証する。
論文 参考訳(メタデータ) (2024-03-22T10:51:31Z) - Controllable Visual-Tactile Synthesis [28.03469909285511]
一つのスケッチから視覚と触覚の両方の出力を合成する条件生成モデルを開発した。
次に,電気接着型触覚デバイスに高品質な視覚・触覚出力を描画するパイプラインを導入する。
論文 参考訳(メタデータ) (2023-05-04T17:59:51Z) - Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
人間は触覚と触覚に頼っている。
視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。
本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
論文 参考訳(メタデータ) (2023-03-10T16:27:37Z) - Touch and Go: Learning from Human-Collected Vision and Touch [16.139106833276]
我々はTouch and Goという,視覚と触覚のペアデータを用いたデータセットを提案する。
人間のデータ収集者は触覚センサーを使って自然環境の物体を探査する。
私たちのデータセットは、多数の"野生の"オブジェクトとシーンにまたがっています。
論文 参考訳(メタデータ) (2022-11-22T18:59:32Z) - Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。
EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。
さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
論文 参考訳(メタデータ) (2021-08-11T03:49:59Z) - PyTouch: A Machine Learning Library for Touch Processing [68.32055581488557]
我々は、タッチセンシング信号の処理に特化した、最初の機械学習ライブラリであるPyTouchを紹介する。
PyTouchはモジュール式で使いやすく、最先端のタッチ処理機能をサービスとして提供するように設計されている。
タッチ検出,スリップ,オブジェクトポーズ推定などのタッチ処理タスクにおいて,触覚センサの実際のデータからPyTouchを評価する。
論文 参考訳(メタデータ) (2021-05-26T18:55:18Z) - OmniTact: A Multi-Directional High Resolution Touch Sensor [109.28703530853542]
既存の触覚センサーは、平らで、感度が小さいか、低解像度の信号のみを提供する。
我々は,多方向高解像度触覚センサOmniTactを紹介する。
我々は,ロボット制御の課題に対して,OmniTactの能力を評価する。
論文 参考訳(メタデータ) (2020-03-16T01:31:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。