論文の概要: Touch in the Wild: Learning Fine-Grained Manipulation with a Portable Visuo-Tactile Gripper
- arxiv url: http://arxiv.org/abs/2507.15062v1
- Date: Sun, 20 Jul 2025 17:53:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-22 20:51:32.176058
- Title: Touch in the Wild: Learning Fine-Grained Manipulation with a Portable Visuo-Tactile Gripper
- Title（参考訳）: タッチ・イン・ザ・ワイルド:携帯型ビジュオ触覚グリパーによる微粒マニピュレーションの学習
- Authors: Xinyue Zhu, Binghao Huang, Yunzhu Li,
- Abstract要約: 触覚センサーを内蔵した携帯型軽量グリップについて述べる。
視覚信号と触覚信号を統合するクロスモーダル表現学習フレームワークを提案する。
試験管挿入や管状流体移動などの細粒度タスクに対する本手法の有効性を検証した。
- 参考スコア（独自算出の注目度）: 7.618517580705364
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Handheld grippers are increasingly used to collect human demonstrations due to their ease of deployment and versatility. However, most existing designs lack tactile sensing, despite the critical role of tactile feedback in precise manipulation. We present a portable, lightweight gripper with integrated tactile sensors that enables synchronized collection of visual and tactile data in diverse, real-world, and in-the-wild settings. Building on this hardware, we propose a cross-modal representation learning framework that integrates visual and tactile signals while preserving their distinct characteristics. The learning procedure allows the emergence of interpretable representations that consistently focus on contacting regions relevant for physical interactions. When used for downstream manipulation tasks, these representations enable more efficient and effective policy learning, supporting precise robotic manipulation based on multimodal feedback. We validate our approach on fine-grained tasks such as test tube insertion and pipette-based fluid transfer, demonstrating improved accuracy and robustness under external disturbances. Our project page is available at https://binghao-huang.github.io/touch_in_the_wild/ .
- Abstract（参考訳）: ハンドヘルドグリップは、展開の容易さと汎用性のために、人間のデモの収集にますます使われています。
しかし、既存の設計のほとんどは触覚センサーを欠いているが、正確な操作において触覚フィードバックが重要な役割を担っている。
本稿では,触覚センサを内蔵した携帯型軽量グリップについて述べる。
本ハードウェア上に構築するクロスモーダル表現学習フレームワークを提案する。
学習手順は、物理的相互作用に関連する接触領域に一貫してフォーカスする解釈可能な表現の出現を可能にする。
下流操作タスクに使用する場合、これらの表現はより効率的で効果的なポリシー学習を可能にし、マルチモーダルフィードバックに基づく正確なロボット操作を支援する。
試験管挿入や管状流体伝達などの細粒度タスクに対する本手法の有効性を検証し,外乱下での精度と堅牢性の向上を実証した。
私たちのプロジェクトページはhttps://binghao-huang.github.io/touch_in_the_wild/で公開されています。
関連論文リスト
- 3D-ViTac: Learning Fine-Grained Manipulation with Visuo-Tactile Sensing [18.189782619503074]
本稿では,ロボットのためのマルチモーダルセンシング学習システムであるtextbf3D-ViTacを紹介する。
このシステムは、高密度センシングユニットを備えた触覚センサーを備えており、それぞれが3$mm2$の面積をカバーしている。
低コストのロボットでも精密な操作が可能であり、視覚のみのポリシーよりもはるかに優れていることを示す。
論文 参考訳（メタデータ） (2024-10-31T16:22:53Z) - Learning Visuotactile Skills with Two Multifingered Hands [80.99370364907278]
マルチフィンガーハンドとバイソタクティブルデータを用いたバイマニアルシステムを用いて,人間の実演からの学習を探索する。
以上の結果から,バイスオタクティブルデータからの両指多指操作における有望な進歩が示唆された。
論文 参考訳（メタデータ） (2024-04-25T17:59:41Z) - Robot Synesthesia: In-Hand Manipulation with Visuotactile Sensing [15.970078821894758]
視覚的・触覚的な感覚入力を活用して手動操作を可能にするシステムを提案する。
ロボット・シンセシス(Robot Synesthesia)は、人間の触覚と視覚の合成にインスパイアされた、新しい点の雲に基づく触覚表現である。
論文 参考訳（メタデータ） (2023-12-04T12:35:43Z) - Multimodal and Force-Matched Imitation Learning with a See-Through Visuotactile Sensor [14.492202828369127]
我々は、模倣学習(IL)の枠組みの中でマルチモーダル・ビゾタクタクタブル・センサを活用して、コンタクトリッチなタスクを実行する。
本稿では,IL改善のための補完手法として,触覚力マッチングと学習モード切替という2つのアルゴリズム的貢献を紹介する。
以上の結果から, 力の一致が平均政策成功率62.5%, ビズオタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタク
論文 参考訳（メタデータ） (2023-11-02T14:02:42Z) - The Power of the Senses: Generalizable Manipulation from Vision and
Touch through Masked Multimodal Learning [60.91637862768949]
強化学習環境における視覚的・触覚的情報を融合するためのマスク付きマルチモーダル学習(M3L)を提案する。
M3Lは、マスク付きオートエンコーディングに基づいて、ポリシーと視覚触覚表現を学習する。
視覚と触覚の両方の観察を行い、3つの模擬環境におけるM3Lの評価を行った。
論文 参考訳（メタデータ） (2023-11-02T01:33:00Z) - Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
人間は触覚と触覚に頼っている。
視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。
本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
論文 参考訳（メタデータ） (2023-03-10T16:27:37Z) - Visual-Tactile Multimodality for Following Deformable Linear Objects
Using Reinforcement Learning [15.758583731036007]
本稿では,視覚と触覚入力を併用して変形可能な線形物体を追従するタスクを完遂する問題について検討する。
我々は,異なる感覚モーダルを用いた強化学習エージェントを作成し,その動作をどのように促進するかを検討する。
実験の結果,視覚入力と触覚入力の両方を使用することで,最大92%の症例で作業が完了することがわかった。
論文 参考訳（メタデータ） (2022-03-31T21:59:08Z) - Learning to Detect Slip with Barometric Tactile Sensors and a Temporal
Convolutional Neural Network [7.346580429118843]
本研究では,バロメトリック・触覚センサを用いたスリップ検出手法を提案する。
我々は、スリップを検出するために時間畳み込みニューラルネットワークを訓練し、高い検出精度を実現する。
データ駆動学習と組み合わせたバロメトリック触覚センシング技術は,スリップ補償などの操作作業に適している,と我々は主張する。
論文 参考訳（メタデータ） (2022-02-19T08:21:56Z) - Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。
我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。
この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
論文 参考訳（メタデータ） (2021-09-09T16:04:14Z) - Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。
EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。
さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
論文 参考訳（メタデータ） (2021-08-11T03:49:59Z) - Under Pressure: Learning to Detect Slip with Barometric Tactile Sensors [7.35805050004643]
本稿では,バロメトリック触覚センサを用いたスリップ検出法を提案する。
我々は91%以上のスリップ検出精度を達成することができる。
バロメトリック触覚センシング技術とデータ駆動学習の組み合わせは、多くの複雑な操作タスクに適しています。
論文 参考訳（メタデータ） (2021-03-24T19:29:03Z) - Visual Imitation Made Easy [102.36509665008732]
本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。
我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。
我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
論文 参考訳（メタデータ） (2020-08-11T17:58:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。