論文の概要: MuxGel: Simultaneous Dual-Modal Visuo-Tactile Sensing via Spatially Multiplexing and Deep Reconstruction

• arxiv url: http://arxiv.org/abs/2603.09761v1
• Date: Tue, 10 Mar 2026 14:59:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:42.16565
• Title: MuxGel: Simultaneous Dual-Modal Visuo-Tactile Sensing via Spatially Multiplexing and Deep Reconstruction
• Title（参考訳）: MuxGel:空間多重化と深部再建によるデュアルモーダルビズオ触覚同時検出
• Authors: Zhixian Hu, Zhengtong Xu, Sheeraz Athar, Juan Wachs, Yu She,
• Abstract要約: 高忠実度粘性触覚は正確なロボット操作に重要である。 ほとんどの視覚ベースの触覚センサーは、基本的なトレードオフに直面している。 本研究では,空間的多重化センサであるMuxGelを提案する。
• 参考スコア（独自算出の注目度）: 4.238724345383631
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-fidelity visuo-tactile sensing is important for precise robotic manipulation. However, most vision-based tactile sensors face a fundamental trade-off: opaque coatings enable tactile sensing but block pre-contact vision. To address this, we propose MuxGel, a spatially multiplexed sensor that captures both external visual information and contact-induced tactile signals through a single camera. By using a checkerboard coating pattern, MuxGel interleaves tactile-sensitive regions with transparent windows for external vision. This design maintains standard form factors, allowing for plug-and-play integration into GelSight-style sensors by simply replacing the gel pad. To recover full-resolution vision and tactile signals from the multiplexed inputs, we develop a U-Net-based reconstruction framework. Leveraging a sim-to-real pipeline, our model effectively decouples and restores high-fidelity tactile and visual fields simultaneously. Experiments on unseen objects demonstrate the framework's generalization and accuracy. Furthermore, we demonstrate MuxGel's utility in grasping tasks, where dual-modality feedback facilitates both pre-contact alignment and post-contact interaction. Results show that MuxGel enhances the perceptual capabilities of existing vision-based tactile sensors while maintaining compatibility with their hardware stacks. Project webpage: https://zhixianhu.github.io/muxgel/.
• Abstract（参考訳）: 高忠実度粘性触覚は正確なロボット操作に重要である。 しかし、ほとんどの視覚ベースの触覚センサーは基本的なトレードオフに直面している。 そこで本研究では,空間的多重化センサであるMuxGelを提案する。 チェッカーボードのコーティングパターンを使用することで、MuxGelは触覚に敏感な領域を外部視のために透明な窓でインターリーブする。 このデザインは標準のフォームファクタを保持しており、ジェルパッドを交換するだけでGelSightスタイルのセンサーにプラグアンドプレイに統合できる。 マルチプレクサ入力からフル解像度の視覚と触覚信号を復元するために,U-Netベースの再構成フレームワークを開発した。 sim-to-realパイプラインを活用することで,高忠実度触覚と視覚野を効果的に分離し,同時に復元する。 目に見えないオブジェクトの実験は、フレームワークの一般化と正確さを示しています。 さらに,MuxGelのタスク把握における有用性を示す。 その結果,MuxGelはハードウェアスタックとの互換性を維持しつつ,既存の視覚ベースの触覚センサの知覚能力を向上させることがわかった。 プロジェクトWebページ: https://zhixianhu.github.io/muxgel/。

関連論文リスト

• OmniVTA: Visuo-Tactile World Modeling for Contact-Rich Robotic Manipulation [60.609604885961716]
  textbfOmniViTacは,16ドルのタスクと100ドル以上のオブジェクトからなる21,000ドル以上のトラジェクトリからなる大規模ビズオタクティルアクションデータセットである。 我々は4つの密結合モジュールを統合する世界モデルベースのビジュオ触覚操作フレームワークである textbf OmniVTA を提案する。
  論文  参考訳（メタデータ） (2026-03-19T17:52:42Z)
• GelSphere: An Omnidirectional Rolling Vision-Based Tactile Sensor for Online 3D Reconstruction and Normal Force Estimation [2.803505954180182]
  本稿では,球面型触覚センサであるGelSphereについて紹介する。 従来の視覚ベースの触覚センサーは、局所的にしか感知できず、表面を横切ると損傷を受けます。 センサーはWi-Fi経由で触覚画像をストリームする。
  論文  参考訳（メタデータ） (2026-03-14T20:22:52Z)
• Touch in the Wild: Learning Fine-Grained Manipulation with a Portable Visuo-Tactile Gripper [7.618517580705364]
  触覚センサーを内蔵した携帯型軽量グリップについて述べる。 視覚信号と触覚信号を統合するクロスモーダル表現学習フレームワークを提案する。 試験管挿入や管状流体移動などの細粒度タスクに対する本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2025-07-20T17:53:59Z)
• ControlTac: Force- and Position-Controlled Tactile Data Augmentation with a Single Reference Image [24.223013595239916]
  ControlTacは、単一の参照触覚画像、接触力、接触位置に条件付けされたリアルな触覚画像を生成する、制御可能なフレームワークである。 ControlTacは、触覚データセットを効果的に拡張し、一貫したゲインにつながることを実証します。
  論文  参考訳（メタデータ） (2025-05-26T20:01:17Z)
• Multimodal and Force-Matched Imitation Learning with a See-Through Visuotactile Sensor [14.492202828369127]
  我々は、模倣学習(IL)の枠組みの中でマルチモーダル・ビゾタクタクタブル・センサを活用して、コンタクトリッチなタスクを実行する。 本稿では,IL改善のための補完手法として,触覚力マッチングと学習モード切替という2つのアルゴリズム的貢献を紹介する。 以上の結果から, 力の一致が平均政策成功率62.5%, ビズオタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタク
  論文  参考訳（メタデータ） (2023-11-02T14:02:42Z)
• Controllable Visual-Tactile Synthesis [28.03469909285511]
  一つのスケッチから視覚と触覚の両方の出力を合成する条件生成モデルを開発した。 次に,電気接着型触覚デバイスに高品質な視覚・触覚出力を描画するパイプラインを導入する。
  論文  参考訳（メタデータ） (2023-05-04T17:59:51Z)
• Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
  人間は触覚と触覚に頼っている。 視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。 本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
  論文  参考訳（メタデータ） (2023-03-10T16:27:37Z)
• Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
  触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。 EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。 さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-11T03:49:59Z)
• OmniTact: A Multi-Directional High Resolution Touch Sensor [109.28703530853542]
  既存の触覚センサーは、平らで、感度が小さいか、低解像度の信号のみを提供する。 我々は,多方向高解像度触覚センサOmniTactを紹介する。 我々は,ロボット制御の課題に対して,OmniTactの能力を評価する。
  論文  参考訳（メタデータ） (2020-03-16T01:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。