論文の概要: MuxGel: Simultaneous Dual-Modal Visuo-Tactile Sensing via Spatially Multiplexing and Deep Reconstruction

• arxiv url: http://arxiv.org/abs/2603.09761v1
• Date: Tue, 10 Mar 2026 14:59:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:42.16565
• Title: MuxGel: Simultaneous Dual-Modal Visuo-Tactile Sensing via Spatially Multiplexing and Deep Reconstruction
• Title（参考訳）: MuxGel:空間多重化と深部再建によるデュアルモーダルビズオ触覚同時検出
• Abstract要約: 高忠実度粘性触覚は正確なロボット操作に重要である。 ほとんどの視覚ベースの触覚センサーは、基本的なトレードオフに直面している。 本研究では,空間的多重化センサであるMuxGelを提案する。
• 参考スコア（独自算出の注目度）: 4.238724345383631
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-fidelity visuo-tactile sensing is important for precise robotic manipulation. However, most vision-based tactile sensors face a fundamental trade-off: opaque coatings enable tactile sensing but block pre-contact vision. To address this, we propose MuxGel, a spatially multiplexed sensor that captures both external visual information and contact-induced tactile signals through a single camera. By using a checkerboard coating pattern, MuxGel interleaves tactile-sensitive regions with transparent windows for external vision. This design maintains standard form factors, allowing for plug-and-play integration into GelSight-style sensors by simply replacing the gel pad. To recover full-resolution vision and tactile signals from the multiplexed inputs, we develop a U-Net-based reconstruction framework. Leveraging a sim-to-real pipeline, our model effectively decouples and restores high-fidelity tactile and visual fields simultaneously. Experiments on unseen objects demonstrate the framework's generalization and accuracy. Furthermore, we demonstrate MuxGel's utility in grasping tasks, where dual-modality feedback facilitates both pre-contact alignment and post-contact interaction. Results show that MuxGel enhances the perceptual capabilities of existing vision-based tactile sensors while maintaining compatibility with their hardware stacks. Project webpage: https://zhixianhu.github.io/muxgel/.
• Abstract（参考訳）: 高忠実度粘性触覚は正確なロボット操作に重要である。 しかし、ほとんどの視覚ベースの触覚センサーは基本的なトレードオフに直面している。 そこで本研究では,空間的多重化センサであるMuxGelを提案する。 チェッカーボードのコーティングパターンを使用することで、MuxGelは触覚に敏感な領域を外部視のために透明な窓でインターリーブする。 このデザインは標準のフォームファクタを保持しており、ジェルパッドを交換するだけでGelSightスタイルのセンサーにプラグアンドプレイに統合できる。 マルチプレクサ入力からフル解像度の視覚と触覚信号を復元するために,U-Netベースの再構成フレームワークを開発した。 sim-to-realパイプラインを活用することで,高忠実度触覚と視覚野を効果的に分離し,同時に復元する。 目に見えないオブジェクトの実験は、フレームワークの一般化と正確さを示しています。 さらに,MuxGelのタスク把握における有用性を示す。 その結果,MuxGelはハードウェアスタックとの互換性を維持しつつ,既存の視覚ベースの触覚センサの知覚能力を向上させることがわかった。 プロジェクトWebページ: https://zhixianhu.github.io/muxgel/。

関連論文リスト

• Bench2Dex: Benchmarking Visuo-Tactile Bimanual Dexterous Manipulation Across Dexterous Hands [99.00248904465089]
  指の構造、接触面、センサーレイアウトが異なる。 本報告では,12手にわたるバイスオタクティルバイマニュアル操作のシミュレーションベンチマークであるBench2Dexについて述べる。
  論文  参考訳（メタデータ） (2026-09-14T15:22:59Z)
• FELT: Generating Tactile Signals from Vision for Visuo-Tactile Manipulation [19.661583133282477]
  RGB観測から指ごとの圧力触覚画像を合成する学習フレームワークであるFeature-Extracted Latent Tactile (FELT)を提案する。 FELTは、大きな凍結されたビジュアルエンコーダと軽量なクエリデコーダを使用して、単一のフィードフォワードパスで触覚信号を予測する。 4つの接触リッチな操作タスクの実験は、生成した触覚画像と潜伏した触覚特徴の両方がポリシーの成功を改善することを示した。
  論文  参考訳（メタデータ） (2026-07-22T19:32:42Z)
• TactX: Learning Shared Tactile Representations Across Diverse Sensors [18.127088232068456]
  本稿では,センサ間の触覚表現を伝達可能なフレームワークであるTactXを提案する。 TactXは、対の接触データに基づいて訓練されたモダリティ固有のエンコーダを通して、異質な触覚観測を共有潜在空間にマッピングする。 実験によると、TactXはオブジェクトレベルの接触情報を保存しながら、センサー間で触覚表現を調整している。
  論文  参考訳（メタデータ） (2026-06-30T07:09:40Z)
• Seeing Touch from Motion: A Unified Modality-Aware Visuo-Tactile Policy with Tactile Motion Correlation [74.87716678195099]
  光触覚センサーを利用した視覚触覚ポリシーは、コンタクトリッチな操作において大きな可能性を秘めている。 これらの利点にもかかわらず、接触リッチな操作に必要なきめ細かい接触状態の抽出は未解決の課題である。 本研究では,触覚を触覚で認識し,触覚を触覚で表現する手法を提案する。
  論文  参考訳（メタデータ） (2026-06-29T08:20:18Z)
• TouchThinker: Scaling Tactile Commonsense Reasoning to the Open World with Large-scale Data and Action-aware Representation [50.608989079323784]
  データと表現の両方の観点から,触覚コモンセンス推論をオープンワールドに拡張する触覚言語フレームワークであるTouchThinkerを提案する。 まず,Textbf415オブジェクト, textbf8シナリオ, textbf7センサタイプをカバーする,100万規模のマルチソース触覚推論データセットであるTouchThinker-1Mを構築した。 そこで本研究では,触覚表現効率を向上し,効率的な推論を可能にする行動認識モデリング機構を提案する。
  論文  参考訳（メタデータ） (2026-06-10T03:58:32Z)
• FingerEye: Continuous and Unified Vision-Tactile Sensing for Dexterous Manipulation [8.809778152652724]
  有害なロボット操作は、あらゆる段階の相互作用を包括的に知覚する必要がある。 我々は,対話プロセスを通じて連続的な視覚触覚フィードバックを提供する,コンパクトで費用効率のよいセンサであるFingerEyeを紹介する。 我々は、複数のFingerEyeセンサーからの信号を融合して、限られた実世界のデータから巧妙な操作行動を学習する視覚触覚模倣学習ポリシーを開発した。
  論文  参考訳（メタデータ） (2026-04-22T15:37:34Z)
• OmniVTA: Visuo-Tactile World Modeling for Contact-Rich Robotic Manipulation [60.609604885961716]
  textbfOmniViTacは,16ドルのタスクと100ドル以上のオブジェクトからなる21,000ドル以上のトラジェクトリからなる大規模ビズオタクティルアクションデータセットである。 我々は4つの密結合モジュールを統合する世界モデルベースのビジュオ触覚操作フレームワークである textbf OmniVTA を提案する。
  論文  参考訳（メタデータ） (2026-03-19T17:52:42Z)
• GelSphere: An Omnidirectional Rolling Vision-Based Tactile Sensor for Online 3D Reconstruction and Normal Force Estimation [2.803505954180182]
  本稿では,球面型触覚センサであるGelSphereについて紹介する。 従来の視覚ベースの触覚センサーは、局所的にしか感知できず、表面を横切ると損傷を受けます。 センサーはWi-Fi経由で触覚画像をストリームする。
  論文  参考訳（メタデータ） (2026-03-14T20:22:52Z)
• Touch in the Wild: Learning Fine-Grained Manipulation with a Portable Visuo-Tactile Gripper [7.618517580705364]
  触覚センサーを内蔵した携帯型軽量グリップについて述べる。 視覚信号と触覚信号を統合するクロスモーダル表現学習フレームワークを提案する。 試験管挿入や管状流体移動などの細粒度タスクに対する本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2025-07-20T17:53:59Z)
• ControlTac: Force- and Position-Controlled Tactile Data Augmentation with a Single Reference Image [24.223013595239916]
  ControlTacは、単一の参照触覚画像、接触力、接触位置に条件付けされたリアルな触覚画像を生成する、制御可能なフレームワークである。 ControlTacは、触覚データセットを効果的に拡張し、一貫したゲインにつながることを実証します。
  論文  参考訳（メタデータ） (2025-05-26T20:01:17Z)
• Multimodal and Force-Matched Imitation Learning with a See-Through Visuotactile Sensor [14.492202828369127]
  我々は、模倣学習(IL)の枠組みの中でマルチモーダル・ビゾタクタクタブル・センサを活用して、コンタクトリッチなタスクを実行する。 本稿では,IL改善のための補完手法として,触覚力マッチングと学習モード切替という2つのアルゴリズム的貢献を紹介する。 以上の結果から, 力の一致が平均政策成功率62.5%, ビズオタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタク
  論文  参考訳（メタデータ） (2023-11-02T14:02:42Z)
• Controllable Visual-Tactile Synthesis [28.03469909285511]
  一つのスケッチから視覚と触覚の両方の出力を合成する条件生成モデルを開発した。 次に,電気接着型触覚デバイスに高品質な視覚・触覚出力を描画するパイプラインを導入する。
  論文  参考訳（メタデータ） (2023-05-04T17:59:51Z)
• Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
  人間は触覚と触覚に頼っている。 視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。 本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
  論文  参考訳（メタデータ） (2023-03-10T16:27:37Z)
• Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
  触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。 EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。 さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-11T03:49:59Z)
• OmniTact: A Multi-Directional High Resolution Touch Sensor [109.28703530853542]
  既存の触覚センサーは、平らで、感度が小さいか、低解像度の信号のみを提供する。 我々は,多方向高解像度触覚センサOmniTactを紹介する。 我々は,ロボット制御の課題に対して,OmniTactの能力を評価する。
  論文  参考訳（メタデータ） (2020-03-16T01:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。