論文の概要: Tacmap: Bridging the Tactile Sim-to-Real Gap via Geometry-Consistent Penetration Depth Map
- arxiv url: http://arxiv.org/abs/2602.21625v1
- Date: Wed, 25 Feb 2026 06:40:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-23 08:17:41.697735
- Title: Tacmap: Bridging the Tactile Sim-to-Real Gap via Geometry-Consistent Penetration Depth Map
- Title(参考訳): Tacmap:Geometry-Consistent Peretration Depth Mapによる触覚とリアルギャップのブリッジ
- Authors: Lei Su, Zhijie Peng, Renyuan Ren, Shengping Mao, Juan Du, Kaifeng Zhang, Xuezhou Zhu,
- Abstract要約: 視覚に基づく触覚センサは、器用なロボット操作を実現するのに不可欠である。
現在の触覚シミュレーションは永続的なジレンマに悩まされている。
浸透深度に固定された高忠実で計算効率の良い触覚シミュレーションフレームワークであるTacmapを提案する。
- 参考スコア(独自算出の注目度): 4.188018133636475
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Based Tactile Sensors (VBTS) are essential for achieving dexterous robotic manipulation, yet the tactile sim-to-real gap remains a fundamental bottleneck. Current tactile simulations suffer from a persistent dilemma: simplified geometric projections lack physical authenticity, while high-fidelity Finite Element Methods (FEM) are too computationally prohibitive for large-scale reinforcement learning. In this work, we present Tacmap, a high-fidelity, computationally efficient tactile simulation framework anchored in volumetric penetration depth. Our key insight is to bridge the tactile sim-to-real gap by unifying both domains through a shared deform map representation. Specifically, we compute 3D intersection volumes as depth maps in simulation, while in the real world, we employ an automated data-collection rig to learn a robust mapping from raw tactile images to ground-truth depth maps. By aligning simulation and real-world in this unified geometric space, Tacmap minimizes domain shift while maintaining physical consistency. Quantitative evaluations across diverse contact scenarios demonstrate that Tacmap's deform maps closely mirror real-world measurements. Moreover, we validate the utility of Tacmap through an in-hand rotation task, where a policy trained exclusively in simulation achieves zero-shot transfer to a physical robot.
- Abstract(参考訳): 視覚に基づく触覚センサ(VBTS)は、器用なロボット操作を実現するのに不可欠だが、触覚と現実のギャップは依然として根本的ボトルネックである。
現在の触覚シミュレーションは永続性ジレンマに悩まされている: 単純な幾何学的射影は物理的信頼性を欠いているが、高忠実有限要素法(FEM)は大規模強化学習では計算が不可能すぎる。
本研究では,高忠実で計算効率のよい触覚シミュレーションフレームワークであるTacmapについて述べる。
我々の重要な洞察は、両ドメインを共有デフォルムマップ表現で統一することで、触覚と現実のギャップを埋めることである。
具体的には、3次元交叉体積をシミュレーションの深度マップとして計算する一方、実世界では、生の触覚画像から地表面の深度マップへのロバストなマッピングを学習するために、自動データ収集リグを用いる。
この統一幾何空間におけるシミュレーションと実世界の整列により、タクマップは物理的整合性を維持しながら領域シフトを最小化する。
様々な接触シナリオにわたる定量的評価は、タクマップの変形が実世界の測定を密接に反映していることを示している。
さらに,シミュレーション専用に訓練されたポリシーが物理ロボットへのゼロショット転送を実現するため,手動回転タスクによるTacmapの有用性を検証する。
関連論文リスト
- TacLoc: Global Tactile Localization on Objects from a Registration Perspective [8.561002414977509]
ポース推定はロボット操作において不可欠であり、特にグリップとオブジェクトの相互作用において視覚的知覚が妨げられる場合である。
既存の触覚ベースの手法は、その一般化性と効率を制限した触覚シミュレーションや事前訓練モデルに依存している。
そこで我々は,この問題を一点のクラウド登録タスクとして定式化する,新しい触覚ローカライゼーションフレームワークであるTacLocを提案する。
論文 参考訳(メタデータ) (2026-03-11T09:15:07Z) - DeFM: Learning Foundation Representations from Depth for Robotics [49.77188649197404]
DeFMはロボットアプリケーションのための深度画像に基づいて訓練された自己教師型基礎モデルである。
DeFMは幾何学的および意味的な表現を学び、様々な環境、タスク、センサーに一般化する。
最先端の性能を達成し、シミュレーションから実環境への強力な一般化を実証する。
論文 参考訳(メタデータ) (2026-01-26T19:45:31Z) - PseudoTouch: Efficiently Imaging the Surface Feel of Objects for Robotic Manipulation [8.997347199266592]
低次元センサ信号に高次元構造情報をリンクするPseudoTouchを提案する。
低次元の視覚触覚埋め込みを学習し、そこから触覚信号を復号する深度パッチを符号化する。
学習したPseudoTouchモデルの有用性を、物体認識と把握安定性予測という2つの下流タスクで実証する。
論文 参考訳(メタデータ) (2024-03-22T10:51:31Z) - Visual-Tactile Sensing for In-Hand Object Reconstruction [38.42487660352112]
我々は、視覚触覚による手動オブジェクト再構成フレームワーク textbfVTacO を提案し、手動オブジェクト再構成のために textbfVTacOH に拡張する。
シミュレーション環境であるVT-Simは、剛性オブジェクトと変形可能なオブジェクトの両方のハンドオブジェクトインタラクションの生成をサポートする。
論文 参考訳(メタデータ) (2023-03-25T15:16:31Z) - Navigating to Objects in the Real World [76.1517654037993]
本稿では,古典的,モジュール的,エンド・ツー・エンドの学習手法と比較した,意味的視覚ナビゲーション手法に関する大規模な実証的研究について述べる。
モジュラー学習は実世界ではうまく機能し、90%の成功率に達しています。
対照的に、エンド・ツー・エンドの学習は、シミュレーションと現実の間の画像領域の差が大きいため、77%のシミュレーションから23%の実際の成功率へと低下する。
論文 参考訳(メタデータ) (2022-12-02T01:10:47Z) - CAP-UDF: Learning Unsigned Distance Functions Progressively from Raw Point Clouds with Consistency-Aware Field Optimization [54.69408516025872]
CAP-UDFは、生の点雲から一貫性を考慮したUDFを学ぶための新しい方法である。
我々は、クエリと近似曲面の関係を徐々に推測するようにニューラルネットワークを訓練する。
学習されたUDFの勾配を用いて表面を抽出する多角化アルゴリズムも導入する。
論文 参考訳(メタデータ) (2022-10-06T08:51:08Z) - Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。
EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。
さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
論文 参考訳(メタデータ) (2021-08-11T03:49:59Z) - Optical Tactile Sim-to-Real Policy Transfer via Real-to-Sim Tactile
Image Translation [21.82940445333913]
触覚ロボットと強化学習に適したシミュレーション環境について紹介する。
データ駆動型アプローチにより、実際の触覚センサの現在の状態を、対応するシミュレーションされた深度画像に変換することができる。
このポリシーは、物理ロボットのリアルタイム制御ループ内に実装され、ゼロショットシム対リアルポリシー転送を実証する。
論文 参考訳(メタデータ) (2021-06-16T13:58:35Z) - Learning the sense of touch in simulation: a sim-to-real strategy for
vision-based tactile sensing [1.9981375888949469]
本稿では,3次元接触力分布の再構成を目的とした,視覚に基づく触覚センサについて述べる。
シミュレーションデータから完全に調整されたディープニューラルネットワークをトレーニングするための戦略が提案されている。
結果として得られる学習アーキテクチャは、さらなるトレーニングをすることなく、複数の触覚センサ間で直接転送可能であり、実際のデータに対して正確な予測が得られます。
論文 参考訳(メタデータ) (2020-03-05T14:17:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。