論文の概要: TactSpace: Learning a Physics-enriched Shared Latent Space for Tactile Sim-to-Real Transfer

• arxiv url: http://arxiv.org/abs/2606.18959v1
• Date: Wed, 17 Jun 2026 11:41:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.137866
• Title: TactSpace: Learning a Physics-enriched Shared Latent Space for Tactile Sim-to-Real Transfer
• Title（参考訳）: TactSpace:Tactile Sim-to-Real Transferのための物理豊富な共有潜在空間の学習
• Authors: Arunim Joarder, Arjun Bhardwaj, René Zurbrügg, Mayank Mittal, Florin Püntener, Sira Bielefeldt, Cosmin Roman, Vaishakh Patil, Marco Hutter,
• Abstract要約: 共用潜在空間内での不均一な触覚を整列する多モード表現学習フレームワークを提案する。 本手法では, 様々な触覚観測を共通埋め込み空間に投影するために, モダリティ特異的エンコーダを用いる。 本結果は, 物理的に異なる表現間のゼロショットsim-to-real転送を実証する。
• 参考スコア（独自算出の注目度）: 8.357674069719524
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Tactile sensing provides direct measurements of contact interactions that are essential for robotic manipulation. However, current simulators lack the fidelity to faithfully model the complex deformation and transduction mechanics of tactile sensors, severely hindering sim-to-real transfer in robot learning pipelines. To address this challenge, we propose a multi-modal representation learning framework that aligns heterogeneous tactile modalities within a shared latent space, eliminating the need for accurate raw-signal simulation while preserving relevant contact information. Our approach employs modality-specific encoders to project diverse tactile observations, such as simulated penetration depth and real-world capacitance, into a common embedding space. The model is trained using self- and cross-reconstruction objectives alongside contrastive alignment, encouraging modality-invariant yet information-rich representations. We evaluate the learned embeddings on indenter shape identification, force prediction, and geometric reconstruction tasks, training exclusively in simulation and testing directly on real sensor measurements. Our results demonstrate zero-shot sim-to-real transfer across physically dissimilar representations. Furthermore, incorporating multi-physics simulation modalities yields more informative embeddings that transfer across diverse downstream tasks, demonstrating a 16.7% reduction in force prediction error and a 45.8% reduction in shape reconstruction error. Finally, we release an efficient Warp-based implementation of a penalty-based tactile simulation model for Isaac Lab, enabling scalable tactile data generation.
• Abstract（参考訳）: 触覚は、ロボット操作に不可欠な接触相互作用を直接測定する。 しかし、現在のシミュレータは、触覚センサーの複雑な変形と伝達機構を忠実にモデル化する能力に欠けており、ロボット学習パイプラインにおけるシミュレートと現実の移動を著しく妨げている。 この課題に対処するために,多モード表現学習フレームワークを提案する。このフレームワークは,異質な触覚モーダルを共有潜在空間内に整列させ,関連する接触情報を保存しながら,正確な生信号シミュレーションを不要にする。 提案手法では, 模擬浸透深度や実世界の容量といった多様な触覚観測を共通埋め込み空間に投影するために, モダリティ特異的エンコーダを用いる。 このモデルは、コントラストアライメントと並行して自己とクロスコンストラクションの目的を用いて訓練され、モダリティ不変だが情報豊富な表現を奨励する。 本研究は, 実センサを用いたシミュレーションおよび試験において, 内部形状の同定, 力予測, 幾何再構成作業における学習的埋め込みを評価した。 以上の結果から,ゼロショットのsim-to-realトランスファーが物理的に異なる表現にまたがることを示す。 さらに、マルチ物理シミュレーションのモダリティを組み込むことで、様々な下流タスク間で伝達されるより情報的な埋め込みが得られ、16.7%の力予測誤差、45.8%の形状再構成誤差が証明される。 最後に、Isaac Labのためのペナルティベースの触覚シミュレーションモデルのWarpベースの効率的な実装を行い、スケーラブルな触覚データ生成を可能にした。

関連論文リスト

• Beyond Binary: Sim-to-Real Dexterous Manipulation with Physics-Grounded Contact Representation [51.463992799813816]
  コンタクトリッチな操作における主要なボトルネックは、現実世界のデータ収集の難しさである。 物理原理に基づく効果的な触覚表現であるCenter-of-Pressureを紹介する。 我々は2つのブラインドで困難なコンタクトリッチな操作タスクについてCoPを評価する。
  論文  参考訳（メタデータ） (2026-05-27T17:59:02Z)
• SIM1: Physics-Aligned Simulator as Zero-Shot Data Scaler in Deformable Worlds [36.87909899472009]
  本稿では,物理世界におけるシミュレーションを基盤とした物理対応の実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実- このシステムは、シーンをメートル法に一貫性のある双子にデジタル化し、弾性モデリングによって変形可能なダイナミクスをキャラブレートし、拡散に基づく軌道生成によって振る舞いを拡大する。 実験により、純粋に合成データに基づいてトレーニングされたポリシーは、実データベースラインと1:15の等価比で同等であり、実世界の展開において90%のゼロショット成功と50%の一般化をもたらすことが示された。
  論文  参考訳（メタデータ） (2026-04-09T17:59:52Z)
• Few-Shot Neural Differentiable Simulator: Real-to-Sim Rigid-Contact Modeling [9.084754731100311]
  本稿では,解析的定式化とグラフニューラルネットワーク(GNN)に基づくモデルの表現能力を組み合わせた,数発のリアルタイム・シミュレーション手法を提案する。 本手法は,少数の実世界のデータのみを用いて解析シミュレータを校正し,多様な接触相互作用を捉えた大規模合成データセットを生成する。 実験により,本手法は実世界の軌道を再現する上で,学習ベースシミュレータの差分ベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2026-03-06T12:32:56Z)
• D-REX: Differentiable Real-to-Sim-to-Real Engine for Learning Dexterous Grasping [66.22412592525369]
  本稿では,ガウスのSplat表現を生かした実--sim-to-realエンジンを導入し,実-sim-to-realエンジンについて述べる。 提案エンジンは, 各種物体の形状と質量値のマス識別において, 高精度かつロバストな性能を実現していることを示す。 これらの最適化された質量値は、力覚的なポリシー学習を促進し、オブジェクトの把握において優れた、高いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-01T15:32:04Z)
• Semantic-Contact Fields for Category-Level Generalizable Tactile Tool Manipulation [82.63833405368159]
  ツール操作の一般化には、セマンティックプランニングと正確な物理的制御の両方が必要である。 本研究では,密接な接触推定を伴う視覚的意味論を融合した3次元表現であるセマンティック・コンタクト・フィールド(SCFields)を提案する。 スクレイピング、クレヨン描画、剥離の実験は、堅牢なカテゴリレベルの一般化を示している。
  論文  参考訳（メタデータ） (2026-02-14T16:05:08Z)
• Data assimilation and discrepancy modeling with shallow recurrent decoders [2.47593085771929]
  シャローリカレントデコーダ(DA-SHRED)を用いたデータ同化のための機械学習フレームワークを提案する。 提案アルゴリズムは, 非線形力学に基づく回帰モデルのスパース同定を潜時空間に組み込んで, シミュレーションモデルに欠落するダイナミクスに対応する関数を同定する。 DA-SHREDはSIM2REALのギャップを埋めることに成功し、高度に複雑なシステムにおいて欠落するダイナミクスを回復することを示した。
  論文  参考訳（メタデータ） (2025-12-01T01:01:48Z)
• Learning to Simulate Realistic LiDARs [66.7519667383175]
  リアルLiDARセンサのデータ駆動シミュレーションのためのパイプラインを提案する。 本モデルでは, 透明表面上の落下点などの現実的な効果を符号化できることが示される。 我々は2つの異なるLiDARセンサのモデルを学習し、それに従ってシミュレーションされたLiDARデータを改善する。
  論文  参考訳（メタデータ） (2022-09-22T13:12:54Z)
• Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
  触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。 EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。 さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-11T03:49:59Z)
• Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation [62.22058066456076]
  強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。 RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。 本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:46:59Z)
• Learning the sense of touch in simulation: a sim-to-real strategy for vision-based tactile sensing [1.9981375888949469]
  本稿では,3次元接触力分布の再構成を目的とした,視覚に基づく触覚センサについて述べる。 シミュレーションデータから完全に調整されたディープニューラルネットワークをトレーニングするための戦略が提案されている。 結果として得られる学習アーキテクチャは、さらなるトレーニングをすることなく、複数の触覚センサ間で直接転送可能であり、実際のデータに対して正確な予測が得られます。
  論文  参考訳（メタデータ） (2020-03-05T14:17:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。