論文の概要: Beyond Binary: Sim-to-Real Dexterous Manipulation with Physics-Grounded Contact Representation
- arxiv url: http://arxiv.org/abs/2605.28812v1
- Date: Wed, 27 May 2026 17:59:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:56.268601
- Title: Beyond Binary: Sim-to-Real Dexterous Manipulation with Physics-Grounded Contact Representation
- Title(参考訳): Beyond Binary: 物理周囲の接触表現を用いたSim-to-Real Dexterous Manipulation
- Authors: Jiahe Pan, Stelian Coros, Jitendra Malik, Toru Lin,
- Abstract要約: コンタクトリッチな操作における主要なボトルネックは、現実世界のデータ収集の難しさである。
物理原理に基づく効果的な触覚表現であるCenter-of-Pressureを紹介する。
我々は2つのブラインドで困難なコンタクトリッチな操作タスクについてCoPを評価する。
- 参考スコア(独自算出の注目度): 51.463992799813816
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A primary bottleneck in contact-rich manipulation is the difficulty of collecting real-world data. Sim-to-real reinforcement learning offers a scalable alternative, but the simulation-reality gap prevents information-dense modalities like touch from being effectively used. Existing sim-to-real methods often mitigate this gap by simplifying tactile data into coarse low-dimensional features -- sacrificing the richness required for complex manipulation. In this work, we introduce Center-of-Pressure (CoP), an effective tactile representation grounded in physical principles that preserves dense contact information while maintaining robustness for sim-to-real transfer. To support this representation, we propose a sensor calibration scheme based on differentiable dynamics, enabling the estimation of taxel orientations without requiring ground-truth force measurements. We evaluate CoP on two blind, challenging contact-rich manipulation tasks: peg-in-hole insertion and ball balancing. Across both tasks, policies conditioned on CoP achieve zero-shot sim-to-real transfer on a multi-fingered hand, and outperform both coarse binary-contact and raw-taxel baselines. Analysis of learned policy states further suggests that CoP-conditioned policies encode task-relevant physical properties, such as object mass, as an emergent byproduct of control.
- Abstract(参考訳): コンタクトリッチな操作における主要なボトルネックは、現実世界のデータ収集の難しさである。
Sim-to-real強化学習は、スケーラブルな代替手段を提供するが、シミュレーションと現実のギャップは、タッチのような情報密度のモダリティが効果的に使用されるのを防ぐ。
既存のsim-to-realメソッドは、複雑な操作に必要なリッチさを犠牲にして、触覚データを粗い低次元の特徴に単純化することで、このギャップを緩和することが多い。
本研究では,高密度接触情報を保持する物理原理に基づく触覚表現であるCenter-of-Pressure(CoP)を紹介する。
この表現を支援するために,微分力学に基づくセンサキャリブレーション手法を提案する。
我々は,2つのブラインド・コンタクトリッチな操作課題であるペグ・イン・ホール挿入とボールバランスについて,CoPの評価を行った。
両方のタスクにおいて、CoPに条件付けられたポリシーは、マルチフィンガーハンドでのゼロショットsim-to-real転送を実現し、粗いバイナリ接触ベースラインと生タキセルベースラインの両方を上回ります。
学習された政策状態の分析は、CoP条件の政策が、オブジェクト質量のようなタスク関連物理特性を制御の創発的副産物として符号化していることを示唆している。
関連論文リスト
- Direction Matters: Learning Force Direction Enables Sim-to-Real Contact-Rich Manipulation [28.707088673008172]
本稿では,専門家が設計したコントローラロジックを転送に利用するフレームワークを提案する。
タスクにおける特権的監督の成功に触発されて、シミュレーションには人間によって設計された有限状態マシンベースの位置/力制御を用いる。
シミュレーションの不正確さに非常に敏感な力の大きさとは異なり、力の方向はハイレベルなタスク形状を符号化し、シム・トゥ・リアルギャップをまたいで頑健なままである。
論文 参考訳(メタデータ) (2026-02-15T14:57:13Z) - Semantic-Contact Fields for Category-Level Generalizable Tactile Tool Manipulation [82.63833405368159]
ツール操作の一般化には、セマンティックプランニングと正確な物理的制御の両方が必要である。
本研究では,密接な接触推定を伴う視覚的意味論を融合した3次元表現であるセマンティック・コンタクト・フィールド(SCFields)を提案する。
スクレイピング、クレヨン描画、剥離の実験は、堅牢なカテゴリレベルの一般化を示している。
論文 参考訳(メタデータ) (2026-02-14T16:05:08Z) - TouchGuide: Inference-Time Steering of Visuomotor Policies via Touch Guidance [53.35296919674763]
TouchGuideは、低次元のアクション空間内でモダリティを融合させる、クロス政治的なビズオ触覚融合パラダイムである。
TouchGuideは、事前訓練された拡散またはフローマッチングビズモータポリシーをガイドする2つの段階で動作する。
高品質で費用対効果の高いデータによるTouchGuideトレーニングを容易にするために,データ収集システムであるTacUMIを導入する。
論文 参考訳(メタデータ) (2026-01-28T04:22:47Z) - Flow with the Force Field: Learning 3D Compliant Flow Matching Policies from Force and Demonstration-Guided Simulation Data [15.490144903271338]
本研究では,シミュレーションにおける力インフォームドデータ生成のためのフレームワークについて紹介する。
本稿では, 適合ポリシーとの結合が, 合成データから学習したビジュモータポリシーの性能をいかに向上させるかを示す。
論文 参考訳(メタデータ) (2025-10-03T05:40:58Z) - Multi-Modal Manipulation via Multi-Modal Policy Consensus [62.49978559936122]
本稿では,ロボット操作のための多様な感覚モダリティを統合するための新しいアプローチを提案する。
提案手法は,それぞれが単一の表現に特化している拡散モデルの集合にポリシーを分解する。
我々は、RLBenchにおけるシミュレーション操作タスクと、隠蔽対象のピック、手作業のスプーン再配向、パズル挿入といった実世界のタスクについて評価した。
論文 参考訳(メタデータ) (2025-09-27T19:43:04Z) - Dynamic Manipulation of Deformable Objects in 3D: Simulation, Benchmark and Learning Strategy [88.8665000676562]
従来の手法は、しばしば問題を低速または2D設定に単純化し、現実の3Dタスクに適用性を制限する。
データ不足を軽減するため、新しいシミュレーションフレームワークと、低次ダイナミクスに基づくベンチマークを導入する。
本研究では,シミュレーション前トレーニングと物理インフォームドテスト時間適応を統合するフレームワークであるDynamics Informed Diffusion Policy (DIDP)を提案する。
論文 参考訳(メタデータ) (2025-05-23T03:28:25Z) - Optical Tactile Sim-to-Real Policy Transfer via Real-to-Sim Tactile
Image Translation [21.82940445333913]
触覚ロボットと強化学習に適したシミュレーション環境について紹介する。
データ駆動型アプローチにより、実際の触覚センサの現在の状態を、対応するシミュレーションされた深度画像に変換することができる。
このポリシーは、物理ロボットのリアルタイム制御ループ内に実装され、ゼロショットシム対リアルポリシー転送を実証する。
論文 参考訳(メタデータ) (2021-06-16T13:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。