論文の概要: Closing the Reality Gap: Zero-Shot Sim-to-Real Deployment for Dexterous Force-Based Grasping and Manipulation
- arxiv url: http://arxiv.org/abs/2601.02778v2
- Date: Fri, 09 Jan 2026 13:09:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-12 13:49:32.371995
- Title: Closing the Reality Gap: Zero-Shot Sim-to-Real Deployment for Dexterous Force-Based Grasping and Manipulation
- Title(参考訳): 現実のギャップを閉じる: 軸力によるグラッピングとマニピュレーションのためのゼロショット・シミュレート・トゥ・リアル展開
- Abstract要約: 複数の指を持つ人間のような器用な手は、人間レベルの操作機能を提供する。
しかし、実際のハードウェアに直接デプロイ可能なトレーニングコントロールポリシは、コンタクトリッチな物理のため、依然として難しいままです。
本稿では,高密度触覚フィードバックと関節トルクセンシングを併用して身体的相互作用を調節する実践的枠組みを提案する。
- 参考スコア(独自算出の注目度): 12.509181374985936
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human-like dexterous hands with multiple fingers offer human-level manipulation capabilities, but training control policies that can directly deploy on real hardware remains difficult due to contact-rich physics and imperfect actuation. We close this gap with a practical sim-to-real reinforcement learning (RL) framework that utilizes dense tactile feedback combined with joint torque sensing to explicitly regulate physical interactions. To enable effective sim-to-real transfer, we introduce (i) a computationally fast tactile simulation that computes distances between dense virtual tactile units and the object via parallel forward kinematics, providing high-rate, high-resolution touch signals needed by RL; (ii) a current-to-torque calibration that eliminates the need for torque sensors on dexterous hands by mapping motor current to joint torque; and (iii) actuator dynamics modeling to bridge the actuation gaps with randomization of non-ideal effects such as backlash, torque-speed saturation. Using an asymmetric actor-critic PPO pipeline trained entirely in simulation, our policies deploy directly to a five-finger hand. The resulting policies demonstrated two essential skills: (1) command-based, controllable grasp force tracking, and (2) reorientation of objects in the hand, both of which were robustly executed without fine-tuning on the robot. By combining tactile and torque in the observation space with effective sensing/actuation modeling, our system provides a practical solution to achieve reliable dexterous manipulation. To our knowledge, this is the first demonstration of controllable grasping on a multi-finger dexterous hand trained entirely in simulation and transferred zero-shot on real hardware.
- Abstract(参考訳): 複数の指を持つ人間のような器用な手は、人間レベルの操作機能を提供するが、実際のハードウェアに直接デプロイできるトレーニングコントロールポリシーは、接触の多い物理学と不完全な動作のために難しいままである。
このギャップを,高密度触覚フィードバックと関節トルクセンシングを併用し,物理的相互作用を明示的に制御する,実践的シミュレート・トゥ・リアル強化学習(RL)フレームワークで埋める。
効率的なsim-to-real転送を実現するために、我々は紹介する。
(i)高密度仮想触覚ユニットと物体間の距離を並列運動学により計算し、RLが必要とする高レートで高解像度のタッチ信号を提供する計算高速触覚シミュレーション。
二 モータ電流を関節トルクにマッピングすることにより、外反手におけるトルクセンサの必要性を解消する電流トルク校正
三 アクチュエータダイナミックスモデリングは、バックラッシュ、トルク速度飽和等の非理想効果のランダム化により、アクチュエータギャップをブリッジする。
シミュレーションで完全に訓練された非対称アクタークリティカルなPPOパイプラインを使用して、ポリシーを直接5本指の手に展開する。
その結果, (1) コマンドベース, 制御可能な握力トラッキング, (2) ロボットに微調整を施さずに頑健に動作した手の物体の向きを変える2つの重要なスキルが示された。
観測空間における触覚とトルクを効果的なセンシング・アクチュエーターモデリングと組み合わせることで,信頼性の高いデクスタラス操作を実現するための実用的なソリューションを提供する。
我々の知る限り、これはシミュレーションで完全に訓練され、実際のハードウェアでゼロショットを転送したマルチフィンガーデキスタラスハンドで制御可能な握りの初めての実演である。
関連論文リスト
- Enhancing Sim2Real Transfer for Torque-Controlled Robots through Real2Sim Dynamics Estimation and Reinforcement Learning [2.071516130824992]
シミュレーションから実世界ロボットへの強化学習ポリシーの移行は依然として大きな課題である。
トルク制御ロボットアームのSim2Real転送を改善するReal2Sim2Realパイプラインを提案する。
この研究は、安定かつ一般化可能なトルクベース強化学習ポリシーを実現するための正確な物理モデリングの有効性を強調した。
論文 参考訳(メタデータ) (2026-08-23T22:25:33Z) - Closing the Reality Gap: Zero-Shot Sim-to-Real Deployment for Dexterous Force-Based Grasping and Manipulation [17.63466252699545]
人間のような器用な手は人間レベルの操作機能を提供するが、実際のハードウェアにデプロイできるコントロールポリシーを訓練することは困難である。
本稿では,高密度触覚フィードバックと関節トルクセンサを併用したシミュレート・トゥ・リアル強化学習法を提案する。
これは、シミュレーションで完全に訓練され、実際のハードウェア上でゼロショットを転送するマルチフィンガーデキスタラスハンドにおける制御可能なグリップの初めてのデモンストレーションである。
論文 参考訳(メタデータ) (2026-07-06T11:15:36Z) - Blind Dexterous Grasping via Real2Sim2Real Tactile Policy Learning [6.509572742369941]
触覚のみのブラインドグリップのためのフレームワークを提案する。
本研究では,実際の触覚信号を再現可能な接触校正型デジタル双極子シミュレータを構築するReal2Sim触覚校正パイプラインを提案する。
第2に,センサ・ジオメトリを組み込んだレイアウト認識型触覚エンコーダによる触覚観察の表現性を,自己教師付き事前学習により改善する。
第3に、未確認物体への一般化を改善するため、校正されたシミュレーターにおいて、オブジェクト固有の強化学習の専門家を訓練し、得られた把握軌道を触覚条件付き拡散ポリシーに集約する。
論文 参考訳(メタデータ) (2026-06-10T07:46:38Z) - Beyond Binary: Sim-to-Real Dexterous Manipulation with Physics-Grounded Contact Representation [51.463992799813816]
コンタクトリッチな操作における主要なボトルネックは、現実世界のデータ収集の難しさである。
物理原理に基づく効果的な触覚表現であるCenter-of-Pressureを紹介する。
我々は2つのブラインドで困難なコンタクトリッチな操作タスクについてCoPを評価する。
論文 参考訳(メタデータ) (2026-05-27T17:59:02Z) - Sim-to-Real Transfer for Muscle-Actuated Robots via Generalized Actuator Networks [53.12548325396181]
柔らかい筋肉のアクティベーションと組み合わせたテンドンドライブは、より速く、より安全なロボットを可能にする。
この複雑なアクチュエータのニューラルネットワークモデルを学習するsim-to-realパイプラインを提案する。
我々は,完全にシミュレーションで訓練された,正確なゴール獲得とダイナミック・ボール・イン・カップ・ポリシーの展開に成功した。
論文 参考訳(メタデータ) (2026-04-10T16:52:54Z) - Tendon Force Modeling for Sim2Real Transfer of Reinforcement Learning Policies for Tendon-Driven Robots [4.374417345150659]
本稿では,典型的なサーボモータの腱力をモデル化する手法を提案する。
次に,GPUによる力駆動型剛体シミュレーションにおいて,我々の力推定モデルを用いてRL制御系を訓練する。
我々のモデルは最大運動力の3%以内の腱力を予測でき、ロボットに依存しない。
論文 参考訳(メタデータ) (2026-03-04T18:16:58Z) - ULTRA: Unified Multimodal Control for Autonomous Humanoid Whole-Body Loco-Manipulation [55.467742403416175]
本稿では,大規模モーションキャプチャをヒューマノイドに変換する物理駆動型ニューラルネットワークを提案する。
我々は高密度参照とスパースタスク仕様の両方をサポートする統合マルチモーダルコントローラを学習する。
その結果,ULTRAは自我中心の知覚から,自律的,目標条件付き全体ロコ操作に一般化することが示された。
論文 参考訳(メタデータ) (2026-03-03T18:59:29Z) - Safe Whole-Body Loco-Manipulation via Combined Model and Learning-based Control [46.47619556874003]
そこで本研究では,マニピュレータアームのモデルベースアプタンス制御と足歩行の強化学習ポリシを組み合わせた全身制御を提案する。
アクセタンスコントローラは、物理的相互作用中に人間によって適用されるような外部レンチを、望ましいエンドエフェクタ速度にマッピングし、従順な振る舞いを可能にする。
6-DoFアームと手首に装着した6-DoF Force/Torqueセンサーを備えたUnitree Go2四足歩行ロボットを用いて,シミュレーションとハードウェアの両方におけるアプローチを検証する。
論文 参考訳(メタデータ) (2026-03-02T22:31:12Z) - D-REX: Differentiable Real-to-Sim-to-Real Engine for Learning Dexterous Grasping [66.22412592525369]
本稿では,ガウスのSplat表現を生かした実--sim-to-realエンジンを導入し,実-sim-to-realエンジンについて述べる。
提案エンジンは, 各種物体の形状と質量値のマス識別において, 高精度かつロバストな性能を実現していることを示す。
これらの最適化された質量値は、力覚的なポリシー学習を促進し、オブジェクトの把握において優れた、高いパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-03-01T15:32:04Z) - Semantic-Contact Fields for Category-Level Generalizable Tactile Tool Manipulation [82.63833405368159]
ツール操作の一般化には、セマンティックプランニングと正確な物理的制御の両方が必要である。
本研究では,密接な接触推定を伴う視覚的意味論を融合した3次元表現であるセマンティック・コンタクト・フィールド(SCFields)を提案する。
スクレイピング、クレヨン描画、剥離の実験は、堅牢なカテゴリレベルの一般化を示している。
論文 参考訳(メタデータ) (2026-02-14T16:05:08Z) - Symmetry-Aware Fusion of Vision and Tactile Sensing via Bilateral Force Priors for Robotic Manipulation [7.104060092661104]
本稿では,バイスオ触覚融合のためのクロスモーダルトランス (CMT) を提案する。
CMTは、構造化された自己および横断的注意を通して触覚信号と手首カメラ観測を統合する。
TacSLベンチマークの実験では、対称性の正則化を持つCMTが96.59%の挿入成功率を達成した。
論文 参考訳(メタデータ) (2026-02-14T09:19:48Z) - UniForce: A Unified Latent Force Model for Robot Manipulation with Diverse Tactile Sensors [51.88112610411651]
そこで本研究では,多様な触覚センサにまたがる共用潜在力空間を学習する,新しい統合された触覚表現学習フレームワークを提案する。
UniForceは、逆ダイナミクス(image-to-force)とフォワードダイナミクス(force-to-image)を共同モデリングすることで、クロスセンサー領域シフトを低減する
高価な外部力/トルクセンサ(F/T)への依存を避けるため,静的平衡を利用して直接センサ・オブジェクト・センサ・インタラクションを介して力対効果データを収集する。
論文 参考訳(メタデータ) (2026-02-01T11:03:01Z) - VT-Refine: Learning Bimanual Assembly with Visuo-Tactile Feedback via Simulation Fine-Tuning [39.49846628626501]
人間は、リッチな触覚フィードバックに適応することで、バイマニュアルアセンブリータスクで卓越する。
VT-Refineは、実世界の実演、高忠実度触覚シミュレーション、強化学習を組み合わせた、ビジュオ触覚政策学習フレームワークである。
論文 参考訳(メタデータ) (2025-10-16T17:41:36Z) - Taccel: Scaling Up Vision-based Tactile Robotics via High-performance GPU Simulation [34.47272224723296]
ロボット,触覚センサ,物体を精度と前例のない速度でモデル化するために,IPCとABDを統合した高性能なシミュレーションプラットフォームであるTaccelを提案する。
並列化が制限されたサブリアルタイム速度で動作する従来のシミュレータとは異なり、Taccelは正確な物理シミュレーションとリアルな触覚信号を提供する。
これらの能力は、触覚ロボットの研究と開発を拡大するための強力なツールとして、Taccelを位置づけている。
論文 参考訳(メタデータ) (2025-04-17T12:57:11Z) - ForceGrip: Reference-Free Curriculum Learning for Realistic Grip Force Control in VR Hand Manipulation [0.10995326465245926]
本稿では,現実的な手操作動作を合成する深層学習エージェントであるForceGripを紹介する。
我々は、指の位置決め、意図適応、動的安定化を含む3段階のカリキュラム学習フレームワークを採用する。
以上の結果から,ForceGripの出力制御性と信頼性は最先端の手法に比べて優れていた。
論文 参考訳(メタデータ) (2025-03-11T05:39:07Z) - Twisting Lids Off with Two Hands [82.21668778600414]
シミュレーションで訓練された政策を実世界へ効果的かつ効率的に移行する方法を示す。
具体的には,ボトル状物体の蓋を両手でねじる問題について考察する。
これは、バイマガル・マルチフィンガーハンドでそのような機能を実現する最初のsim-to-real RLシステムである。
論文 参考訳(メタデータ) (2024-03-04T18:59:30Z) - Towards Transferring Tactile-based Continuous Force Control Policies
from Simulation to Robot [19.789369416528604]
グリップフォースコントロールは、物体に作用する力の量を制限することによって、物体を安全に操作することを目的としている。
以前の作品では、手動制御器、モデルベースのアプローチ、あるいはsim-to-realトランスファーを示さなかった。
シミュレーションで訓練されたモデルなしの深層強化学習手法を提案し,さらに微調整を行わずにロボットに移行した。
論文 参考訳(メタデータ) (2023-11-13T11:29:06Z) - Bi-Manual Block Assembly via Sim-to-Real Reinforcement Learning [24.223788665601678]
2つのxArm6ロボットがU字型組立タスクを、シミュレーションで90%以上、実際のハードウェアで50%の確率で解決する。
以上の結果から,本システムは今後,深部RLおよびSim2Real転送バイマニュアルポリアの研究を刺激していきたいと願っている。
論文 参考訳(メタデータ) (2023-03-27T01:25:24Z) - Reconfigurable Data Glove for Reconstructing Physical and Virtual Grasps [100.72245315180433]
本研究では,人間の手-物体相互作用の異なるモードを捉えるために,再構成可能なデータグローブの設計を提案する。
グローブは3つのモードで動作し、異なる特徴を持つ様々な下流タスクを実行する。
i)手の動きと関連力を記録し,(ii)VRの操作流速を改善するとともに,(iii)様々なツールの現実的なシミュレーション効果を生み出すことにより,システムの3つのモードを評価する。
論文 参考訳(メタデータ) (2023-01-14T05:35:50Z) - DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to
Reality [64.51295032956118]
我々は人型ロボットの手で頑健な操作を行える政策を訓練する。
本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
論文 参考訳(メタデータ) (2022-10-25T01:51:36Z) - Nonprehensile Riemannian Motion Predictive Control [57.295751294224765]
本稿では,リアル・ツー・シムの報酬分析手法を導入し,リアルなロボット・プラットフォームに対する行動の可能性を確実に予測する。
連続的なアクション空間でオブジェクトを反応的にプッシュするクローズドループコントローラを作成します。
我々は,RMPCが乱雑な環境だけでなく,乱雑な環境においても頑健であり,ベースラインよりも優れていることを観察した。
論文 参考訳(メタデータ) (2021-11-15T18:50:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。