論文の概要: Enhancing Sim2Real Transfer for Torque-Controlled Robots through Real2Sim Dynamics Estimation and Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2608.22629v1
- Date: Sun, 23 Aug 2026 22:25:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.806242
- Title: Enhancing Sim2Real Transfer for Torque-Controlled Robots through Real2Sim Dynamics Estimation and Reinforcement Learning
- Title（参考訳）: Real2Sim Dynamics Estimationと強化学習によるトルク制御ロボットのSim2Real Transferの強化
- Abstract要約: シミュレーションから実世界ロボットへの強化学習ポリシーの移行は依然として大きな課題である。
トルク制御ロボットアームのSim2Real転送を改善するReal2Sim2Realパイプラインを提案する。
この研究は、安定かつ一般化可能なトルクベース強化学習ポリシーを実現するための正確な物理モデリングの有効性を強調した。
- 参考スコア（独自算出の注目度）: 2.071516130824992
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transferring reinforcement learning policies from simulation to Real-World robots remains a major challenge, particularly when dealing with low-level torque control, where even small modelling inaccuracies can lead to unstable or unsafe behaviours. In this work, we propose a Real2Sim2Real pipeline that improves Sim2Real transfer for torque-controlled robotic arms by combining trajectory matching, parameter optimization via genetic algorithms, and domain randomization. Using the 7-DOF Franka Emika Panda robot, we first identify friction, inertia, and gravity compensation parameters by minimizing the error between real and simulated joint trajectories. These calibrated dynamics are then used to train a TQC-based reinforcement learning agent in simulation. The trained policy is evaluated in both Gazebo and MuJoCo environments, and finally deployed on the real robot. Our results demonstrate a significant improvement in tracking accuracy and policy robustness after parameter tuning, with smooth policy transfer from simulation to the Real-World across multiple target-reaching tasks. This work highlights the effectiveness of accurate physical modelling in enabling stable and generalizable torque-based reinforcement learning policies.
- Abstract（参考訳）: シミュレーションから実世界のロボットへ強化学習ポリシーを移すことは、特に低レベルのトルク制御を扱う場合において大きな課題である。
本研究では、軌道マッチング、遺伝的アルゴリズムによるパラメータ最適化、ドメインランダム化を組み合わせたトルク制御ロボットアームのSim2Realトランスファーを改善するReal2Sim2Realパイプラインを提案する。
7-DOFのフランカ・エミカ・パンダロボットを用いて, 実軌道と模擬関節軌道の誤差を最小化することにより, まず摩擦, 慣性, 重力補償パラメータを同定する。
これらの校正力学は、シミュレーションにおいてTQCベースの強化学習エージェントを訓練するために使用される。
トレーニングされたポリシーは、GazeboとMuJoCo環境の両方で評価され、最終的に実際のロボットにデプロイされる。
提案手法は,複数タスクを対象としたシミュレーションからリアルワールドへのスムーズなポリシー伝達により,パラメータチューニング後のトラッキング精度とポリシーロバスト性を大幅に向上したことを示す。
この研究は、安定かつ一般化可能なトルクベース強化学習ポリシーを実現するための正確な物理モデリングの有効性を強調した。
関連論文リスト
- Actuator Reality Shaping for Zero-Shot Sim-to-Real Robot Learning [0.5277024349608834]
ロボット学習におけるシモン・トゥ・リアル・トランスファーは、ポリシートレーニング中に仮定される理想的なアクチュエータ・ダイナミクスと、物理モータの非線形でハードウェア依存的な動作との相違によって制限されることが多い。
アクチュエータ・リアリティー・シェーピング(Actuator Reality Shaping)という別のパラダイムを導入する。
本研究では,外負荷下での単関節高径サーボと7-DOFロボットアームの到達作業に対するアプローチを検証する。
論文 参考訳（メタデータ） (2026-07-02T14:12:41Z) - Sim-to-Real Transfer for Muscle-Actuated Robots via Generalized Actuator Networks [53.12548325396181]
柔らかい筋肉のアクティベーションと組み合わせたテンドンドライブは、より速く、より安全なロボットを可能にする。
この複雑なアクチュエータのニューラルネットワークモデルを学習するsim-to-realパイプラインを提案する。
我々は,完全にシミュレーションで訓練された,正確なゴール獲得とダイナミック・ボール・イン・カップ・ポリシーの展開に成功した。
論文 参考訳（メタデータ） (2026-04-10T16:52:54Z) - HALO:Closing Sim-to-Real Gap for Heavy-loaded Humanoid Agile Motion Skills via Differentiable Simulation [22.6954724792851]
微分可能シミュレータ MuJoCo XLA 上に構築した2段階勾配システム同定フレームワークを提案する。
第1段階は、実世界のデータを用いて名目ロボットモデルを校正し、本質的なシミュレートの相違を低減させる。
第2段階は、未知のペイロードの質量分布をさらに特定する。
論文 参考訳（メタデータ） (2026-03-16T10:38:05Z) - D-REX: Differentiable Real-to-Sim-to-Real Engine for Learning Dexterous Grasping [66.22412592525369]
本稿では,ガウスのSplat表現を生かした実--sim-to-realエンジンを導入し,実-sim-to-realエンジンについて述べる。
提案エンジンは, 各種物体の形状と質量値のマス識別において, 高精度かつロバストな性能を実現していることを示す。
これらの最適化された質量値は、力覚的なポリシー学習を促進し、オブジェクトの把握において優れた、高いパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-03-01T15:32:04Z) - DrEureka: Language Model Guided Sim-To-Real Transfer [64.14314476811806]
シミュレーションで学んだ政策を現実世界に伝達することは、ロボットのスキルを大規模に獲得する上で有望な戦略である。
本稿では,Large Language Models (LLMs) を用いてシム・トゥ・リアル設計の自動化と高速化を行う。
本手法では,ヨガボールの上を歩行する四足歩行や四足歩行など,新しいロボットタスクを解くことができる。
論文 参考訳（メタデータ） (2024-06-04T04:53:05Z) - Towards Transferring Tactile-based Continuous Force Control Policies
from Simulation to Robot [19.789369416528604]
グリップフォースコントロールは、物体に作用する力の量を制限することによって、物体を安全に操作することを目的としている。
以前の作品では、手動制御器、モデルベースのアプローチ、あるいはsim-to-realトランスファーを示さなかった。
シミュレーションで訓練されたモデルなしの深層強化学習手法を提案し,さらに微調整を行わずにロボットに移行した。
論文 参考訳（メタデータ） (2023-11-13T11:29:06Z) - Robust Visual Sim-to-Real Transfer for Robotic Manipulation [79.66851068682779]
シミュレーションにおけるビジュモータポリシーの学習は、現実世界よりも安全で安価である。
しかし、シミュレーションデータと実データとの相違により、シミュレータ訓練されたポリシーは実際のロボットに転送されると失敗することが多い。
視覚的なsim-to-real領域ギャップを埋める一般的なアプローチは、ドメインランダム化(DR)である。
論文 参考訳（メタデータ） (2023-07-28T05:47:24Z) - Residual Physics Learning and System Identification for Sim-to-real
Transfer of Policies on Buoyancy Assisted Legged Robots [14.760426243769308]
本研究では,BALLUロボットのシステム識別による制御ポリシのロバストなシミュレートを実演する。
標準的な教師あり学習の定式化に頼るのではなく、深層強化学習を利用して外部力政策を訓練する。
シミュレーショントラジェクトリと実世界のトラジェクトリを比較することで,改良されたシミュレーション忠実度を解析する。
論文 参考訳（メタデータ） (2023-03-16T18:49:05Z) - Real2Sim2Real Transfer for Control of Cable-driven Robots via a
Differentiable Physics Engine [9.268539775233346]
テンセグリティロボットは、高い強度と重量比と大きな変形を示す。
しかし、それらは高次元性、複雑な力学、結合アーキテクチャのために制御が難しい。
本稿では,Real2Sim2Real(R2S2R)戦略について述べる。
論文 参考訳（メタデータ） (2022-09-13T18:51:26Z) - Nonprehensile Riemannian Motion Predictive Control [57.295751294224765]
本稿では,リアル・ツー・シムの報酬分析手法を導入し,リアルなロボット・プラットフォームに対する行動の可能性を確実に予測する。
連続的なアクション空間でオブジェクトを反応的にプッシュするクローズドループコントローラを作成します。
我々は,RMPCが乱雑な環境だけでなく,乱雑な環境においても頑健であり,ベースラインよりも優れていることを観察した。
論文 参考訳（メタデータ） (2021-11-15T18:50:04Z) - TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。
特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。
TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
論文 参考訳（メタデータ） (2021-01-17T00:29:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。