論文の概要: Online Sim-to-Real Adaptation via Closed-Loop System Modeling
- arxiv url: http://arxiv.org/abs/2609.28878v1
- Date: Thu, 24 Sep 2026 00:54:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.624042
- Title: Online Sim-to-Real Adaptation via Closed-Loop System Modeling
- Title（参考訳）: クローズドループシステムモデリングによるオンラインSim-to-Real適応
- Abstract要約: 提案するOSRAM(Online Sim-to-Real Adaptation via Closed-Loop System Modeling)は,既存のコントローラに提供される参照コマンドに適応するフレームワークである。
その結果, 閉ループモデルにより, 未知の動的条件下での予測精度と追跡精度が向上することがわかった。
- 参考スコア（独自算出の注目度）: 5.178900486147961
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Sim-to-real transfer has made substantial progress, but can still produce controllers that remain stable and functional on hardware while suffering from degraded tracking accuracy due to residual dynamics mismatch. Correcting these errors typically requires identifying the underlying system dynamics, adapting the control policy, or returning to simulation for additional training and finetuning, all of which can require substantial data and computation. We propose OSRAM (Online Sim-to-Real Adaptation via Closed-Loop System Modeling), a framework that instead adapts the reference commands provided to an existing controller. OSRAM treats the deployed robot and its policy as a unified closed-loop dynamical system and learns its task-level command-response behavior directly from tracking observations. A closed-loop dynamics model is meta-trained across randomized dynamics in simulation and rapidly finetuned after deployment using limited real-world interaction. The adapted model is then used to optimize future reference commands while leaving the underlying control policy unchanged. We evaluate OSRAM on bipedal velocity tracking and loco-manipulation in simulation and on hardware. Results show that closed-loop modeling improves prediction and tracking accuracy under unseen dynamics, while online reference adaptation reduces residual sim-to-real tracking errors across different control objectives and hardware configurations. These results demonstrate that adapting the behavior of the robot-policy closed loop provides a practical alternative to finetuning the policy or identifying the full physical dynamics for sim-to-real transfer. More information can be found at http://generalroboticslab.com/OSRAM.
- Abstract（参考訳）: シモン・トゥ・リアル・トランスファーは大きな進歩を遂げているが、残差力学ミスマッチによる追従精度の低下に悩まされながら、ハードウェア上で安定かつ機能的なコントローラを生成することができる。
これらのエラーを訂正するには、基盤となるシステムのダイナミクスの特定、制御ポリシーの適応、追加のトレーニングと微調整のためのシミュレーションへの復帰などが必要である。
提案するOSRAM(Online Sim-to-Real Adaptation via Closed-Loop System Modeling)は,既存のコントローラに提供される参照コマンドに代えて適応するフレームワークである。
OSRAMは、デプロイされたロボットとそのポリシーを、統一されたクローズドループ力学系として扱い、観察記録からタスクレベルのコマンド応答動作を直接学習する。
クローズドループ力学モデルは、シミュレーションにおいてランダム化された動的にメタトレーニングされ、実世界の限られた相互作用を用いて展開後に迅速に微調整される。
適応モデルは、基礎となるコントロールポリシーを変更せずに、将来の参照コマンドを最適化するために使用される。
シミュレーションおよびハードウェアにおける二足歩行速度の追跡とロコ操作についてOSRAMの評価を行った。
オンライン参照適応では,制御対象とハードウェア構成の異なる残差sim-to-real追跡誤差が低減されるのに対し,クローズドループモデリングでは予測精度と追跡精度が向上することが示された。
これらの結果は,ロボットポリチィクローズドループの挙動に適応させることで,ポリシーを微調整したり,シミュレート・トゥ・リアル・トランスファーのための完全な物理力学を同定するための実用的な代替手段となることを示した。
詳細はhttp:// generalroboticslab.com/OSRAMで確認できる。
関連論文リスト
- Fetch My Beer: Synthetic-to-real Hierarchical Policy for Smooth Pick-and-place [54.561625475942584]
本研究では, 液体充填容器の安定輸送について検討し, ロボットが物体を目標場所へ移動させながら, スロッシングを抑え, こぼれを防止する方法を検討した。
このタスクは運動の滑らかさと軌道レベルの安定性に厳格な要件を課し、既存のシステムの明確な制限を明らかにする。
物理的に検証されたデータ生成と階層的拡散型コントローラを結合した合成から現実のフレームワークを提案する。
論文 参考訳（メタデータ） (2026-09-16T04:55:12Z) - Enhancing Sim2Real Transfer for Torque-Controlled Robots through Real2Sim Dynamics Estimation and Reinforcement Learning [2.071516130824992]
シミュレーションから実世界ロボットへの強化学習ポリシーの移行は依然として大きな課題である。
トルク制御ロボットアームのSim2Real転送を改善するReal2Sim2Realパイプラインを提案する。
この研究は、安定かつ一般化可能なトルクベース強化学習ポリシーを実現するための正確な物理モデリングの有効性を強調した。
論文 参考訳（メタデータ） (2026-08-23T22:25:33Z) - WorldSimProbe: Diagnosing Simulator Faithfulness in Action-Conditioned World Models for Embodied Manipulation [85.15806404962193]
行動条件付き世界モデル(ACWM)は、計画、ポリシー評価、データ生成のためのスケーラブルな予測シミュレータを具現化したAIを提供することを約束する。
物理シミュレータが期待する観測能力を用いてACWMを評価する。
WorldSimProbeは、制御のバリエーション、相互作用のグラウンディングにおける構造化された障害、ダイナミックスにまたがる、システマティックなアクション実現の劣化を明らかにする。
論文 参考訳（メタデータ） (2026-08-10T08:48:06Z) - Actuator Reality Shaping for Zero-Shot Sim-to-Real Robot Learning [0.5277024349608834]
ロボット学習におけるシモン・トゥ・リアル・トランスファーは、ポリシートレーニング中に仮定される理想的なアクチュエータ・ダイナミクスと、物理モータの非線形でハードウェア依存的な動作との相違によって制限されることが多い。
アクチュエータ・リアリティー・シェーピング(Actuator Reality Shaping)という別のパラダイムを導入する。
本研究では,外負荷下での単関節高径サーボと7-DOFロボットアームの到達作業に対するアプローチを検証する。
論文 参考訳（メタデータ） (2026-07-02T14:12:41Z) - Autonomous Vehicle Controllers From End-to-End Differentiable Simulation [57.278726604424556]
そこで我々は,AVコントローラのトレーニングにAPG(analytic Policy gradients)アプローチを適用可能なシミュレータを提案し,その設計を行う。
提案するフレームワークは, エージェントがより根底的なポリシーを学ぶのを助けるために, 環境力学の勾配を役立てる, エンド・ツー・エンドの訓練ループに, 微分可能シミュレータを組み込む。
ダイナミクスにおけるパフォーマンスとノイズに対する堅牢性の大幅な改善と、全体としてより直感的なヒューマンライクな処理が見られます。
論文 参考訳（メタデータ） (2024-09-12T11:50:06Z) - Sim-Anchored Learning for On-the-Fly Adaptation [45.123633153460034]
実世界のデータを持つ微調整シミュレーション訓練されたRLエージェントは、制限されたデータ分布や歪んだデータ分布のために重要な振る舞いを劣化させることが多い。
シミュレーションと現実の両方において政策目標を満たさなければならない多目的最適化問題として、フレーミングライブ適応を提案する。
論文 参考訳（メタデータ） (2023-01-17T16:16:53Z) - Control-oriented meta-learning [25.316358215670274]
我々は、ニューラルネットワークを用いたデータ駆動モデリングを用いて、過去のデータからオフラインで学習し、非線形特徴の内部パラメトリックモデルによる適応制御を行う。
ベースラーナーとして閉ループ追従シミュレーションを用いた適応制御器をメタ学習し,メタ対象として平均追従誤差を推定する。
論文 参考訳（メタデータ） (2022-04-14T03:02:27Z) - Nonprehensile Riemannian Motion Predictive Control [57.295751294224765]
本稿では,リアル・ツー・シムの報酬分析手法を導入し,リアルなロボット・プラットフォームに対する行動の可能性を確実に予測する。
連続的なアクション空間でオブジェクトを反応的にプッシュするクローズドループコントローラを作成します。
我々は,RMPCが乱雑な環境だけでなく,乱雑な環境においても頑健であり,ベースラインよりも優れていることを観察した。
論文 参考訳（メタデータ） (2021-11-15T18:50:04Z) - Auto-Tuned Sim-to-Real Transfer [143.44593793640814]
シミュレーションで訓練されたポリシーは、しばしば現実世界に移されるときに失敗する。
ドメインのランダム化のようなこの問題に取り組む現在のアプローチには、事前の知識とエンジニアリングが必要である。
実世界に合わせてシミュレータシステムパラメータを自動的にチューニングする手法を提案する。
論文 参考訳（メタデータ） (2021-04-15T17:59:55Z) - Adaptive-Control-Oriented Meta-Learning for Nonlinear Systems [29.579737941918022]
我々は過去のデータからオフラインで学習し、非線形特徴の内部パラメトリックモデルによる適応制御を行う。
ベースランナーとして閉ループ追跡シミュレーション、メタオブジェクトとして平均トラッキングエラーで適応コントローラをメタ学習します。
非線形平面ロータークラフトを用いて,適応型コントローラが回帰型メタラーニングで学習した他のコントローラよりも優れていることを実証する。
論文 参考訳（メタデータ） (2021-03-07T23:49:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。