論文の概要: Regularised RL improves sim-to-real transfer

• arxiv url: http://arxiv.org/abs/2610.32855v1
• Date: Fri, 23 Oct 2026 16:28:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.607038
• Title: Regularised RL improves sim-to-real transfer
• Title（参考訳）: 正規化RLはsim-to-real転送を改善する
• Abstract要約: 本稿では,ロボット性能に対する正規化の効果を特徴付けるために,一般用RLアルゴリズムのシミュレートと実性能について検討する。 我々は,ソフトメロマックス値関数に基づく新しい正規化RLアルゴリズムであるSoft MellowMax Actor-Critic (SMM-AC) を導出する。
• 参考スコア（独自算出の注目度）: 15.95739962581407
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Regularised reinforcement learning (RL) has provable robustness guarantees that should ease the transfer of policies from simulation to robots, known as sim-to-real. Yet, weakly regularised algorithms like Proximal Policy Optimisation (PPO) remain the de facto choice in sim-to-real pipelines, while the practical benefits of regularisation for transfer remain poorly characterised. In this work, we study the sim-to-real performance of commonly used RL algorithms, with the aim of characterising the effects of regularisation on robotic performance. To that end, we derive Soft MellowMax Actor-Critic (SMM-AC), a novel regularised RL algorithm based on the soft mellowmax value function, which carries strong robustness guarantees. On MuJoCo continuous control benchmarks, SMM-AC is competitive with baselines like Soft Actor-Critic (SAC). On real robots, SMM-AC achieves higher return, while exhibiting greater robustness to perturbations in observations, the environment, and dynamics than baselines. Together, these results demonstrate that regularised RL improves real-world policy deployment through better robustness to the sim-to-real gap, and changing real-world conditions.
• Abstract（参考訳）: 正規化強化学習(RL)は、シミュレーションからロボットへのポリシーの移動を容易にするための堅牢性を保証する。 しかし、PPO(Proximal Policy Optimisation)のような弱い正規化アルゴリズムは、シミュレートからリアルパイプラインへのデファクトな選択であり、一方、転送のための正規化の実践的な利点は、まだ貧弱なままである。 本研究では,ロボット性能に対する正規化の効果を特徴付けることを目的として,一般用RLアルゴリズムのシミュレート・トゥ・リアル性能について検討する。 そこで我々は,ソフトメロマックス値関数に基づく新しい正規化RLアルゴリズムであるSoft MellowMax Actor-Critic (SMM-AC) を導出した。 MuJoCoの継続的制御ベンチマークでは、SMM-ACはSoft Actor-Critic (SAC)のようなベースラインと競合する。 実際のロボットでは、SMM-ACは、ベースラインよりも観測、環境、力学の摂動に強い堅牢性を示しながら、高いリターンを達成する。 これらの結果から,レギュラー化されたRLは,シミュレート・トゥ・リアルギャップの堅牢性の向上と実世界の状況の変化を通じて,実世界の政策展開を改善することが示された。

関連論文リスト

• Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning [50.738952715864116]
  表現的連続制御ポリシは、シミュレーションされた実ロボット制御のための模倣学習のスケーリングにおける進歩のバックボーンを形成する。 テスト時に完全にポリシー最適化を行うRLアルゴリズムであるQGF(Q-Guided Flow)を提案する。 実証的には、QGFはシングルタスクおよびゴール条件のオフラインRLベンチマークにおいて、以前のテスト時間RLメソッドよりも優れている。
  論文  参考訳（メタデータ） (2026-06-09T16:45:57Z)
• Sim2Act: Robust Simulation-to-Decision Learning via Adversarial Calibration and Group-Relative Perturbation [54.29523408543184]
  シミュレーションと意思決定の学習は、現実世界の展開を危険にさらすことなく、デジタル環境で安全なポリシートレーニングを可能にする。 既存のアプローチでは、平均的なシミュレーションの忠実さを改善するか、保守的な正規化を採用するかに重点を置いている。 提案するSim2Actは,シミュレータとポリシーのロバスト性の両方に対処するロバストなシミュレーション・トゥ・意思決定フレームワークである。
  論文  参考訳（メタデータ） (2026-03-10T00:51:47Z)
• SPARR: Simulation-based Policies with Asymmetric Real-world Residuals for Assembly [13.3674466451862]
  シミュレーション学習された基本方針と実世界の残留政策を組み合わせたハイブリッドアプローチを提案する。 本手法は,多種多様な組立作業におけるほぼ完全な成功率を実現する。
  論文  参考訳（メタデータ） (2026-02-26T17:26:13Z)
• Closing the Sim2Real Performance Gap in RL [3.0709946817431875]
  Sim2Realは、高忠実度シミュレーション環境でのトレーニングポリシーと、それらを現実世界に効果的に転送することを目的としている。 正確なシミュレータとSim2Real RLアプローチの開発にもかかわらず、シミュレーションで純粋に訓練されたポリシーは、実環境に配備された場合、大きなパフォーマンス低下を被ることが多い。 本稿では,実環境の性能に基づいてシミュレータパラメータを直接適応させることにより,この問題に対処する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2025-10-20T16:25:13Z)
• ADARL: Adaptive Low-Rank Structures for Robust Policy Learning under Uncertainty [28.291179179647795]
  我々は、ロバスト性を改善する二段階最適化フレームワークであるtextbfAdaptive Rank Representation (AdaRL) を提案する。 下位レベルでは、AdaRLは、センチュロイドモデルの周りにあるワッサーシュタイン球からサンプリングされた力学を用いて、固定ランク制約の下でポリシー最適化を行う。 上層では、偏微分トレードオフのバランスをとるためにランクを適応的に調整し、ポリシーパラメータを低階多様体に投影する。
  論文  参考訳（メタデータ） (2025-10-13T20:05:34Z)
• SPiDR: A Simple Approach for Zero-Shot Safety in Sim-to-Real Transfer [60.19411648245077]
  悲観的領域ランダム化によるSim-to-realの略称であるSPiDRを提案する。 SPiDRは、安全なsim-to-real転送を保証するスケーラブルなアルゴリズムである。 我々は,SPiDRが性能を維持しつつ,シミュレートとリアルのギャップを保ちながら,安全性を効果的に確保できることを実証した。
  論文  参考訳（メタデータ） (2025-09-23T05:03:00Z)
• LoopSR: Looping Sim-and-Real for Lifelong Policy Adaptation of Legged Robots [20.715834172041763]
  デプロイ後の段階において、RLポリシーを継続的に洗練する、生涯にわたるポリシー適応フレームワークであるLoopSRを提案する。 LoopSRはトランスフォーマーベースのエンコーダを使用して、現実世界の軌道を潜在空間にマッピングする。 オートエンコーダアーキテクチャとコントラスト学習手法を採用し、実世界のダイナミクスの特徴抽出を強化する。
  論文  参考訳（メタデータ） (2024-09-26T16:02:25Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。