論文の概要: Open-DiffLoco: Open-Source Differentiable Learning for Deployable Blind Quadruped Locomotion
- arxiv url: http://arxiv.org/abs/2608.02069v1
- Date: Mon, 03 Aug 2026 11:11:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.506244
- Title: Open-DiffLoco: Open-Source Differentiable Learning for Deployable Blind Quadruped Locomotion
- Title（参考訳）: Open-DiffLoco: デプロイ可能なブラインド四足歩行のためのオープンソースの差別化学習
- Abstract要約: 本稿では,Open-DiffLocoについて紹介する。Open-DiffLocoは,デプロイ可能なブラインド四足歩行ポリシーを,異なるシミュレーションでトレーニングするオープンソースフレームワークである。
Open-DiffLocoは、差別化可能なシミュレーションを使用してデプロイ可能なロコモーションポリシーをトレーニングする最初のオープンソースフレームワークである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Developing deployable locomotion policies through conventional reinforcement learning often requires complex reward engineering and expensive training times. While differentiable simulation offers a highly efficient alternative, open-source tools capable of end-to-end transfer of these policies to physical hardware remain limited. This paper introduces Open-DiffLoco, an open-source framework for training deployable blind quadruped locomotion policies with differentiable simulation. The framework implements the Short-Horizon Actor-Critic (SHAC) algorithm in MuJoCo XLA (MJX) and trains a proprioceptive policy that transfers to real-world hardware. The deployed policy removes privileged actor observations, including base linear velocity, and does not rely on reference trajectories. It also uses a substantially simplified reward function, enabling the robot to discover walking patterns without the complex auxiliary rewards typically used in conventional reinforcement learning pipelines. When deployed on physical hardware (a Unitree Go2 quadruped), the trained policy tracks omnidirectional velocity commands with root-mean-square error below 0.2 m/s, reaches speeds above 1 m/s, and remains robust to uneven terrain and external physical disturbances, such as lateral pushes. Across the reported configurations, training uses under 6 GB of VRAM on a single NVIDIA GeForce RTX 5080 GPU and completes in approximately 20-60 minutes. As an algorithmic extension to SHAC, we propose Jacobian-Augmented Value Estimation (JAVE), which supervises the critic Jacobians to improve early first-order policy-gradient training. To our knowledge, Open-DiffLoco is the first open-source framework for training deployable locomotion policies using differentiable simulation. Deployment videos and source code are available at: https://diffloco.martin-opat.com/
- Abstract（参考訳）: 従来の強化学習を通じて展開可能なロコモーションポリシーを開発するには、複雑な報酬工学と高価なトレーニング時間が必要となることが多い。
差別化可能なシミュレーションは、非常に効率的な代替手段を提供するが、これらのポリシーを物理的ハードウェアにエンドツーエンドで転送できるオープンソースツールは、依然として限られている。
本稿では,Open-DiffLocoについて紹介する。Open-DiffLocoは,デプロイ可能なブラインド四足歩行ポリシーを,異なるシミュレーションでトレーニングするオープンソースフレームワークである。
このフレームワークは、MuJoCo XLA (MJX) にSHACアルゴリズムを実装し、現実世界のハードウェアに転送する保護的ポリシーを訓練する。
展開されたポリシーは、基本線形速度を含む特権的なアクター観測を排除し、参照軌跡に依存しない。
従来の強化学習パイプラインで通常使われる複雑な補助的な報酬なしで歩行パターンを発見できる。
物理ハードウェア(Unitree Go2の4倍)に配備されると、訓練されたポリシーは、ルート平均二乗誤差が0.2m/s以下で全方向の速度コマンドを追跡し、1m/s以上の速度に到達し、不均一な地形や、横方向のプッシュのような外部の物理的障害に対して頑健である。
報告された構成全体にわたって、トレーニングはNVIDIA GeForce RTX 5080 GPUで6GB以下のVRAMを使用し、約20-60分で完了する。
SHACのアルゴリズム拡張として,批判者ヤコビアンを指導するJAVE(Jacobian-Augmented Value Estimation)を提案する。
我々の知る限り、Open-DiffLocoは、差別化可能なシミュレーションを使用してデプロイ可能なロコモーションポリシーをトレーニングする最初のオープンソースフレームワークです。
デプロイビデオとソースコードは、https://diffloco.martin-opat.com/で公開されている。
関連論文リスト
- ADEPT: Accelerating Dexterity via Pre-Training and Post-Training using Reinforcement Learning [4.555414332509501]
本稿では,Sim-to-real Transferable dexterityを学習するための大規模強化学習フレームワークであるADEPT(Pre-Training)による高速化デキスタリティについて紹介する。
ADEPTは、ジェネリックオブジェクトのリポジトリタスクで厳格なポリシーを事前訓練した後、事前訓練された振る舞いを前として下流ポリシーをトレーニングする。
ポストトレーニングを受けた教師を2つの実施形態にゼロショット・シム・トゥ・リアル・トランスファーを知覚する学生に蒸留する。
論文 参考訳（メタデータ） (2026-08-19T17:55:06Z) - Patch Policy: Efficient Embodied Control via Dense Visual Representations [52.199962246592285]
我々は,フルVLMの計算オーバーヘッドを伴わずに,事前訓練済みの高密度パッチトークンを直接消費するパッチポリシーを開発した。
提案手法は,最先端のグローバルプール表現を用いた政策よりも40%の相対的な改善を実現している。
微調整されたOpenVLA-OFTを18%上回り、パラメータの約0.7%を使用する。
論文 参考訳（メタデータ） (2026-07-20T17:59:41Z) - CLEAR: Closed-Loop Reinforcement Learning at Scale for End-to-End Autonomous Driving [66.77752555295355]
E2E-ADのための大規模強化学習(RL)を用いた閉ループ訓練システムであるCLEARを提案する。
簡単な報奨により、CLEARは従来の手法よりも大幅に優れ、新しい最先端性能を設定できることが示される。
論文 参考訳（メタデータ） (2026-07-03T00:34:50Z) - Efficient On-policy Visual-RL via Stochastic Decoupled Policy Gradient [9.971505157889503]
本稿では,多種多様なビジュモータ制御ポリシーをエンドツーエンドに学習する軽量視覚強化学習(RL)手法であるSDPG(Decoupled Policy gradient)を提案する。
SDPGは、軌道転がりのランダムな摂動を通じてポリシーの勾配を推定し、バッチレンダリングされた環境を桁違いに少なくする。
ビジュアルな MuJoCo ベンチマークでは、SDPG はトレーニング時間、メモリ使用量、報酬において、ベースラインメソッドを一貫して上回っている。
論文 参考訳（メタデータ） (2026-05-26T02:35:08Z) - Simple but Stable, Fast and Safe: Achieve End-to-end Control by High-Fidelity Differentiable Simulation [14.322775509774246]
障害物回避(Obstacle avoidance)は、四重項が高度なアプリケーションを実行できるようにするための基本的な視覚ベースのタスクである。
本稿では,深度画像を直接低レベルのボディレートコマンドにマッピングする新しいエンドツーエンドポリシーを提案する。
その結果,提案手法は,最先端のベースラインの中で,最も成功率が高く,かつ最低であることがわかった。
論文 参考訳（メタデータ） (2026-04-12T09:38:00Z) - A General Infrastructure and Workflow for Quadrotor Deep Reinforcement Learning and Reality Deployment [48.90852123901697]
本稿では, エンドツーエンドの深層強化学習(DRL)ポリシーを四元数へシームレスに移行できるプラットフォームを提案する。
本プラットフォームは, ホバリング, 動的障害物回避, 軌道追尾, 気球打上げ, 未知環境における計画など, 多様な環境を提供する。
論文 参考訳（メタデータ） (2025-04-21T14:25:23Z) - AutoHete: An Automatic and Efficient Heterogeneous Training System for LLMs [68.99086112477565]
トランスフォーマーベースの大規模言語モデル(LLM)は、シーケンスモデリングやテキスト生成において例外的な機能を示した。
既存の異種トレーニング手法は、トレーニング可能なモデルの規模を大幅に拡大するが、かなりの通信オーバーヘッドとCPUワークロードを導入している。
本稿では,シングルGPU環境とマルチGPU環境の両方に互換性のある,自動的で効率的なヘテロジニアストレーニングシステムであるAutoHeteを提案する。
論文 参考訳（メタデータ） (2025-02-27T14:46:22Z) - What Matters in Learning A Zero-Shot Sim-to-Real RL Policy for Quadrotor Control? A Comprehensive Study [24.239835581921458]
実世界の四角形におけるゼロショット展開が可能なロバストなRL制御ポリシーを学習するための重要な要因について検討する。
これら5つのテクニックを統合した,PPOベースのトレーニングフレームワークSimpleFlightを開発した。
クレージーフリー四重極に対するSimpleFlightの有効性を検証し,軌道追従誤差を50%以上低減できることを実証した。
論文 参考訳（メタデータ） (2024-12-16T13:31:26Z) - Autonomous Vehicle Controllers From End-to-End Differentiable Simulation [57.278726604424556]
そこで我々は,AVコントローラのトレーニングにAPG(analytic Policy gradients)アプローチを適用可能なシミュレータを提案し,その設計を行う。
提案するフレームワークは, エージェントがより根底的なポリシーを学ぶのを助けるために, 環境力学の勾配を役立てる, エンド・ツー・エンドの訓練ループに, 微分可能シミュレータを組み込む。
ダイナミクスにおけるパフォーマンスとノイズに対する堅牢性の大幅な改善と、全体としてより直感的なヒューマンライクな処理が見られます。
論文 参考訳（メタデータ） (2024-09-12T11:50:06Z) - Neural Dynamic Policies for End-to-End Sensorimotor Learning [51.24542903398335]
感覚運動制御における現在の主流パラダイムは、模倣であれ強化学習であれ、生の行動空間で政策を直接訓練することである。
軌道分布空間の予測を行うニューラル・ダイナミック・ポリシー(NDP)を提案する。
NDPは、いくつかのロボット制御タスクにおいて、効率と性能の両面で、これまでの最先端よりも優れている。
論文 参考訳（メタデータ） (2020-12-04T18:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。