論文の概要: Accelerating Visual Policy Learning with Sampling-Based Model Predictive Control

• arxiv url: http://arxiv.org/abs/2609.20575v1
• Date: Thu, 17 Sep 2026 15:33:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.353327
• Title: Accelerating Visual Policy Learning with Sampling-Based Model Predictive Control
• Title（参考訳）: サンプリングベースモデル予測制御による視覚政策学習の高速化
• Abstract要約: Sampling-Guided Policy Search (SGPS)は、シミュレーションされたUnitree Go2とG1ロボット上での移動、障害物、クレートプッシュ、および双方向搬送のポリシーを学ぶ。 1つのGPUで、SGPSは、シミュレーションされたUnitree Go2とG1ロボット上での移動、障害物、クレートプッシュ、および双方向の搬送のポリシーを学ぶ。 ハードウェアの配備では、蒸留されたポリシーはゼロショットを本物のGo2に転送し、オンボードの奥行きを使って自律的にトロールし、クロールし、ハードルをクリアし、それらの動作を切り替える。
• 参考スコア（独自算出の注目度）: 7.9318819245146415
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning visual policies for locomotion and manipulation requires coordinating contact with the environment and can incur substantial computation and GPU memory costs. First-order policy gradients (FoPG) reduce training cost through differentiable simulation, but local optimization can converge to unintended contact patterns. To address this shortfall, we propose Sampling-Guided Policy Search (SGPS), which couples recurring action-target refinement by sampling-based model-predictive control with first-order policy optimization. Behavior cloning initializes the policy from sampled actions; training then alternates sampling-based refinement with short-horizon FoPG updates under perturbed initial states and randomized dynamics. For visual policy training, we use a decoupled FoPG formulation that excludes rendering from the computation graph, enabling direct learning from depth observations without a state-policy teacher. On a single GPU, SGPS learns policies for locomotion, obstacle traversal, crate pushing, and bimanual carrying on simulated Unitree Go2 and G1 robots. Our experiments further show that refinement improves policy learning beyond initialization and tracking alone. For hardware deployment, the distilled policy transfers zero-shot to a real Go2 and uses onboard depth to autonomously trot, crawl, clear hurdles, and switch between these behaviors.
• Abstract（参考訳）: 移動と操作のための視覚的ポリシーを学ぶには、環境との接触を調整し、相当な計算とGPUメモリコストを発生させる必要がある。 1次ポリシー勾配(FoPG)は、微分可能なシミュレーションによってトレーニングコストを削減するが、局所最適化は意図しない接触パターンに収束する。 この欠点に対処するために、サンプリングベースモデル予測制御と一階ポリシー最適化を併用したアクションターゲット改善を繰り返すサンプリング誘導ポリシー探索(SGPS)を提案する。 行動クローニングは、サンプリングされたアクションからポリシーを初期化し、トレーニングはサンプルベースのリファインメントを、摂動初期状態とランダム化されたダイナミクスの下で短水平FOPG更新に置き換える。 視覚的ポリシートレーニングには、計算グラフからのレンダリングを除外した分離されたFOPG定式化を使用し、州立の教師なしで深度観測から直接学習することができる。 1つのGPUで、SGPSは、シミュレーションされたUnitree Go2とG1ロボット上での移動、障害物トラバーサル、クレートプッシュ、および双方向の搬送のポリシーを学ぶ。 我々の実験は、改善が初期化と追跡だけに留まらず、政策学習を改善することを示している。 ハードウェアの配備では、蒸留されたポリシーはゼロショットを本物のGo2に転送し、オンボードの奥行きを使って自律的にトロールし、クロールし、ハードルをクリアし、それらの動作を切り替える。

関連論文リスト

• CLEAR: Closed-Loop Reinforcement Learning at Scale for End-to-End Autonomous Driving [66.77752555295355]
  E2E-ADのための大規模強化学習(RL)を用いた閉ループ訓練システムであるCLEARを提案する。 簡単な報奨により、CLEARは従来の手法よりも大幅に優れ、新しい最先端性能を設定できることが示される。
  論文  参考訳（メタデータ） (2026-07-03T00:34:50Z)
• From Attacks to Curricula: Learnability-Guided Adversarial Training for Safe Autonomous Driving [56.30087557121323]
  AlignADVは学習性誘導型クローズドループ対向トレーニングフレームワークである。 敵のシナリオを解決可能で能力に整合したカリキュラムに変換する。 実験の結果、最大40.6%のトレーニングステップが短縮された。
  論文  参考訳（メタデータ） (2026-06-12T02:13:55Z)
• Simple but Stable, Fast and Safe: Achieve End-to-end Control by High-Fidelity Differentiable Simulation [14.322775509774246]
  障害物回避(Obstacle avoidance)は、四重項が高度なアプリケーションを実行できるようにするための基本的な視覚ベースのタスクである。 本稿では,深度画像を直接低レベルのボディレートコマンドにマッピングする新しいエンドツーエンドポリシーを提案する。 その結果,提案手法は,最先端のベースラインの中で,最も成功率が高く,かつ最低であることがわかった。
  論文  参考訳（メタデータ） (2026-04-12T09:38:00Z)
• VLD: Visual Language Goal Distance for Reinforcement Learning Navigation [5.225089020389076]
  本稿では,目標条件付きナビゲーションのフレームワークであるビジョン・ランゲージ・ディスタンス(VLD)学習を紹介する。 まず、インターネット規模のビデオデータに基づいて、自己教師付き距離目標予測器を訓練する。 この予測器は画像とテキストの両方の目標を一般化し、強化学習ポリシーによって最小化できる距離信号を提供する。
  論文  参考訳（メタデータ） (2025-12-08T19:05:51Z)
• Dense Policy: Bidirectional Autoregressive Learning of Actions [51.60428100831717]
  本稿では,行動予測における自己回帰的政策の新たなパラダイムを確立するために,Dense Policyと呼ばれる双方向拡張学習手法を提案する。 軽量なエンコーダのみのアーキテクチャを使用して、アクションシーケンスを初期単一フレームからターゲットシーケンスへ粗い方法で反復的に展開する。 実験により、我々の密集した政策は自己回帰学習能力に優れており、既存の全体的生成ポリシーを超越できることが示された。
  論文  参考訳（メタデータ） (2025-03-17T14:28:08Z)
• Autonomous Vehicle Controllers From End-to-End Differentiable Simulation [57.278726604424556]
  そこで我々は,AVコントローラのトレーニングにAPG(analytic Policy gradients)アプローチを適用可能なシミュレータを提案し,その設計を行う。 提案するフレームワークは, エージェントがより根底的なポリシーを学ぶのを助けるために, 環境力学の勾配を役立てる, エンド・ツー・エンドの訓練ループに, 微分可能シミュレータを組み込む。 ダイナミクスにおけるパフォーマンスとノイズに対する堅牢性の大幅な改善と、全体としてより直感的なヒューマンライクな処理が見られます。
  論文  参考訳（メタデータ） (2024-09-12T11:50:06Z)
• Let Offline RL Flow: Training Conservative Agents in the Latent Space of Normalizing Flows [58.762959061522736]
  オフライン強化学習は、追加の環境相互作用なしに、事前に記録された、固定されたデータセット上でポリシーをトレーニングすることを目的としている。 我々は、最近、潜在行動空間における学習ポリシーを基礎として、生成モデルの構築に正規化フローの特別な形式を用いる。 提案手法が最近提案したアルゴリズムより優れていることを示すため,様々な移動タスクとナビゲーションタスクについて評価を行った。
  論文  参考訳（メタデータ） (2022-11-20T21:57:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。