Fugu-MT 論文翻訳(概要): Learning Vision-Based Agile Gap Traversal: Differentiable Simulation with a Warm-Started Critic

論文の概要: Learning Vision-Based Agile Gap Traversal: Differentiable Simulation with a Warm-Started Critic

arxiv url: http://arxiv.org/abs/2609.30696v1
Date: Fri, 25 Sep 2026 02:07:30 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-28 18:27:51.185939
Title: Learning Vision-Based Agile Gap Traversal: Differentiable Simulation with a Warm-Started Critic
Title（参考訳）: ビジョンに基づくアジャイルギャップトラバーサルの学習 - ウォームスタートした批評家による差別化可能なシミュレーション
Abstract要約: 本研究では,バイスモータ・ギャップ・トラバース政策訓練のための2段階強化学習フレームワークを提案する。第一段階では、専門家アクターと批評家が、ギャップ幾何学を含む特権的な観察を用いて訓練される。第2段階では、2台のエゴ中心のカメラと低次元の観測から2次元のギャップマスクを用いて視覚ポリシーを訓練する。
参考スコア（独自算出の注目度）: 2.8894205420462082
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Traversing narrow gaps is challenging for autonomous quadrotors, especially when control commands come directly from high-dimensional visual observations. Existing end-to-end methods often rely on behavior cloning or full-rollout backpropagation through time (BPTT) via differentiable simulation, which can limit policy performance or incur high training costs. We propose a two-stage reinforcement learning framework for more efficient ego-centric visuomotor gap-traversal policy training, leveraging quasi-analytical policy gradients (QPG) via differentiable simulation and critic warm-starting. The framework utilizes QPG to avoid backpropagation through visual rendering, reducing computation and memory costs while improving sample efficiency. In the first stage, an expert actor and critic are trained using privileged observations, including gap geometry. Unlike prior gap-traversal approaches, our training utilizing QPG does not require resetting the agent along optimized reference trajectories. In the second stage, a visual policy is trained using binary gap masks from two ego-centric cameras and low-dimensional observations, while its privileged critic is warm-started from the first stage. This substantially improves training efficiency and traversal success compared with cold-starting the critic or using full-rollout BPTT. Our framework does not require retraining the expert actor when system parameters change, enabling more efficient generalization across drone platforms than state-of-the-art visual gap-traversal methods based on action supervision. The learned visual policy also generalizes to gaps with unseen shapes. Extensive real-world experiments further demonstrate robust gap traversal using binary masks rendered online. Beyond gap traversal, the proposed framework is generic and can be extended to other visuomotor robot learning tasks.
Abstract（参考訳）: 狭い隙間をトラバースすることは、特に高次元の視覚的観察から直接制御コマンドがくると、自律的な四角子にとって困難である。既存のエンドツーエンドの手法は、しばしば行動のクローン化や時間による完全ロールアウトバックプロパゲーション(BPTT)に依存しており、政策性能を制限したり、高いトレーニングコストを課すことができる。本稿では,より効率的なエゴ中心のビズモータギャップ・トラバース政策トレーニングのための2段階強化学習フレームワークを提案する。このフレームワークはQPGを使用して、視覚レンダリングによるバックプロパゲーションを回避し、計算とメモリコストを削減し、サンプル効率を向上させる。第一段階では、専門家アクターと批評家が、ギャップ幾何学を含む特権的な観察を用いて訓練される。従来のギャップトラバーサルアプローチとは異なり、QPGを用いたトレーニングでは、最適化された参照軌跡に沿ってエージェントをリセットする必要がなくなる。第2段階では、2台のエゴ中心のカメラと低次元の観察から2次元のギャップマスクを用いて視覚ポリシーを訓練し、第1段階から特権的な批評家がウォームスタートする。これは、批判者やフルロールアウトBPTTを使用する場合と比較して、トレーニング効率とトラバースの成功を大幅に改善する。我々のフレームワークは、システムパラメータが変化するときの専門家アクターのトレーニングを必要とせず、アクション監視に基づく最先端のビジュアルギャップトラバース手法よりも、ドローンプラットフォーム全体の効率的な一般化を可能にする。学習された視覚ポリシーは、見えない形状のギャップを一般化する。大規模な実世界の実験は、オンラインでレンダリングされたバイナリマスクを使用して、堅牢なギャップトラバーサルを実証する。ギャップトラバース以外にも、提案するフレームワークは汎用的であり、他の視覚運動ロボット学習タスクにも拡張できる。

論文の概要: Learning Vision-Based Agile Gap Traversal: Differentiable Simulation with a Warm-Started Critic

関連論文リスト