論文の概要: Latent RL Priors for Data-Efficient Dexterous Manipulation

• arxiv url: http://arxiv.org/abs/2611.08458v1
• Date: Thu, 05 Nov 2026 18:50:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.628042
• Title: Latent RL Priors for Data-Efficient Dexterous Manipulation
• Title（参考訳）: データ効率の良いデクサラスマニピュレーションのための潜在RLプリミティブ
• Abstract要約: シミュレーションにおける強化学習(RL)は、特権情報との大規模相互作用からリッチな制御行動を得ることができる。 データ効率のよいビジュアルポリシー学習にこの制御知識を再利用する2段階フレームワークである textbfLatent RL Prior を導入する。
• 参考スコア（独自算出の注目度）: 48.077346056662066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning dexterous manipulation from limited visual demonstrations is challenging because policies must acquire both perceptual grounding and precise control, while reinforcement learning (RL) in simulation can acquire rich control behaviors from large-scale interaction with privileged information. We introduce \textbf{Latent RL Prior}, a two-stage framework that reuses this control knowledge for data-efficient visual policy learning. During privileged pretraining, we distill large-scale RL rollouts into a flow-matching action decoder conditioned on proprioception and latent task context. During visual adaptation, we freeze the decoder and learn a visual interface that maps images to its latent context using action supervision alone, without privileged labels or latent targets. The same decoder can further be shared across arms by learning coordinated visual contexts for bimanual manipulation. Across three simulated tasks, our method outperforms full-parameter fine-tuning of $π_{0.5}$ and GR00T N1.7 in the low-data regime; on door lifting and bimanual assembly, it surpasses full-data baselines using $10\times$ and $5\times$ fewer demonstrations, respectively. Further analysis shows that direct visual-to-latent conditioning improves adaptation performance and training stability over routing visual predictions through the pretrained state encoder. Robustness to unseen mass variation and greater linear accessibility of contact-force information in decoder representations further provide evidence of retained RL-acquired control knowledge. Project website: https://yixiaowang7.github.io/latent-rl-prior-page/.
• Abstract（参考訳）: 限られた視覚的デモンストレーションから厳密な操作を学習することは、ポリシーが知覚的接地と精密な制御の両方を取得する必要があるのに対して、シミュレーションにおける強化学習(RL)は、特権情報との大規模な相互作用からリッチな制御行動を取得することができるため、難しい。 データ効率のよいビジュアルポリシー学習にこの制御知識を再利用する2段階フレームワークである \textbf{Latent RL Prior} を紹介する。 予備訓練の際, 大規模RLロールアウトをプロピロセプションと潜在タスクコンテキストを条件としたフローマッチング動作デコーダに蒸留する。 視覚適応中、私たちはデコーダを凍結し、特権ラベルや潜在ターゲットを使わずに、アクションインスペクションだけでイメージを潜在コンテキストにマッピングするビジュアルインターフェースを学習する。 同じデコーダは、両手操作のための協調した視覚的コンテキストを学習することで、腕間で共有することができる。 シミュレーションされた3つのタスク全体で、我々の手法は、低データ体制下では、π_{0.5}$とGR00T N1.7のフルパラメータ微調整を上回り、ドアリフトとバイマニュアルアセンブリでは、それぞれ10\times$と5\times$より少ないデモでフルデータベースラインを超える。 さらに解析した結果,事前学習した状態エンコーダによる視覚予測よりも適応性能と訓練安定性が向上した。 デコーダ表現における質量変動と接触力情報の線形アクセシビリティの向上に対するロバスト性はさらに、保持されたRL獲得制御知識の証拠を提供する。 プロジェクトウェブサイト:https://yixiaowang7.github.io/latent-rl-prior-page/。

関連論文リスト

• Knowledge-Guided Manipulation Using Multi-Task Reinforcement Learning [43.715148652244864]
  KG-M3POは、知覚、知識、ポリシーを統一する部分的に観察可能な設定でマルチタスクロボット操作を行うためのフレームワークである。 オンラインの3Dシーングラフは、オープン語彙の検出を計量的、リレーショナルな表現に変換する。
  論文  参考訳（メタデータ） (2026-03-25T08:41:32Z)
• DMC-VB: A Benchmark for Representation Learning for Control with Visual Distractors [13.700885996266457]
  行動クローニングやオフライン強化学習(RL)を通じて収集されたデータから学習することは、ジェネラリストエージェントをスケールするための強力なレシピである。 オフラインRLエージェントの堅牢性を評価するため,DeepMind Control Visual Benchmark (DMC-VB) をDeepMind Control Suiteで収集した。 そこで,本研究では,事前学習のための表現学習手法を評価するための3つのベンチマークを提案し,最近提案したいくつかの手法の実験を行った。
  論文  参考訳（メタデータ） (2024-09-26T23:07:01Z)
• Pre-trained Text-to-Image Diffusion Models Are Versatile Representation Learners for Control [73.6361029556484]
  身体的なAIエージェントは、視覚的および言語入力を介して、物理的な世界を詳細に理解する必要がある。 テキストプロンプトから画像を生成するために明示的に最適化された事前学習されたテキスト画像拡散モデルについて検討する。 安定度制御表現により,OVMM上での最先端性能を示す学習ポリシーが実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-09T15:39:54Z)
• Any-point Trajectory Modeling for Policy Learning [64.23861308947852]
  我々は、ビデオフレーム内の任意の点の将来の軌跡を予測するために、ATM(Any-point Trajectory Modeling)を導入する。 ATMは、強力なビデオ事前トレーニングベースラインを平均80%上回っている。 本研究では,人間の動画やビデオからの操作スキルを,異なるロボット形態から効果的に伝達する学習方法を示す。
  論文  参考訳（メタデータ） (2023-12-28T23:34:43Z)
• TACO: Temporal Latent Action-Driven Contrastive Loss for Visual Reinforcement Learning [73.53576440536682]
  時間的行動駆動型コントラスト学習(TACO: Temporal Action-driven Contrastive Learning)は、時間的コントラスト学習の強力なアプローチである。 TACOは、現在の状態の表現間の相互情報を最適化することにより、状態と行動表現を同時に学習する。 オンラインRLでは、TACOは100万の環境インタラクションステップの後、40%のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2023-06-22T22:21:53Z)
• Decoupling Representation Learning from Reinforcement Learning [89.82834016009461]
  Augmented Temporal Contrast (ATC) と呼ばれる教師なし学習タスクを導入する。 ATCは畳み込みエンコーダを訓練し、短い時間差で分離された観測ペアを関連付ける。 オンラインRL実験では,ATCマッチを用いたエンコーダのトレーニングや,エンド・ツー・エンドのRLよりも優れていた。
  論文  参考訳（メタデータ） (2020-09-14T19:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。