論文の概要: Action-Conditioned Contrastive Policy Pretraining

• arxiv url: http://arxiv.org/abs/2204.02393v1
• Date: Tue, 5 Apr 2022 17:58:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-06 12:52:21.022901
• Title: Action-Conditioned Contrastive Policy Pretraining
• Title（参考訳）: アクション・コンディション・コントラスト政策事前訓練
• Authors: Qihang Zhang, Zhenghao Peng, Bolei Zhou
• Abstract要約: 深層運動のポリシー学習は、ロボット操作や自律運転などの制御タスクにおいて有望な結果を達成する。 トレーニング環境との膨大な数のオンラインインタラクションが必要です。 本研究では、数時間の未計算YouTubeビデオを用いて、タスクを駆動するためのポリシー表現を事前訓練することを目的とする。
• 参考スコア（独自算出の注目度）: 39.13710045468429
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep visuomotor policy learning achieves promising results in control tasks such as robotic manipulation and autonomous driving, where the action is generated from the visual input by the neural policy. However, it requires a huge number of online interactions with the training environment, which limits its real-world application. Compared to the popular unsupervised feature learning for visual recognition, feature pretraining for visuomotor control tasks is much less explored. In this work, we aim to pretrain policy representations for driving tasks using hours-long uncurated YouTube videos. A new contrastive policy pretraining method is developed to learn action-conditioned features from video frames with action pseudo labels. Experiments show that the resulting action-conditioned features bring substantial improvements to the downstream reinforcement learning and imitation learning tasks, outperforming the weights pretrained from previous unsupervised learning methods. Code and models will be made publicly available.
• Abstract（参考訳）: deep visuomotor policy learningは、ロボット操作や自律運転といった、神経ポリシーによる視覚入力からアクションが生成される制御タスクにおいて、有望な結果を達成する。 しかし、トレーニング環境との膨大な数のオンラインインタラクションが必要であり、実際のアプリケーションを制限する。 視覚認知のための教師なし機能学習と比較して、視覚運動制御タスクのための特徴事前学習は、はるかに少ない。 本研究では、数時間の未計算YouTubeビデオを用いて、タスクを駆動するためのポリシー表現を事前訓練することを目的とする。 アクション擬似ラベル付きビデオフレームからアクション条件付き特徴を学習するための新しいコントラストポリシー事前学習法を開発した。 実験の結果,下流強化学習と模倣学習タスクが,従来の教師なし学習手法から事前学習した重みを上回って大幅に改善することが判明した。 コードとモデルは公開される予定だ。

関連論文リスト

• Pre-trained Visual Dynamics Representations for Efficient Policy Learning [33.62440075940917]
  本稿では,ビデオと下流タスク間の領域ギャップを埋めて効率的なポリシー学習を実現するために,事前学習型ビジュアルダイナミクス表現(PVDR)を提案する。 事前訓練された視覚力学表現は、ビデオの知識以前の視覚力学をキャプチャする。 この抽象的な事前知識は、ダウンストリームタスクに容易に適応でき、オンライン適応を通じて実行可能なアクションと整合することができる。
  論文  参考訳（メタデータ） (2024-11-05T15:18:02Z)
• Any-point Trajectory Modeling for Policy Learning [64.23861308947852]
  我々は、ビデオフレーム内の任意の点の将来の軌跡を予測するために、ATM(Any-point Trajectory Modeling)を導入する。 ATMは、強力なビデオ事前トレーニングベースラインを平均80%上回っている。 本研究では,人間の動画やビデオからの操作スキルを,異なるロボット形態から効果的に伝達する学習方法を示す。
  論文  参考訳（メタデータ） (2023-12-28T23:34:43Z)
• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)
• Reinforcement Learning with Action-Free Pre-Training from Videos [95.25074614579646]
  本稿では,ビデオにおける生成前学習を通じて動的理解に役立つ表現を学習するフレームワークを提案する。 我々のフレームワークは、視覚に基づく強化学習の最終性能とサンプル効率の両方を著しく改善する。
  論文  参考訳（メタデータ） (2022-03-25T19:44:09Z)
• Distilling Motion Planner Augmented Policies into Visual Control Policies for Robot Manipulation [26.47544415550067]
  我々は,国家ベースのモーションプランナ拡張ポリシーを視覚制御ポリシーに蒸留することを提案する。 閉塞環境における3つの操作課題について評価を行った。 我々のフレームワークはサンプリング効率が高く、最先端のアルゴリズムよりも優れています。
  論文  参考訳（メタデータ） (2021-11-11T18:52:00Z)
• Augmenting Reinforcement Learning with Behavior Primitives for Diverse Manipulation Tasks [17.13584584844048]
  本研究では,MAnipulation Primitive-augmented reinforcement LEarning (MAPLE)を導入した。 我々は、プリミティブを巻き込み、それらの実行を入力パラメータでインスタンス化する階層的なポリシーを開発する。 我々は、MAPLEが、シミュレーション操作タスクのスイートにおいて、ベースラインアプローチをかなりのマージンで上回ることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:44:33Z)
• Human-in-the-Loop Imitation Learning using Remote Teleoperation [72.2847988686463]
  6-DoF操作設定に合わせたデータ収集システムを構築します。 システムによって収集された新しいデータに基づいて,ポリシーを反復的にトレーニングするアルゴリズムを開発した。 介入型システムで収集したデータに基づいて訓練されたエージェントと、非介入型デモ参加者が収集した同等数のサンプルで訓練されたアルゴリズムを上回るエージェントを実証する。
  論文  参考訳（メタデータ） (2020-12-12T05:30:35Z)
• Neural Dynamic Policies for End-to-End Sensorimotor Learning [51.24542903398335]
  感覚運動制御における現在の主流パラダイムは、模倣であれ強化学習であれ、生の行動空間で政策を直接訓練することである。 軌道分布空間の予測を行うニューラル・ダイナミック・ポリシー(NDP)を提案する。 NDPは、いくつかのロボット制御タスクにおいて、効率と性能の両面で、これまでの最先端よりも優れている。
  論文  参考訳（メタデータ） (2020-12-04T18:59:32Z)
• NEARL: Non-Explicit Action Reinforcement Learning for Robotic Control [15.720231070808696]
  本稿では,明示的な動作を伴わない新しい階層型強化学習フレームワークを提案する。 我々のメタポリシーは次の最適状態の操作を試み、実際の動作は逆ダイナミクスモデルによって生成される。 我々のフレームワークでは、広く利用可能な州のみのデモンストレーションを模倣学習に効果的に活用することができる。
  論文  参考訳（メタデータ） (2020-11-02T15:28:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。