論文の概要: Exploring Visual Pre-training for Robot Manipulation: Datasets, Models
and Methods
- arxiv url: http://arxiv.org/abs/2308.03620v1
- Date: Mon, 7 Aug 2023 14:24:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-08 13:13:09.665588
- Title: Exploring Visual Pre-training for Robot Manipulation: Datasets, Models
and Methods
- Title(参考訳): ロボットマニピュレーションのための視覚前訓練:データセット,モデル,方法
- Authors: Ya Jing, Xuelin Zhu, Xingbin Liu, Qie Sima, Taozheng Yang, Yunhai
Feng, Tao Kong
- Abstract要約: 本稿では,3つの基本的視点から,視覚的事前学習がロボット操作作業に及ぼす影響について検討する。
自己教師型学習と教師型学習を組み合わせた視覚的事前学習方式Vi-PRoMを提案する。
- 参考スコア(独自算出の注目度): 14.780597545674157
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual pre-training with large-scale real-world data has made great progress
in recent years, showing great potential in robot learning with pixel
observations. However, the recipes of visual pre-training for robot
manipulation tasks are yet to be built. In this paper, we thoroughly
investigate the effects of visual pre-training strategies on robot manipulation
tasks from three fundamental perspectives: pre-training datasets, model
architectures and training methods. Several significant experimental findings
are provided that are beneficial for robot learning. Further, we propose a
visual pre-training scheme for robot manipulation termed Vi-PRoM, which
combines self-supervised learning and supervised learning. Concretely, the
former employs contrastive learning to acquire underlying patterns from
large-scale unlabeled data, while the latter aims learning visual semantics and
temporal dynamics. Extensive experiments on robot manipulations in various
simulation environments and the real robot demonstrate the superiority of the
proposed scheme. Videos and more details can be found on
\url{https://explore-pretrain-robot.github.io}.
- Abstract(参考訳): 近年,大規模な実世界のデータを用いた事前学習は大きな進歩を遂げており,画素観察によるロボット学習に大きな可能性を示している。
しかし、ロボット操作タスクの視覚的事前訓練のレシピはまだ作成されていない。
本稿では,ロボット操作タスクに対する視覚的事前学習戦略の効果を,事前学習データセット,モデルアーキテクチャ,トレーニング手法の3つの基本的視点から詳細に検討する。
ロボット学習に役立ついくつかの重要な実験結果が提供される。
さらに,自己教師型学習と教師型学習を組み合わせた視覚的事前学習手法であるVi-PRoMを提案する。
具体的には、前者は対照的な学習を用いて、大規模にラベル付けされていないデータから基礎となるパターンを取得する。
各種シミュレーション環境におけるロボット操作の大規模実験と実ロボットが提案手法の優位性を実証する。
ビデオや詳細は \url{https://explore-pretrain-robot.github.io} で見ることができる。
関連論文リスト
- Learning by Watching: A Review of Video-based Learning Approaches for
Robot Manipulation [0.0]
最近の研究は、オンラインで公開されている豊富な動画を受動的に視聴することで、学習操作のスキルを探求している。
本調査では,映像特徴表現学習技術,物価理解,3次元ハンド・ボディ・モデリング,大規模ロボット資源などの基礎を概観する。
ロボット操作の一般化とサンプル効率を高めるために,大規模な人的映像を観察することのみから学習する方法を論じる。
論文 参考訳(メタデータ) (2024-02-11T08:41:42Z) - Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for
Autonomous Real-World Reinforcement Learning [58.3994826169858]
ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。
我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。
提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
論文 参考訳(メタデータ) (2023-10-23T17:50:08Z) - Robot Learning with Sensorimotor Pre-training [98.7755895548928]
ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。
我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。
感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
論文 参考訳(メタデータ) (2023-06-16T17:58:10Z) - Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement
Learning [54.636562516974884]
模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。
本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。
ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
論文 参考訳(メタデータ) (2023-03-02T18:51:38Z) - Scaling Robot Learning with Semantically Imagined Experience [21.361979238427722]
ロボット学習の最近の進歩は、ロボットが操作タスクを実行できることを約束している。
この進歩に寄与する要因の1つは、モデルのトレーニングに使用されるロボットデータのスケールである。
本稿では,コンピュータビジョンや自然言語処理に広く用いられているテキスト・ツー・イメージ基盤モデルを利用した代替手法を提案する。
論文 参考訳(メタデータ) (2023-02-22T18:47:51Z) - Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。
学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
論文 参考訳(メタデータ) (2022-11-16T16:26:48Z) - Continual Learning from Demonstration of Robotics Skills [5.573543601558405]
ロボットに動きのスキルを教える方法は、一度に1つのスキルのトレーニングに集中する。
本稿では,ハイパーネットとニューラル常微分方程式解法を用いた実験から連続学習へのアプローチを提案する。
論文 参考訳(メタデータ) (2022-02-14T16:26:52Z) - A Framework for Efficient Robotic Manipulation [79.10407063260473]
単一のロボットアームがピクセルからスパースリワード操作ポリシーを学習できることを示します。
デモは10回しかなく、単一のロボットアームがピクセルからスパースリワード操作のポリシーを学習できることを示しています。
論文 参考訳(メタデータ) (2020-12-14T22:18:39Z) - Learning Predictive Models From Observation and Interaction [137.77887825854768]
世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。
しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。
本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
論文 参考訳(メタデータ) (2019-12-30T01:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。