論文の概要: Exploring Visual Pre-training for Robot Manipulation: Datasets, Models and Methods

• arxiv url: http://arxiv.org/abs/2308.03620v1
• Date: Mon, 7 Aug 2023 14:24:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 13:13:09.665588
• Title: Exploring Visual Pre-training for Robot Manipulation: Datasets, Models and Methods
• Title（参考訳）: ロボットマニピュレーションのための視覚前訓練:データセット,モデル,方法
• Authors: Ya Jing, Xuelin Zhu, Xingbin Liu, Qie Sima, Taozheng Yang, Yunhai Feng, Tao Kong
• Abstract要約: 本稿では,3つの基本的視点から,視覚的事前学習がロボット操作作業に及ぼす影響について検討する。 自己教師型学習と教師型学習を組み合わせた視覚的事前学習方式Vi-PRoMを提案する。
• 参考スコア（独自算出の注目度）: 14.780597545674157
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual pre-training with large-scale real-world data has made great progress in recent years, showing great potential in robot learning with pixel observations. However, the recipes of visual pre-training for robot manipulation tasks are yet to be built. In this paper, we thoroughly investigate the effects of visual pre-training strategies on robot manipulation tasks from three fundamental perspectives: pre-training datasets, model architectures and training methods. Several significant experimental findings are provided that are beneficial for robot learning. Further, we propose a visual pre-training scheme for robot manipulation termed Vi-PRoM, which combines self-supervised learning and supervised learning. Concretely, the former employs contrastive learning to acquire underlying patterns from large-scale unlabeled data, while the latter aims learning visual semantics and temporal dynamics. Extensive experiments on robot manipulations in various simulation environments and the real robot demonstrate the superiority of the proposed scheme. Videos and more details can be found on \url{https://explore-pretrain-robot.github.io}.
• Abstract（参考訳）: 近年,大規模な実世界のデータを用いた事前学習は大きな進歩を遂げており,画素観察によるロボット学習に大きな可能性を示している。 しかし、ロボット操作タスクの視覚的事前訓練のレシピはまだ作成されていない。 本稿では,ロボット操作タスクに対する視覚的事前学習戦略の効果を,事前学習データセット,モデルアーキテクチャ,トレーニング手法の3つの基本的視点から詳細に検討する。 ロボット学習に役立ついくつかの重要な実験結果が提供される。 さらに,自己教師型学習と教師型学習を組み合わせた視覚的事前学習手法であるVi-PRoMを提案する。 具体的には、前者は対照的な学習を用いて、大規模にラベル付けされていないデータから基礎となるパターンを取得する。 各種シミュレーション環境におけるロボット操作の大規模実験と実ロボットが提案手法の優位性を実証する。 ビデオや詳細は \url{https://explore-pretrain-robot.github.io} で見ることができる。

関連論文リスト

• Robots Pre-train Robots: Manipulation-Centric Robotic Representation from Large-Scale Robot Datasets [24.77850617214567]
  本稿では,視覚的特徴と操作タスクの行動や受容といった動的情報の両方を抽出する基礎表現学習フレームワークを提案する。 具体的には、DROIDロボットデータセット上で視覚エンコーダを事前訓練し、ロボットの受容状態や動作などの動作関連データを活用する。 本研究では,視覚的観察をロボットの主観的状態-動作ダイナミクスと整合させる新しいコントラスト的損失と,事前トレーニング中の行動を予測する行動クローニング(BC)のようなアクター損失と,時間的コントラスト的損失を導入する。
  論文  参考訳（メタデータ） (2024-10-29T17:58:13Z)
• KALIE: Fine-Tuning Vision-Language Models for Open-World Manipulation without Robot Data [45.25288643161976]
  本稿では,ロボット制御をスケーラブルに行うために,KALIE(Keypoint Affordance Learning from Imagined Environments)を提案する。 モーターコマンドを直接生成する代わりに、KALIEはポイントベースの価格表現を予測してロボットを制御する。 我々はKALIEが、50個のデータポイントしか持たない未確認オブジェクトで、新しい操作タスクを堅牢に解くことができることを実証した。
  論文  参考訳（メタデータ） (2024-09-21T08:45:16Z)
• Learning Manipulation by Predicting Interaction [85.57297574510507]
  本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。 実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-06-01T13:28:31Z)
• Robot Learning with Sensorimotor Pre-training [98.7755895548928]
  ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。 我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。 感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
  論文  参考訳（メタデータ） (2023-06-16T17:58:10Z)
• Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning [54.636562516974884]
  模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。 本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。 ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
  論文  参考訳（メタデータ） (2023-03-02T18:51:38Z)
• Scaling Robot Learning with Semantically Imagined Experience [21.361979238427722]
  ロボット学習の最近の進歩は、ロボットが操作タスクを実行できることを約束している。 この進歩に寄与する要因の1つは、モデルのトレーニングに使用されるロボットデータのスケールである。 本稿では,コンピュータビジョンや自然言語処理に広く用いられているテキスト・ツー・イメージ基盤モデルを利用した代替手法を提案する。
  論文  参考訳（メタデータ） (2023-02-22T18:47:51Z)
• Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
  我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。 学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
  論文  参考訳（メタデータ） (2022-11-16T16:26:48Z)
• Continual Learning from Demonstration of Robotics Skills [5.573543601558405]
  ロボットに動きのスキルを教える方法は、一度に1つのスキルのトレーニングに集中する。 本稿では,ハイパーネットとニューラル常微分方程式解法を用いた実験から連続学習へのアプローチを提案する。
  論文  参考訳（メタデータ） (2022-02-14T16:26:52Z)
• A Framework for Efficient Robotic Manipulation [79.10407063260473]
  単一のロボットアームがピクセルからスパースリワード操作ポリシーを学習できることを示します。 デモは10回しかなく、単一のロボットアームがピクセルからスパースリワード操作のポリシーを学習できることを示しています。
  論文  参考訳（メタデータ） (2020-12-14T22:18:39Z)
• Learning Predictive Models From Observation and Interaction [137.77887825854768]
  世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。 しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。 本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
  論文  参考訳（メタデータ） (2019-12-30T01:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。