論文の概要: NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics via Novel-View Synthesis

• arxiv url: http://arxiv.org/abs/2301.08556v1
• Date: Wed, 18 Jan 2023 23:25:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-23 13:10:19.612569
• Title: NeRF in the Palm of Your Hand: Corrective Augmentation for Robotics via Novel-View Synthesis
• Title（参考訳）: 手のひらの中のnerf:ノベルビュー合成によるロボティクスの補正強化
• Authors: Allan Zhou, Moo Jin Kim, Lirui Wang, Pete Florence, Chelsea Finn
• Abstract要約: SPARTN(Synthetic Perturbations for Augmenting Robot Trajectories via NeRF)は、ロボットポリシーを改善するための完全なオフラインデータ拡張スキームである。 提案手法はニューラルレイディアンス場(NeRF)を利用して,視覚的デモンストレーションに補正ノイズを合成注入する。 シミュレーションされた6-DoF視覚的把握ベンチマークでは、SPARTNは精度を2.8$times$で改善する。
• 参考スコア（独自算出の注目度）: 50.93065653283523
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Expert demonstrations are a rich source of supervision for training visual robotic manipulation policies, but imitation learning methods often require either a large number of demonstrations or expensive online expert supervision to learn reactive closed-loop behaviors. In this work, we introduce SPARTN (Synthetic Perturbations for Augmenting Robot Trajectories via NeRF): a fully-offline data augmentation scheme for improving robot policies that use eye-in-hand cameras. Our approach leverages neural radiance fields (NeRFs) to synthetically inject corrective noise into visual demonstrations, using NeRFs to generate perturbed viewpoints while simultaneously calculating the corrective actions. This requires no additional expert supervision or environment interaction, and distills the geometric information in NeRFs into a real-time reactive RGB-only policy. In a simulated 6-DoF visual grasping benchmark, SPARTN improves success rates by 2.8$\times$ over imitation learning without the corrective augmentations and even outperforms some methods that use online supervision. It additionally closes the gap between RGB-only and RGB-D success rates, eliminating the previous need for depth sensors. In real-world 6-DoF robotic grasping experiments from limited human demonstrations, our method improves absolute success rates by $22.5\%$ on average, including objects that are traditionally challenging for depth-based methods. See video results at \url{https://bland.website/spartn}.
• Abstract（参考訳）: エキスパートデモは、視覚ロボット操作のポリシーを訓練するための豊富な監督の源であるが、模倣学習の方法は、リアクティブなクローズドループの振る舞いを学ぶために、多くのデモンストレーションや高価なオンライン専門家の監督を必要とすることが多い。 本研究では,SPARTN(Synthetic Perturbations for Augmenting Robot Trajectories via NeRF)を導入した。 提案手法はニューラルレイディアンス場(NeRF)を利用して視覚的実演に補正ノイズを合成し,NeRFを用いて摂動視点を生成し,同時に補正動作を計算する。 これは専門的な監督や環境相互作用を必要とせず、NeRFの幾何学的情報をリアルタイムの反応性RGBのみのポリシーに蒸留する。 シミュレーションされた6-DoF視覚的把握ベンチマークでは、SPARTNは再現学習よりも成功率を2.8$\times$で改善し、オンラインの監視方法よりも優れている。 さらに、RGBオンリーとRGB-D成功率のギャップを埋め、これまでの奥行きセンサーの必要性をなくす。 実世界の6-DoFロボットグルーピング実験では,従来のディープベース手法では困難であった物体を含む,絶対的な成功率を平均22.5\%向上させる。 結果は \url{https://bland.website/spartn} を参照。

関連論文リスト

• Offline Imitation Learning Through Graph Search and Retrieval [57.57306578140857]
  模倣学習は、ロボットが操作スキルを取得するための強力な機械学習アルゴリズムである。 本稿では,グラフ検索と検索により,最適下実験から学習する,シンプルで効果的なアルゴリズムGSRを提案する。 GSRは、ベースラインに比べて10%から30%高い成功率、30%以上の熟練を達成できる。
  論文  参考訳（メタデータ） (2024-07-22T06:12:21Z)
• Render and Diffuse: Aligning Image and Action Spaces for Diffusion-based Behaviour Cloning [15.266994159289645]
  Render and Diffuse(R&D)は,ロボットの3次元モデルの仮想レンダリングを用いて,画像空間内の低レベルロボット動作とRGB観察を統一する手法である。 この空間統一は学習問題を単純化し、サンプル効率と空間一般化に不可欠な帰納バイアスを導入する。 以上の結果から,R&Dは空間一般化能力が高く,より一般的なイメージ・ツー・アクション法よりもサンプリング効率が高いことがわかった。
  論文  参考訳（メタデータ） (2024-05-28T14:06:10Z)
• What Matters to You? Towards Visual Representation Alignment for Robot Learning [81.30964736676103]
  人のために運用する場合、ロボットはエンドユーザーの好みに合わせて報酬を最適化する必要がある。 本稿では、視覚的表現アライメント問題を解決するためのRAPL(Representation-Aligned Preference-based Learning)を提案する。
  論文  参考訳（メタデータ） (2023-10-11T23:04:07Z)
• Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations [66.47064743686953]
  眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。 一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。 本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
  論文  参考訳（メタデータ） (2023-07-12T07:04:53Z)
• Training Robots without Robots: Deep Imitation Learning for Master-to-Robot Policy Transfer [4.318590074766604]
  深層模倣学習は、デモサンプルのみを必要とするため、ロボット操作に有望である。 既存の実証手法には欠点があり、双方向遠隔操作には複雑な制御方式が必要であり、高価である。 本研究は、力覚フィードバックに基づく操作タスクをロボットに教える必要がない新しいM2Rポリシー伝達システムを提案する。
  論文  参考訳（メタデータ） (2022-02-19T10:55:10Z)
• Towards a Sample Efficient Reinforcement Learning Pipeline for Vision Based Robotics [0.0]
  我々は,ロボットアームの訓練に要する時間を制限するために,パイプラインをできるだけ効率的に組み立てることによって,スクラッチからボールに到達するための時間を制限する方法について検討した。 パイプラインは、RGBビデオから関連する情報をComputer Visionアルゴリズムでキャプチャする、という2つの部分に分けられる。 もうひとつは、Deep Reinforcement Learning(深層強化学習)アルゴリズムを使って、ロボットアームが自分の前にあるターゲットに到達できるように、より速くトレーニングする方法だ。
  論文  参考訳（メタデータ） (2021-05-20T13:13:01Z)
• Where is my hand? Deep hand segmentation for visual self-recognition in humanoid robots [129.46920552019247]
  本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。 ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
  論文  参考訳（メタデータ） (2021-02-09T10:34:32Z)
• A Framework for Efficient Robotic Manipulation [79.10407063260473]
  単一のロボットアームがピクセルからスパースリワード操作ポリシーを学習できることを示します。 デモは10回しかなく、単一のロボットアームがピクセルからスパースリワード操作のポリシーを学習できることを示しています。
  論文  参考訳（メタデータ） (2020-12-14T22:18:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。