論文の概要: Sketch-to-Skill: Bootstrapping Robot Learning with Human Drawn Trajectory Sketches

• arxiv url: http://arxiv.org/abs/2503.11918v1
• Date: Fri, 14 Mar 2025 23:08:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:28:27.454435
• Title: Sketch-to-Skill: Bootstrapping Robot Learning with Human Drawn Trajectory Sketches
• Title（参考訳）: Sketch-to-Skill:人間のドローオージェクトリースケッチを用いたブートストラップロボット学習
• Authors: Peihong Yu, Amisha Bhaskar, Anukriti Singh, Zahiruddin Mahammad, Pratap Tokekar,
• Abstract要約: ロボット操作の訓練には、伝統的に多数のデモや環境のロールアウトが必要となる。 Sketch-to-Skillは、ロボット操作のためのブートストラップとガイドRLに、人間の描いた2Dスケッチトラジェクトリを活用する新しいフレームワークである。
• 参考スコア（独自算出の注目度）: 12.643638347912624
• License:
• Abstract: Training robotic manipulation policies traditionally requires numerous demonstrations and/or environmental rollouts. While recent Imitation Learning (IL) and Reinforcement Learning (RL) methods have reduced the number of required demonstrations, they still rely on expert knowledge to collect high-quality data, limiting scalability and accessibility. We propose Sketch-to-Skill, a novel framework that leverages human-drawn 2D sketch trajectories to bootstrap and guide RL for robotic manipulation. Our approach extends beyond previous sketch-based methods, which were primarily focused on imitation learning or policy conditioning, limited to specific trained tasks. Sketch-to-Skill employs a Sketch-to-3D Trajectory Generator that translates 2D sketches into 3D trajectories, which are then used to autonomously collect initial demonstrations. We utilize these sketch-generated demonstrations in two ways: to pre-train an initial policy through behavior cloning and to refine this policy through RL with guided exploration. Experimental results demonstrate that Sketch-to-Skill achieves ~96% of the performance of the baseline model that leverages teleoperated demonstration data, while exceeding the performance of a pure reinforcement learning policy by ~170%, only from sketch inputs. This makes robotic manipulation learning more accessible and potentially broadens its applications across various domains.
• Abstract（参考訳）: ロボット操作の訓練には、伝統的に多数のデモや環境のロールアウトが必要となる。 最近のImitation Learning (IL) とReinforcement Learning (RL) の手法は、必要なデモの数を削減しているが、彼らは依然として高品質のデータ収集に専門家の知識に依存しており、スケーラビリティとアクセシビリティを制限している。 Sketch-to-Skillは、ロボット操作のためのブートストラップとガイドRLに、人間の描いた2Dスケッチトラジェクトリを活用する新しいフレームワークである。 我々のアプローチは、主に模倣学習やポリシー条件付けに焦点をあて、訓練された特定のタスクに限定した、従来のスケッチベースの手法を超えています。 Sketch-to-Skillは、Sketch-to-3D Trajectory Generatorを使って、2Dスケッチを3Dトラジェクトリに変換し、最初のデモを自律的に収集する。 我々は,これらのスケッチ生成デモを,行動クローニングによる初期ポリシーの事前訓練と,ガイド付き探索によるRLによるこのポリシーの洗練という2つの方法で活用する。 実験結果から,Sketch-to-Skillは遠隔操作による実演データを利用したベースラインモデルの性能の約96%を達成し,スケッチ入力のみで純粋な強化学習ポリシーの性能を約170%上回った。 これにより、ロボット操作学習がよりアクセスしやすくなり、さまざまな分野に応用範囲を広げる可能性がある。

関連論文リスト

• Instant Policy: In-Context Imitation Learning via Graph Diffusion [12.879700241782528]
  In-context Imitation Learning (ICIL)は、ロボット工学にとって有望な機会である。 Instant Policyを導入し、たった1、2つのデモからすぐに新しいタスクを学習します。 また,言語定義タスクへのクロスボデーメントやゼロショット転送の基盤として機能することを示す。
  論文  参考訳（メタデータ） (2024-11-19T16:45:52Z)
• Latent Action Pretraining from Videos [156.88613023078778]
  一般行動モデル(LAPA)のための潜在行動事前訓練について紹介する。 LAPA(英: LAPA)は、VLA(Vision-Language-Action)モデルに接地型ロボットアクションラベルを含まない教師なしの訓練方法である。 本稿では,ロボットアクションラベルを持たないインターネット規模のビデオから学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-15T16:28:09Z)
• LLARVA: Vision-Action Instruction Tuning Enhances Robot Learning [50.99807031490589]
  LLARVAは,ロボット学習タスク,シナリオ,環境を統一するための,新しい指導指導法で訓練されたモデルである。 我々は,Open X-Embodimentデータセットから8.5Mの画像-視覚的トレースペアを生成し,モデルを事前学習する。 実験によって強い性能が得られ、LLARVAは現代のいくつかのベースラインと比較してよく機能することを示した。
  論文  参考訳（メタデータ） (2024-06-17T17:55:29Z)
• DITTO: Demonstration Imitation by Trajectory Transformation [31.930923345163087]
  そこで本研究では,RGB-Dビデオ録画による実演映像のワンショット模倣の問題に対処する。 本稿では,2段階のプロセスを提案する。第1段階では実演軌道をオフラインに抽出し,操作対象のセグメンテーションと,容器などの二次物体に対する相対運動を決定する。 オンライン軌道生成段階では、まず全ての物体を再検出し、次にデモ軌道を現在のシーンにワープし、ロボット上で実行します。
  論文  参考訳（メタデータ） (2024-03-22T13:46:51Z)
• Any-point Trajectory Modeling for Policy Learning [64.23861308947852]
  我々は、ビデオフレーム内の任意の点の将来の軌跡を予測するために、ATM(Any-point Trajectory Modeling)を導入する。 ATMは、強力なビデオ事前トレーニングベースラインを平均80%上回っている。 本研究では,人間の動画やビデオからの操作スキルを,異なるロボット形態から効果的に伝達する学習方法を示す。
  論文  参考訳（メタデータ） (2023-12-28T23:34:43Z)
• Instructing Robots by Sketching: Learning from Demonstration via Probabilistic Diagrammatic Teaching [14.839036866911089]
  Learning for Demonstration (LfD)は、ロボットが専門家のデモを模倣し、ユーザーが直感的に指示を伝えることを可能にする。 近年のLfDの進歩は、ユーザがデモを指定するための媒体として、審美的教育や遠隔操作に依存していることが多い。 本稿では,LfDの代替パラダイムであるダイアグラム教育を紹介する。
  論文  参考訳（メタデータ） (2023-09-07T16:49:38Z)
• From Scratch to Sketch: Deep Decoupled Hierarchical Reinforcement Learning for Robotic Sketching Agent [20.406075470956065]
  我々は,ロボットスケッチの問題を階層的強化学習の深層化として定式化する。 脳卒中ベースのレンダリングと運動制御の2つのポリシーを独立に学習し、描画のサブタスクを実現する。 実験の結果,2つの政策がサブタスクの学習に成功し,目標画像のスケッチに協力することが確認された。
  論文  参考訳（メタデータ） (2022-08-09T15:18:55Z)
• Silver-Bullet-3D at ManiSkill 2021: Learning-from-Demonstrations and Heuristic Rule-based Methods for Object Manipulation [118.27432851053335]
  本稿では,SAPIEN ManiSkill Challenge 2021: No Interaction Trackにおいて,以下の2つのトラックを対象としたシステムの概要と比較分析を行った。 No Interactionは、事前に収集された実証軌道からの学習ポリシーのターゲットを追跡する。 このトラックでは,タスクを一連のサブタスクに分解することで,高品質なオブジェクト操作をトリガするHuristic Rule-based Method (HRM) を設計する。 各サブタスクに対して、ロボットアームに適用可能なアクションを予測するために、単純なルールベースの制御戦略が採用されている。
  論文  参考訳（メタデータ） (2022-06-13T16:20:42Z)
• I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches [74.63313641583602]
  そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。 私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
  論文  参考訳（メタデータ） (2022-05-09T04:23:36Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。