論文の概要: DITTO: Demonstration Imitation by Trajectory Transformation

• arxiv url: http://arxiv.org/abs/2403.15203v2
• Date: Wed, 02 Oct 2024 11:41:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-03 15:16:43.162665
• Title: DITTO: Demonstration Imitation by Trajectory Transformation
• Title（参考訳）: DITTO:軌道変換による実証模倣
• Authors: Nick Heppert, Max Argus, Tim Welschehold, Thomas Brox, Abhinav Valada,
• Abstract要約: そこで本研究では,RGB-Dビデオ録画による実演映像のワンショット模倣の問題に対処する。 本稿では,2段階のプロセスを提案する。第1段階では実演軌道をオフラインに抽出し,操作対象のセグメンテーションと,容器などの二次物体に対する相対運動を決定する。 オンライン軌道生成段階では、まず全ての物体を再検出し、次にデモ軌道を現在のシーンにワープし、ロボット上で実行します。
• 参考スコア（独自算出の注目度）: 31.930923345163087
• License:
• Abstract: Teaching robots new skills quickly and conveniently is crucial for the broader adoption of robotic systems. In this work, we address the problem of one-shot imitation from a single human demonstration, given by an RGB-D video recording. We propose a two-stage process. In the first stage we extract the demonstration trajectory offline. This entails segmenting manipulated objects and determining their relative motion in relation to secondary objects such as containers. In the online trajectory generation stage, we first re-detect all objects, then warp the demonstration trajectory to the current scene and execute it on the robot. To complete these steps, our method leverages several ancillary models, including those for segmentation, relative object pose estimation, and grasp prediction. We systematically evaluate different combinations of correspondence and re-detection methods to validate our design decision across a diverse range of tasks. Specifically, we collect and quantitatively test on demonstrations of ten different tasks including pick-and-place tasks as well as articulated object manipulation. Finally, we perform extensive evaluations on a real robot system to demonstrate the effectiveness and utility of our approach in real-world scenarios. We make the code publicly available at http://ditto.cs.uni-freiburg.de.
• Abstract（参考訳）: ロボットに新しいスキルを迅速かつ便利に教えることは、ロボットシステムの普及に不可欠である。 そこで本研究では,RGB-Dビデオ記録による1枚の実演によるワンショット模倣の問題に対処する。 2段階のプロセスを提案する。 第1段階では、デモ軌道をオフラインで抽出する。 これは、操作されたオブジェクトのセグメンテーションと、コンテナのような二次的なオブジェクトに対する相対的な動きを決定する。 オンライン軌道生成段階では、まず全ての物体を再検出し、次にデモ軌道を現在のシーンにワープし、ロボット上で実行します。 これらのステップを完了するために,本手法では,セグメンテーション,相対オブジェクトのポーズ推定,把握予測など,いくつかの補助モデルを利用する。 多様なタスクにまたがって設計決定を検証するために,対応手法と再検出手法の異なる組み合わせを体系的に評価する。 具体的には、対象の操作だけでなく、ピック・アンド・プレイス・タスクを含む10種類のタスクのデモンストレーションを収集し、定量的に検証する。 最後に,現実のシナリオにおけるアプローチの有効性と有用性を示すために,実際のロボットシステム上で広範囲な評価を行う。 コードはhttp://ditto.cs.uni-freiburg.deで公開しています。

関連論文リスト

• Robot See Robot Do: Imitating Articulated Object Manipulation with Monocular 4D Reconstruction [51.49400490437258]
  本研究は,1つの単分子RGB人間の実演から音声による物体操作を模倣する手法を開発した。 まず,モノクロ映像から3次元部分運動を復元する4次元微分可能部品モデル(4D-DPM)を提案する。 この4D再構成を前提として、ロボットは物体の軌道を再現し、両腕の動きを計画し、実証された物体部分の動きを誘導する。 両用するYuMiロボットを用いて,4D-DPMの3D追跡精度を実写3D部分軌跡に基づいて評価し,9つのオブジェクトに対してRSRDの物理的実行性能を評価した。
  論文  参考訳（メタデータ） (2024-09-26T17:57:16Z)
• Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
  我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。 私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。 学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
  論文  参考訳（メタデータ） (2024-05-02T17:56:55Z)
• One-shot Imitation Learning via Interaction Warping [32.5466340846254]
  本稿では,1つの実演からSE(3)ロボット操作ポリシーを学習するためのインタラクションウォーピング法を提案する。 我々は、オブジェクトインスタンス間で点雲を整列させる技術である形状ワープを用いて、環境中の各オブジェクトの3Dメッシュを推論する。 3つのシミュレーションおよび実世界のオブジェクト再配置タスクで1ショットの模倣学習を成功させる。
  論文  参考訳（メタデータ） (2023-06-21T17:26:11Z)
• DexTransfer: Real World Multi-fingered Dexterous Grasping with Minimal Human Demonstrations [51.87067543670535]
  本研究では,少数の人間によるデモンストレーションを行い,見えない物体のポーズを学習するロボット学習システムを提案する。 我々は,物体の点群を入力として捉え,物体を異なる初期ロボット状態から把握するための連続的な動作を予測する,厳密な把握ポリシーを訓練する。 我々のデータセットから学んだポリシーは、シミュレーションと現実世界の両方で見えないオブジェクトのポーズをうまく一般化することができる。
  論文  参考訳（メタデータ） (2022-09-28T17:51:49Z)
• Bottom-Up Skill Discovery from Unsegmented Demonstrations for Long-Horizon Robot Manipulation [55.31301153979621]
  我々は,実世界の長距離ロボット操作作業に,スキル発見による取り組みを行う。 未解決のデモンストレーションから再利用可能なスキルのライブラリを学ぶためのボトムアップアプローチを提案する。 提案手法は,多段階操作タスクにおける最先端の模倣学習手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-09-28T16:18:54Z)
• Coarse-to-Fine Imitation Learning: Robot Manipulation from a Single Demonstration [8.57914821832517]
  視覚的模倣学習のためのシンプルな新しい手法を導入し,新しいロボット操作タスクを1人の人間による実演から学習できるようにする。 提案手法は、状態推定問題として模倣学習をモデル化し、状態がエンドエフェクタのポーズとして定義される。 テスト時、エンドエフェクタは線形経路を通って推定状態に移動し、元のデモのエンドエフェクタ速度を単に再生する。
  論文  参考訳（メタデータ） (2021-05-13T16:36:55Z)
• Learning to Shift Attention for Motion Generation [55.61994201686024]
  ロボット学習を用いた動作生成の課題の1つは、人間のデモが1つのタスククエリに対して複数のモードを持つ分布に従うことである。 以前のアプローチでは、すべてのモードをキャプチャできなかったり、デモの平均モードを取得できないため、無効なトラジェクトリを生成する傾向があった。 この問題を克服する外挿能力を有するモーション生成モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-24T09:07:52Z)
• "What's This?" -- Learning to Segment Unknown Objects from Manipulation Sequences [27.915309216800125]
  本稿では,ロボットマニピュレータを用いた自己教師型把握対象セグメンテーションのための新しいフレームワークを提案する。 本稿では,モーションキューとセマンティック知識を共同で組み込んだ,エンドツーエンドのトレーニング可能な単一アーキテクチャを提案する。 我々の手法は、運動ロボットや3Dオブジェクトモデルの視覚的登録にも、正確な手眼の校正や追加センサーデータにも依存しない。
  論文  参考訳（メタデータ） (2020-11-06T10:55:28Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。