論文の概要: Knowledge-Driven Robot Program Synthesis from Human VR Demonstrations

• arxiv url: http://arxiv.org/abs/2306.02739v2
• Date: Mon, 3 Jul 2023 08:57:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-04 12:53:43.880978
• Title: Knowledge-Driven Robot Program Synthesis from Human VR Demonstrations
• Title（参考訳）: 人間のvrデモによる知識駆動型ロボットプログラム合成
• Authors: Benjamin Alt, Franklin Kenghagho Kenfack, Andrei Haidu, Darko Katic, Rainer J\"akel, Michael Beetz
• Abstract要約: バーチャルリアリティ(VR)におけるヒューマンタスクの実演から実行可能なロボット制御プログラムを自動生成するシステムを提案する。 我々は、人間のVRデモを意味論的に解釈するために、常識知識とゲームエンジンに基づく物理を利用する。 ロボットショッピングアシスタントにおける力覚的フェッチ・アンド・プレイスという文脈でのアプローチを実証する。
• 参考スコア（独自算出の注目度）: 16.321053835017942
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Aging societies, labor shortages and increasing wage costs call for assistance robots capable of autonomously performing a wide array of real-world tasks. Such open-ended robotic manipulation requires not only powerful knowledge representations and reasoning (KR&R) algorithms, but also methods for humans to instruct robots what tasks to perform and how to perform them. In this paper, we present a system for automatically generating executable robot control programs from human task demonstrations in virtual reality (VR). We leverage common-sense knowledge and game engine-based physics to semantically interpret human VR demonstrations, as well as an expressive and general task representation and automatic path planning and code generation, embedded into a state-of-the-art cognitive architecture. We demonstrate our approach in the context of force-sensitive fetch-and-place for a robotic shopping assistant. The source code is available at https://github.com/ease-crc/vr-program-synthesis.
• Abstract（参考訳）: 高齢化社会、労働力不足、賃金の上昇は、様々な現実世界のタスクを自律的に遂行できる支援ロボットを呼び起こす。 このようなオープンなロボット操作には、強力な知識表現と推論(KR&R)アルゴリズムだけでなく、ロボットに実行すべきタスクと実行方法を教える方法も必要です。 本稿では,仮想現実(VR)におけるヒューマンタスクの実演から実行可能なロボット制御プログラムを自動生成するシステムを提案する。 私たちは、常識的な知識とゲームエンジンベースの物理を利用して、人間のvrデモを意味的に解釈し、表現力と一般的なタスク表現と自動パス計画とコード生成を最先端の認知アーキテクチャに組み込む。 ロボットショッピングアシスタントにおける力覚的フェッチ・アンド・プレイスという文脈でのアプローチを実証する。 ソースコードはhttps://github.com/ease-crc/vr-program- synthesisで入手できる。

関連論文リスト

• $π_0$: A Vision-Language-Action Flow Model for General Robot Control [77.32743739202543]
  本稿では,インターネット規模のセマンティック知識を継承するために,事前学習された視覚言語モデル(VLM)上に構築された新しいフローマッチングアーキテクチャを提案する。 我々は,事前訓練後のタスクをゼロショットで実行し,人からの言語指導に追従し,微調整で新たなスキルを習得する能力の観点から,我々のモデルを評価した。
  論文  参考訳（メタデータ） (2024-10-31T17:22:30Z)
• Know your limits! Optimize the robot's behavior through self-awareness [11.021217430606042]
  最近の人間ロボット模倣アルゴリズムは、高精度な人間の動きを追従することに焦点を当てている。 本稿では,ロボットが参照を模倣する際の動作を予測できるディープラーニングモデルを提案する。 我々のSAW(Self-AWare Model)は、転倒確率、基準運動への固執、滑らかさといった様々な基準に基づいて、潜在的なロボットの挙動をランク付けする。
  論文  参考訳（メタデータ） (2024-09-16T14:14:58Z)
• HumanoidBench: Simulated Humanoid Benchmark for Whole-Body Locomotion and Manipulation [50.616995671367704]
  そこで本研究では,人型ロボットが器用な手を備えた,高次元シミュレーション型ロボット学習ベンチマークHumanoidBenchを提案する。 その結果,現在最先端の強化学習アルゴリズムがほとんどのタスクに支障をきたすのに対して,階層的学習アプローチはロバストな低レベルポリシーに支えられた場合,優れた性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2024-03-15T17:45:44Z)
• Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations [66.47064743686953]
  眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。 一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。 本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
  論文  参考訳（メタデータ） (2023-07-12T07:04:53Z)
• Robot Learning with Sensorimotor Pre-training [98.7755895548928]
  ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。 我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。 感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
  論文  参考訳（メタデータ） (2023-06-16T17:58:10Z)
• Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning [54.636562516974884]
  模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。 本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。 ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
  論文  参考訳（メタデータ） (2023-03-02T18:51:38Z)
• Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
  我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。 学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
  論文  参考訳（メタデータ） (2022-11-16T16:26:48Z)
• Robot Sound Interpretation: Learning Visual-Audio Representations for Voice-Controlled Robots [0.0]
  画像と音声コマンドを最小限の監督で関連付ける表現を学習する。 この表現を用いて、強化学習を用いてロボットタスクを学習する本質的な報酬関数を生成する。 提案手法は, 様々な音響タイプやロボット作業において, 従来の作業よりも優れていたことを示す。
  論文  参考訳（メタデータ） (2021-09-07T02:26:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。