論文の概要: Action-conditioned Deep Visual Prediction with RoAM, a new Indoor Human
Motion Dataset for Autonomous Robots
- arxiv url: http://arxiv.org/abs/2306.15852v1
- Date: Wed, 28 Jun 2023 00:58:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-29 16:13:41.798623
- Title: Action-conditioned Deep Visual Prediction with RoAM, a new Indoor Human
Motion Dataset for Autonomous Robots
- Title(参考訳): 自律ロボットのための新しい室内人間動作データセットRoAMを用いた行動条件深部視覚予測
- Authors: Meenakshi Sarkar, Vinayak Honkote, Dibyendu Das and Debasish Ghose
- Abstract要約: ロボット自律運動(RoAM)ビデオデータセットについて紹介する。
このロボットは、ロボットのエゴビジョンから様々な人間の動きを記録する様々な屋内環境において、カスタムメイドのタートルボット3バーガーロボットで収集される。
データセットには、LiDARスキャンの同期記録や、静的で動く人間のエージェントの周りを移動する際にロボットが取るすべての制御アクションも含まれている。
- 参考スコア(独自算出の注目度): 1.7778609937758327
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the increasing adoption of robots across industries, it is crucial to
focus on developing advanced algorithms that enable robots to anticipate,
comprehend, and plan their actions effectively in collaboration with humans. We
introduce the Robot Autonomous Motion (RoAM) video dataset, which is collected
with a custom-made turtlebot3 Burger robot in a variety of indoor environments
recording various human motions from the robot's ego-vision. The dataset also
includes synchronized records of the LiDAR scan and all control actions taken
by the robot as it navigates around static and moving human agents. The unique
dataset provides an opportunity to develop and benchmark new visual prediction
frameworks that can predict future image frames based on the action taken by
the recording agent in partially observable scenarios or cases where the
imaging sensor is mounted on a moving platform. We have benchmarked the dataset
on our novel deep visual prediction framework called ACPNet where the
approximated future image frames are also conditioned on action taken by the
robot and demonstrated its potential for incorporating robot dynamics into the
video prediction paradigm for mobile robotics and autonomous navigation
research.
- Abstract(参考訳): 産業におけるロボットの採用の増加に伴い、ロボットが人間と協調して効果的に行動を予測、理解、計画できる高度なアルゴリズムの開発に注力することが重要である。
ロボットのエゴビジョンから様々な人間の動きを記録できる様々な屋内環境において、カスタムメイドのタートルボット3バーガーロボットで収集されるロボット自律運動(RoAM)ビデオデータセットを紹介する。
データセットには、LiDARスキャンの同期記録や、静的で動く人間のエージェントの周りを移動する際にロボットが取るすべての制御アクションも含まれている。
このユニークなデータセットは、記録エージェントが部分的に観察可能なシナリオや、イメージングセンサーが移動プラットフォームにマウントされているケースにおいて、将来の画像フレームを予測できる新しいビジュアル予測フレームワークの開発とベンチマークを提供する。
acpnetと呼ばれる新しい深部視覚予測フレームワークのデータセットをベンチマークし、近似された将来の画像フレームはロボットのアクションにも依存しており、モバイルロボットと自律ナビゲーション研究のためのビデオ予測パラダイムにロボットダイナミクスを組み込む可能性を実証した。
関連論文リスト
- Robot Learning with Sensorimotor Pre-training [98.7755895548928]
ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。
我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。
感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
論文 参考訳(メタデータ) (2023-06-16T17:58:10Z) - Combining Vision and Tactile Sensation for Video Prediction [0.0]
本研究では,触覚フィードバックを映像予測モデルに組み込んだ物理的ロボットインタラクションの効果について検討する。
磁気ベースの触覚センサを用いて教師なし学習を行うロボットプッシュの2つの新しいデータセットを紹介した。
以上の結果から,触覚フィードバックを映像予測モデルに組み込むことにより,シーン予測精度が向上し,エージェントの身体的相互作用に対する認識が向上することが示唆された。
論文 参考訳(メタデータ) (2023-04-21T18:02:15Z) - HabitatDyn Dataset: Dynamic Object Detection to Kinematics Estimation [16.36110033895749]
本稿では,合成RGBビデオ,セマンティックラベル,深度情報,および運動情報を含むデータセットHabitatDynを提案する。
HabitatDynは移動カメラを搭載した移動ロボットの視点で作られ、6種類の移動物体をさまざまな速度で撮影する30のシーンを含んでいる。
論文 参考訳(メタデータ) (2023-04-21T09:57:35Z) - Zero-Shot Robot Manipulation from Passive Human Videos [59.193076151832145]
我々は,人間の映像からエージェント非依存の行動表現を抽出するフレームワークを開発した。
我々の枠組みは、人間の手の動きを予測することに基づいている。
トレーニングされたモデルゼロショットを物理ロボット操作タスクにデプロイする。
論文 参考訳(メタデータ) (2023-02-03T21:39:52Z) - GNM: A General Navigation Model to Drive Any Robot [67.40225397212717]
視覚に基づくナビゲーションのための一般的な目標条件付きモデルは、多くの異なるが構造的に類似したロボットから得られたデータに基づいて訓練することができる。
ロボット間の効率的なデータ共有に必要な設計決定について分析する。
我々は、訓練されたGNMを、下四極子を含む様々な新しいロボットに展開する。
論文 参考訳(メタデータ) (2022-10-07T07:26:41Z) - Spatial Computing and Intuitive Interaction: Bringing Mixed Reality and
Robotics Together [68.44697646919515]
本稿では,空間コンピューティングを応用し,新しいロボットのユースケースを実現するためのロボットシステムについて述べる。
空間コンピューティングとエゴセントリックな感覚を複合現実感デバイスに組み合わせることで、人間の行動をキャプチャして理解し、それらを空間的な意味を持つ行動に変換することができる。
論文 参考訳(メタデータ) (2022-02-03T10:04:26Z) - Single-view robot pose and joint angle estimation via render & compare [40.05546237998603]
本稿では,1枚のRGB画像から関節角度と6Dカメラとロボットのポーズを推定する手法であるRoboPoseを紹介する。
これは、モバイルおよび反復型自律システムに他のロボットと対話する能力を与える上で、重要な問題である。
論文 参考訳(メタデータ) (2021-04-19T14:48:29Z) - Future Frame Prediction for Robot-assisted Surgery [57.18185972461453]
本稿では,ロボット手術用ビデオシーケンスにおけるフレーム予測のためのtpg-vaeモデルを提案する。
コンテンツ配信に加えて、私たちのモデルは、手術ツールの小さな動きを処理するために斬新な運動分布を学習します。
論文 参考訳(メタデータ) (2021-03-18T15:12:06Z) - Learning Predictive Models From Observation and Interaction [137.77887825854768]
世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。
しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。
本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
論文 参考訳(メタデータ) (2019-12-30T01:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。