論文の概要: Stereo Vision Based Robot for Remote Monitoring with VR Support
- arxiv url: http://arxiv.org/abs/2406.19498v1
- Date: Thu, 27 Jun 2024 19:27:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-01 18:41:35.443163
- Title: Stereo Vision Based Robot for Remote Monitoring with VR Support
- Title（参考訳）: VRによる遠隔監視のためのステレオビジョン型ロボット
- Authors: Mohamed Fazil M. S., Arockia Selvakumar A., Daniel Schilberg,
- Abstract要約: 3DOFロボットは、人間のような頭部の動き、すなわちヨー、ピッチ、ロール、そして3Dステレオビデオを生成してリアルタイムにストリーミングする。
このビデオストリームは、VRボックスをサポートする汎用インターネットデバイスを通じてユーザに送信される。
ロボットはまた、ディープニューラルネットワークを使って動く物体や顔を追跡することもできる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The machine vision systems have been playing a significant role in visual monitoring systems. With the help of stereovision and machine learning, it will be able to mimic human-like visual system and behaviour towards the environment. In this paper, we present a stereo vision based 3-DOF robot which will be used to monitor places from remote using cloud server and internet devices. The 3-DOF robot will transmit human-like head movements, i.e., yaw, pitch, roll and produce 3D stereoscopic video and stream it in Real-time. This video stream is sent to the user through any generic internet devices with VR box support, i.e., smartphones giving the user a First-person real-time 3D experience and transfers the head motion of the user to the robot also in Real-time. The robot will also be able to track moving objects and faces as a target using deep neural networks which enables it to be a standalone monitoring robot. The user will be able to choose specific subjects to monitor in a space. The stereovision enables us to track the depth information of different objects detected and will be used to track human interest objects with its distances and sent to the cloud. A full working prototype is developed which showcases the capabilities of a monitoring system based on stereo vision, robotics, and machine learning.
- Abstract（参考訳）: マシンビジョンシステムは、視覚監視システムにおいて重要な役割を担っている。
ステレオビジョンと機械学習の助けを借りて、人間のような視覚システムと環境に対する振る舞いを模倣することができる。
本稿では,クラウドサーバとインターネットデバイスを用いて遠隔地を監視できる立体視型3自由度ロボットを提案する。
3DOFロボットは、人間のような頭部の動き、すなわちヨー、ピッチ、ロール、そして3Dステレオビデオを生成してリアルタイムにストリーミングする。
このビデオストリームは、VRボックスをサポートする汎用インターネットデバイス、すなわちスマートフォンを通じてユーザに1対1のリアルタイム3D体験を与え、ユーザの頭部の動きをリアルタイムにロボットに転送する。
このロボットは、ディープニューラルネットワークを使って、動く物体や顔の追跡もできるので、スタンドアロンの監視ロボットになる。
ユーザーは、特定の対象を選択して、空間内で監視することができる。
ステレオビジョンにより、検出された異なる物体の深度情報を追跡でき、その距離で人間の興味のある物体を追跡し、クラウドに送信することができる。
ステレオビジョン、ロボット工学、機械学習に基づく監視システムの機能を示す、フル動作プロトタイプが開発されている。
関連論文リスト
- Open-TeleVision: Teleoperation with Immersive Active Visual Feedback [17.505318269362512]
Open-TeleVisionは、オペレーターが立体的にロボットの周囲を積極的に知覚することを可能にする。
このシステムは操作者の腕と手の動きをロボットに反映し、没入感のある体験を作り出す。
本システムの有効性は,長期的かつ正確な4つの課題に対して,データ収集と模倣学習ポリシーの訓練によって検証する。
論文 参考訳（メタデータ） (2024-07-01T17:55:35Z) - 3D-MVP: 3D Multiview Pretraining for Robotic Manipulation [53.45111493465405]
マスク付きオートエンコーダを用いた3次元マルチビュー事前学習のための新しいアプローチである3D-MVPを提案する。
我々は,多視点トランスを用いたロボットビュートランス(RVT)を利用して3Dシーンを理解し,ポーズ動作を予測する。
最小限の微調整を施した実際のロボットプラットフォームで有望な結果を示す。
論文 参考訳（メタデータ） (2024-06-26T08:17:59Z) - Vision-based Manipulation from Single Human Video with Open-World Object Graphs [58.23098483464538]
我々は、人間のビデオから視覚に基づく操作スキルを学ぶために、ロボットに力を与えるオブジェクト中心のアプローチを提案する。
ORIONは,単一のRGB-Dビデオからオブジェクト中心の操作計画を抽出することで,この問題に対処するアルゴリズムである。
論文 参考訳（メタデータ） (2024-05-30T17:56:54Z) - Amplifying robotics capacities with a human touch: An immersive
low-latency panoramic remote system [16.97496024217201]
アバター (Avatar) システムは, 没入型低遅延パノラマロボットインタラクションプラットフォームである。
良好なネットワーク条件下では,357msの遅延で低遅延高精細パノラマ視体験を達成できた。
このシステムは、キャンパス、州、国、大陸にまたがる広大な物理的な距離を遠隔操作できる。
論文 参考訳（メタデータ） (2024-01-07T06:55:41Z) - Robo360: A 3D Omnispective Multi-Material Robotic Manipulation Dataset [26.845899347446807]
近年の3Dアルゴリズムの活用への関心は、ロボットの知覚と身体的理解の進歩につながっている。
我々は、ロボット操作と密集したビューカバレッジを備えたデータセットであるRobo360を提示する。
3Dとロボット制御における物理世界理解の交差点では、Robo360が新たな研究の道を開くことを願っている。
論文 参考訳（メタデータ） (2023-12-09T09:12:03Z) - Open-World Object Manipulation using Pre-trained Vision-Language Models [72.87306011500084]
ロボットが人からの指示に従うためには、人間の語彙の豊かな意味情報を繋げなければならない。
我々は、事前学習された視覚言語モデルを利用して、オブジェクト識別情報を抽出するシンプルなアプローチを開発する。
実際の移動マニピュレータにおける様々な実験において、MOOはゼロショットを様々な新しいオブジェクトカテゴリや環境に一般化する。
論文 参考訳（メタデータ） (2023-03-02T01:55:10Z) - See, Hear, and Feel: Smart Sensory Fusion for Robotic Manipulation [49.925499720323806]
視覚的、聴覚的、触覚的知覚が、ロボットが複雑な操作タスクを解くのにどのように役立つかを研究する。
私たちは、カメラで見たり、コンタクトマイクで聞いたり、視覚ベースの触覚センサーで感じるロボットシステムを構築しました。
論文 参考訳（メタデータ） (2022-12-07T18:55:53Z) - 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。
学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
論文 参考訳（メタデータ） (2021-07-08T17:49:37Z) - Object-Independent Human-to-Robot Handovers using Real Time Robotic
Vision [6.089651609511804]
本稿では,ロボットビジョンと操作を用いた安全でオブジェクトに依存しないロボットハンドオーバのアプローチを提案する。
13の物体を用いた実験で、このロボットは81.9%の試験で人間から物体を取り出すことに成功した。
論文 参考訳（メタデータ） (2020-06-02T17:29:20Z) - Morphology-Agnostic Visual Robotic Control [76.44045983428701]
MAVRICは、ロボットの形態に関する最小限の知識で機能するアプローチである。
本稿では,視覚誘導型3Dポイントリーチ,軌道追従,ロボットとロボットの模倣について紹介する。
論文 参考訳（メタデータ） (2019-12-31T15:45:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。