論文の概要: Teleoperation System for Service Robots using Virtual Reality Headset and Pose Estimation
- arxiv url: http://arxiv.org/abs/2611.01759v1
- Date: Sun, 01 Nov 2026 10:05:56 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 20:05:45.601911
- Title: Teleoperation System for Service Robots using Virtual Reality Headset and Pose Estimation
- Title（参考訳）: バーチャルリアリティ・ヘッドセットを用いたサービスロボットの遠隔操作システムと姿勢推定
- Abstract要約: 本稿では、人間のポーズ推定とバーチャルリアリティ(VR)を統合したサービスロボットの遠隔操作システムを提案する。
このデータはロボットのキネマティクスにマッピングされ、オペレーターがロボットの動きを自然に制御できるようになる。
没入的な視点を提供するためにVRインターフェースが開発され、オペレータの状況意識を高めた。
- 参考スコア（独自算出の注目度）: 36.71882051113796
- License:
- Abstract: This paper presents a teleoperation system for service robots that integrates human pose estimation with virtual reality (VR) to enable intuitive remote control. By using the Mediapipe framework for 2D pose detection and extending it with RGB-D data from the Intel RealSense D455 camera, a comprehensive 3D human pose estimation is achieved. This data is then mapped to the robot's kinematics, allowing the operator to control the robot's movements naturally. A VR interface was developed to provide an immersive perspective, enhancing the operator's situational awareness. Real-world experiments were conducted using the CHARMIE service robot to validate the system's effectiveness in tasks involving object manipulation. While the current system successfully demonstrates the potential of VR-based teleoperation, challenges remain in accurately capturing certain joint angles (e.g., wrist yaw) and ensuring precise mapping between human and robot movements. Future work includes the integration of inertial measurement units (IMUs) for improved rotational tracking and the implementation of more advanced control algorithms. Overall, this research contributes to the development of more intuitive and effective teleoperation systems for service robots, facilitating their deployment in complex and dynamic environments. This work further introduces a novel approach to teleoperation by combining RGB-D sensing with an innovative algorithm for real-time joint angle computation using Mediapipe, enhancing the precision of human-robot motion mapping and enabling immersive control through a VR interface. These contributions represent significant advancements in the field of human-robot interaction, particularly for service robot applications.
- Abstract（参考訳）: 本稿では、人間のポーズ推定とバーチャルリアリティ(VR)を統合し、直感的な遠隔操作を可能にするサービスロボットの遠隔操作システムを提案する。
2Dポーズ検出にMediapipeフレームワークを使用し、Intel RealSense D455カメラのRGB-Dデータで拡張することにより、包括的な3Dポーズ推定を実現する。
このデータはロボットのキネマティクスにマッピングされ、オペレーターがロボットの動きを自然に制御できるようになる。
没入的な視点を提供するためにVRインターフェースが開発され、オペレータの状況意識を高めた。
CHARMIEサービスロボットを用いて実世界の実験を行い、オブジェクト操作を含むタスクにおけるシステムの有効性を検証した。
現在のシステムは、VRベースの遠隔操作の可能性を示すのに成功しているが、特定の関節角度(例えば、手首ヨー)を正確に捉え、人間とロボットの動きを正確にマッピングすることの難しさは残る。
将来の作業には、回転トラッキングを改善するための慣性測定ユニット(IMU)の統合や、より高度な制御アルゴリズムの実装が含まれる。
本研究は,サービスロボットのより直感的で効果的な遠隔操作システムの開発に寄与し,複雑な動的環境への展開を促進する。
本研究は,メディアパイプを用いたリアルタイム関節角度計算のための革新的なアルゴリズムとRGB-Dセンシングを組み合わせることで,人間のロボットモーションマッピングの精度を高め,VRインターフェースによる没入型制御を可能にする,遠隔操作の新たなアプローチを提案する。
これらの貢献は、特にサービスロボット用途において、人間とロボットの相互作用の分野で大きな進歩を示している。
関連論文リスト
- Scaling Online Exploration for Robot Agents [147.6570058866968]
RAX(Robot Agent eXploration)は、ロボットエージェントのためのオープンソースのフレームワークである。
本稿では,単腕,両腕,外陰部,移動体,ヒューマノイドシステムを用いて,オンライン探索の精度向上と長期操作作業のスケールについて検討する。
RAXは、人間のデモンストレーションなしで、メモリ依存、調音、高精度、変形可能、および長距離移動操作タスクを自律的に学習する。
論文 参考訳（メタデータ） (2026-10-15T18:00:28Z) - SPOT: Spatial Perception-Oriented Long-Horizon Humanoid Teleoperation [35.4182413141688]
SPOTは、ロボット搭載の魚眼カメラ、広視野の立体ディスプレイ、視点分離された自由な外観、そして視覚的安定化を組み合わせたものだ。
本研究では, 落下回復, 周辺検索, 大規模作業空間のバイマニュアル操作, 微調整, 動的相互作用にまたがる認識クリティカルなヒューマノイドデータ収集タスクにおけるSPOTの評価を行った。
論文 参考訳（メタデータ） (2026-09-07T19:46:56Z) - RGB-D Video Generation for Improving Human-to-Robot Object Handover Prediction [51.76737991200891]
H2R(Human-to-robot)オブジェクトハンドオーバは、人間とロボットのコラボレーションの基本的な能力である。
本稿では,RGB-DビデオデータセットであるHand2Botを紹介する。
ハンドオブジェクトの一貫性を確保しつつ,現実的なハンドオーバシーケンスを合成する生成パイプラインであるPassGenを提案する。
論文 参考訳（メタデータ） (2026-08-13T09:55:59Z) - Observer Design for Augmented Reality-based Teleoperation of Soft Robots [0.0]
本稿では,ソフトロボットの遠隔操作のための拡張現実インタフェースを提案する。
開発システムはMicrosoft HoloLens 2メガネと計算を担当する中央コンピュータで構成されている。
センサーから収集したデータを用いて、コンピューターはバーチャルリアリティープログラムの物理に基づいてロボットの位置を推定する。
論文 参考訳（メタデータ） (2026-03-05T10:04:14Z) - Robotic Grasping and Placement Controlled by EEG-Based Hybrid Visual and Motor Imagery [64.82869118243723]
本稿では,脳波に基づく視覚・運動画像(VI/MI)とロボット制御を統合し,リアルタイム・意図駆動型把握・配置を実現するフレームワークを提案する。
このシステムは、BCI駆動のロボット工学の約束に感銘を受けて、オフラインで事前訓練されたデコーダをゼロショットで展開することによって、ニューラルネットワークを物理的制御でブリッジする。
論文 参考訳（メタデータ） (2026-03-03T17:41:42Z) - Recognizing Actions from Robotic View for Natural Human-Robot Interaction [52.00935005918032]
自然人-ロボットインタラクション(Natural Human-Robot Interaction, N-HRI)は、ロボット自身が動いているか静止しているかに関わらず、ロボットが様々な距離と状態で人間の行動を認識することを要求する。
N-HRIの既存のベンチマークは、限られたデータ、モダリティ、タスクカテゴリ、主題や環境の多様性のために、N-HRIのユニークな複雑さに対処できない。
モバイルサービスロボットで広く使われている知覚中心ロボットビューのための大規模データセット(Action from Robotic View)を紹介する。
論文 参考訳（メタデータ） (2025-07-30T09:48:34Z) - Taccel: Scaling Up Vision-based Tactile Robotics via High-performance GPU Simulation [34.47272224723296]
ロボット,触覚センサ,物体を精度と前例のない速度でモデル化するために,IPCとABDを統合した高性能なシミュレーションプラットフォームであるTaccelを提案する。
並列化が制限されたサブリアルタイム速度で動作する従来のシミュレータとは異なり、Taccelは正確な物理シミュレーションとリアルな触覚信号を提供する。
これらの能力は、触覚ロボットの研究と開発を拡大するための強力なツールとして、Taccelを位置づけている。
論文 参考訳（メタデータ） (2025-04-17T12:57:11Z) - Open-TeleVision: Teleoperation with Immersive Active Visual Feedback [17.505318269362512]
Open-TeleVisionは、オペレーターが立体的にロボットの周囲を積極的に知覚することを可能にする。
このシステムは操作者の腕と手の動きをロボットに反映し、没入感のある体験を作り出す。
本システムの有効性は,長期的かつ正確な4つの課題に対して,データ収集と模倣学習ポリシーの訓練によって検証する。
論文 参考訳（メタデータ） (2024-07-01T17:55:35Z) - Hierarchical Procedural Framework for Low-latency Robot-Assisted Hand-Object Interaction [45.256762954338704]
ロボット支援ハンドオブジェクトインタラクション(HOI)を実現するための階層型手続きフレームワークを提案する。
オープンループ階層は、手の動きをロボットの動きに変換するように設計されたモーションプリミティブに基づいて、RGBベースの人間の手の3D再構成を利用する。
リングウェアリングタスクのケーススタディは、医療や製造業などの補助技術への本研究の適用の可能性を示している。
論文 参考訳（メタデータ） (2024-05-29T21:20:16Z) - Spatial Computing and Intuitive Interaction: Bringing Mixed Reality and
Robotics Together [68.44697646919515]
本稿では,空間コンピューティングを応用し,新しいロボットのユースケースを実現するためのロボットシステムについて述べる。
空間コンピューティングとエゴセントリックな感覚を複合現実感デバイスに組み合わせることで、人間の行動をキャプチャして理解し、それらを空間的な意味を持つ行動に変換することができる。
論文 参考訳（メタデータ） (2022-02-03T10:04:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。