論文の概要: A Multi-View 3D Telepresence System for XR Robot Teleoperation
- arxiv url: http://arxiv.org/abs/2604.03730v1
- Date: Sat, 04 Apr 2026 13:22:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:18.743513
- Title: A Multi-View 3D Telepresence System for XR Robot Teleoperation
- Title（参考訳）: XRロボット遠隔操作のための多視点3次元テレプレゼンスシステム
- Abstract要約: 効果的な遠隔操作には、信頼性の高い深度に基づく直感的な3次元可視化が必要である。
我々は、3台のカメラから幾何学を融合させ、スタンドアロンのVRハードウェア上でGPUアクセラレーションされたポイントクラウドレンダリングを生成する多視点VRテレプレゼンスシステムを導入する。
パイプラインはMeta Quest 3で約75kポイントのリアルタイムレンダリングをサポートしています。
- 参考スコア（独自算出の注目度）: 50.624253593914084
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robot teleoperation is critical for applications such as remote maintenance, fleet robotics, search and rescue, and data collection for robot learning. Effective teleoperation requires intuitive 3D visualization with reliable depth cues, which conventional screen-based interfaces often fail to provide. We introduce a multi-view VR telepresence system that (1) fuses geometry from three cameras to produce GPU-accelerated point-cloud rendering on standalone VR hardware, and (2) integrates a wrist-mounted RGB stream to provide high-resolution local detail where point-cloud accuracy is limited. Our pipeline supports real-time rendering of approximately 75k points on the Meta Quest 3. A within-subject study was conducted with 31 participants to compare our system to other visualisation modalities, such as RGB streams, a projection of stereo-vision directly in the VR device and point clouds without providing additional RGB information. Across three different teleoperated manipulation tasks, we measured task success, completion time, perceived workload, and usability. Our system achieved the best overall performance, while the Point Cloud modality without RGB also outperforming the RGB streams and OpenTeleVision. These results show that combining global 3D structure with localized high-resolution detail substantially improves telepresence for manipulation and provides a strong foundation for next-generation robot teleoperation systems.
- Abstract（参考訳）: 遠隔保守、艦隊ロボティクス、捜索救助、ロボット学習のためのデータ収集など、ロボット遠隔操作はアプリケーションにとって重要である。
効果的な遠隔操作には、従来のスクリーンベースのインタフェースでは提供できないような、信頼性の高い深度キューを備えた直感的な3D可視化が必要である。
我々は,(1)3台のカメラからジオメトリを融合して,スタンドアロンのVRハードウェア上でGPUアクセラレーションされたポイントクラウドレンダリングを実現する多視点VRテレプレゼンスシステムを導入し,(2)ポイントクラウド精度が制限された高精細なローカルディテールを提供するために手首に取り付けられたRGBストリームを統合した。
パイプラインはMeta Quest 3で約75kポイントのリアルタイムレンダリングをサポートしています。
RGB ストリーム,VR デバイスに直接ステレオビジョンの投影,さらに RGB 情報を提供することなく点雲などの他の可視化モードと比較するため,31 人の被験者を対象に,対象内調査を行った。
3つの遠隔操作操作タスクに対して,タスク成功,完了時間,作業負荷の認識,ユーザビリティを測定した。
RGBのないポイントクラウドは、RGBストリームやOpenTeleVisionよりも優れています。
これらの結果から,グローバルな3次元構造と局所的な高解像度ディテールを組み合わせることで,遠隔操作のテレプレゼンスを大幅に向上し,次世代ロボット遠隔操作システムに強力な基盤を提供することが示された。
関連論文リスト
- StereoPolicy: Improving Robotic Manipulation Policies via Stereo Perception [30.791524912385924]
StereoPolicyは、幾何学的推論を強化するために、同期ステレオ画像ペアを直接活用する、ビジュモータポリシー学習フレームワークである。
本結果は,ロボット操作のための3次元幾何学的理解と2次元事前学習表現を橋渡しする,スケーラブルでロバストなモダリティとしてステレオビジョンを裏付けるものである。
論文 参考訳（メタデータ） (2026-05-11T05:06:12Z) - Robo3R: Enhancing Robotic Manipulation with Accurate Feed-Forward 3D Reconstruction [70.06600045165905]
3D空間認識は、一般的なロボット操作の基本であるが、信頼性が高く高品質な3D形状の取得は依然として困難である。
本稿では,RGB画像やロボットの状態から直接,正確な距離スケールのシーン形状をリアルタイムで予測する操作可能な3次元再構成モデルであるRobo3Rを紹介する。
我々は、ロボット操作のためのこの代替3Dセンシングモジュールの約束を示唆し、パフォーマンスの連続的な向上を観察する。
論文 参考訳（メタデータ） (2026-02-10T18:58:15Z) - Mon3tr: Monocular 3D Telepresence with Pre-built Gaussian Avatars as Amortization [16.68162021163563]
Mon3trは、3Dガウススプラッティング(3DGS)に基づくパラメトリック人間モデリングを統合する新しいモノクル3Dテレプレゼンスフレームワークである。
単眼のRGBカメラは、身体の動きや表情をリアルタイムで捉え、3DGSベースのパラメトリック人間モデルを駆動するために使用される。
提案手法は,新しいポーズに対するPSNR > 28 dB,80msのエンドツーエンドレイテンシ,1000倍の帯域幅削減を実現する。
論文 参考訳（メタデータ） (2026-01-12T13:17:41Z) - A High-Fidelity Digital Twin for Robotic Manipulation Based on 3D Gaussian Splatting [0.0]
粗いRGB入力から数分以内に高品質なデジタルツインを構築するフレームワークを提案する。
本システムでは3次元ガウススプラッティング(3DGS)を用いて高速で光写実的再構成を行い,シーンを統一的に表現する。
フランカ・エミカ・パンダ(Franka Emika Panda)ロボットを用いた実験では、この拡張された幾何精度が実世界の試行において堅牢な操作を効果的にサポートすることを示した。
論文 参考訳（メタデータ） (2026-01-06T17:29:10Z) - VERM: Leveraging Foundation Models to Create a Virtual Eye for Efficient 3D Robotic Manipulation [9.95654157461894]
マルチカメラのセットアップは計算コストを増大させ、タスク関連の詳細を抽出するトレーニングに余分な時間を費やすようにモデルを強制する。
構築した3Dポイントクラウドからの仮想タスク適応ビューを想定するVERM(Virtual Eye for Robotic Manipulation)手法を提案する。
3次元動作計画と微粒化操作を容易にするため,我々はさらに深度認識モジュールと動的粗粒化プロシージャを設計する。
論文 参考訳（メタデータ） (2025-12-18T16:26:17Z) - WiLoR: End-to-end 3D Hand Localization and Reconstruction in-the-wild [53.288327629960364]
野生における効率的なマルチハンド再構築のためのデータ駆動パイプラインを提案する。
提案するパイプラインは、リアルタイム完全畳み込みハンドローカライゼーションと、高忠実度トランスフォーマーに基づく3Dハンド再構成モデルという2つのコンポーネントで構成されている。
提案手法は, 一般的な2次元および3次元のベンチマークにおいて, 効率と精度の両方において, 従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2024-09-18T18:46:51Z) - Neural Implicit Dense Semantic SLAM [83.04331351572277]
本稿では,屋内シーンのメモリ効率,高密度な3次元形状,セマンティックセマンティックセグメンテーションをオンラインで学習する新しいRGBD vSLAMアルゴリズムを提案する。
私たちのパイプラインは、従来の3Dビジョンベースのトラッキングとループクローズとニューラルフィールドベースのマッピングを組み合わせたものです。
提案アルゴリズムはシーン認識を大幅に向上させ,様々なロボット制御問題を支援する。
論文 参考訳（メタデータ） (2023-04-27T23:03:52Z) - Simple and Effective Synthesis of Indoor 3D Scenes [78.95697556834536]
1枚以上の画像から3D屋内シーンを没入する問題について検討する。
我々の狙いは、新しい視点から高解像度の画像とビデオを作成することである。
本稿では,不完全点雲の再投影から高解像度のRGB-D画像へ直接マップするイメージ・ツー・イメージのGANを提案する。
論文 参考訳（メタデータ） (2022-04-06T17:54:46Z) - RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB
Video [76.86512780916827]
本稿では,1台のRGBカメラによる骨格ポーズのモーションキャプチャと手の表面形状をリアルタイムに計測する手法を提案する。
RGBデータの本質的な深さの曖昧さに対処するために,我々は新しいマルチタスクCNNを提案する。
RGBの片手追跡と3D再構築パイプラインの個々のコンポーネントを実験的に検証した。
論文 参考訳（メタデータ） (2021-06-22T12:53:56Z) - MoreFusion: Multi-object Reasoning for 6D Pose Estimation from
Volumetric Fusion [19.034317851914725]
本稿では,複数の既知の物体の接触と隠蔽の正確なポーズを,リアルタイムな多視点視から推定するシステムを提案する。
提案手法は,1枚のRGB-Dビューからの3Dオブジェクトのポーズ提案を行い,カメラが移動すると,複数のビューからのポーズ推定と非パラメトリック占有情報を蓄積する。
提案手法の精度とロバスト性を2つのオブジェクトデータセット(YCB-Video)で実験的に検証する。
論文 参考訳（メタデータ） (2020-04-09T02:29:30Z) - A Markerless Deep Learning-based 6 Degrees of Freedom PoseEstimation for
with Mobile Robots using RGB Data [3.4806267677524896]
本稿では,拡張現実デバイス上でリアルタイムな3Dオブジェクトローカライゼーションを実現するために,アートニューラルネットワークの状態をデプロイする手法を提案する。
本研究では,2次元入力のみを用いて物体の3次元ポーズを高速かつ正確に抽出する高速な2次元検出手法に着目する。
2D画像の6Dアノテーションとして,私たちの知る限り,最初のオープンソースツールであるアノテーションツールを開発した。
論文 参考訳（メタデータ） (2020-01-16T09:13:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。