論文の概要: Tele-Aloha: A Low-budget and High-authenticity Telepresence System Using Sparse RGB Cameras
- arxiv url: http://arxiv.org/abs/2405.14866v1
- Date: Thu, 23 May 2024 17:59:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 13:17:34.778725
- Title: Tele-Aloha: A Low-budget and High-authenticity Telepresence System Using Sparse RGB Cameras
- Title（参考訳）: テレアロハ:スパースRGBカメラを用いた低予算高精度テレプレゼンスシステム
- Authors: Hanzhang Tu, Ruizhi Shao, Xue Dong, Shunyuan Zheng, Hao Zhang, Lili Chen, Meili Wang, Wenyu Li, Siyan Ma, Shengping Zhang, Boyao Zhou, Yebin Liu,
- Abstract要約: 本稿では,ピアツーピア通信シナリオを対象とした低予算・高精度双方向テレプレゼンスシステムTele-Alohaを提案する。
Tele-Alohaは、高解像度(2048x2048)、リアルタイム(30fps)、低レイテンシ(150ms未満)、堅牢な遠隔通信を実現するために、わずか4つのスパースRGBカメラ、1つのコンシューマグレードGPU、1つのオートステレオスコープスクリーンを使用する。
- 参考スコア（独自算出の注目度）: 34.520964056321105
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we present a low-budget and high-authenticity bidirectional telepresence system, Tele-Aloha, targeting peer-to-peer communication scenarios. Compared to previous systems, Tele-Aloha utilizes only four sparse RGB cameras, one consumer-grade GPU, and one autostereoscopic screen to achieve high-resolution (2048x2048), real-time (30 fps), low-latency (less than 150ms) and robust distant communication. As the core of Tele-Aloha, we propose an efficient novel view synthesis algorithm for upper-body. Firstly, we design a cascaded disparity estimator for obtaining a robust geometry cue. Additionally a neural rasterizer via Gaussian Splatting is introduced to project latent features onto target view and to decode them into a reduced resolution. Further, given the high-quality captured data, we leverage weighted blending mechanism to refine the decoded image into the final resolution of 2K. Exploiting world-leading autostereoscopic display and low-latency iris tracking, users are able to experience a strong three-dimensional sense even without any wearable head-mounted display device. Altogether, our telepresence system demonstrates the sense of co-presence in real-life experiments, inspiring the next generation of communication.
- Abstract（参考訳）: 本稿では,ピアツーピア通信を対象とする低予算・高精度双方向テレプレゼンスシステムTele-Alohaを提案する。
従来のシステムと比較して、Tele-Alohaは低解像度のRGBカメラ4台、コンシューマグレードのGPU1台、ステレオスコープのスクリーン1台で高解像度(2048x2048)、リアルタイム(30fps)、低レイテンシ(150ms未満)、堅牢な遠隔通信を実現している。
本稿では,Tele-Alohaのコアとして,上半身に対する効率的なビュー合成アルゴリズムを提案する。
まず、ロバストな幾何学的キューを得るためのカスケード不均質推定器を設計する。
さらに、ガウススプラッティングによるニューラルラスタライザを導入して、潜在機能をターゲットビューに投影し、それらを縮小解像度にデコードする。
さらに、高品質なキャプチャデータから、重み付けブレンディング機構を利用して、デコードされた画像を2Kの最終的な解像度に洗練する。
世界がリードするオートステレオスコープディスプレイと低遅延アイリストラッキングを駆使して、ユーザはウェアラブルのヘッドマウントディスプレイデバイスを使わずとも、強力な3次元感覚を体験できる。
テレプレゼンスシステムは、実生活実験におけるコプレゼンス感を実証し、次世代のコミュニケーションを刺激する。
関連論文リスト
- VR-NeRF: High-Fidelity Virtualized Walkable Spaces [55.51127858816994]
本稿では,高忠実度キャプチャ,モデル再構成,リアルタイムレンダリングのためのエンドツーエンドシステムを提案する。
論文 参考訳（メタデータ） (2023-11-05T02:03:14Z) - Unsupervised OmniMVS: Efficient Omnidirectional Depth Inference via
Establishing Pseudo-Stereo Supervision [40.58193195996798]
魚眼画像に基づく一方向一方向MVSフレームワークを提案する。
2つの360deg画像は特別なポーズでステレオ対を定式化し、光度一貫性を利用して教師なし制約を確立する。
実験の結果、教師なしのソリューションのパフォーマンスは、最先端の教師付き手法と競合することがわかった。
論文 参考訳（メタデータ） (2023-02-20T11:35:55Z) - A Flexible Framework for Virtual Omnidirectional Vision to Improve
Operator Situation Awareness [2.817412580574242]
本稿では,ロボットのどこに設置した複数のカメラを融合させる新しい手法に基づいて,仮想プロジェクションのためのフレキシブルなフレームワークを提案する。
カメラ画像と幾何学的3Dライダーデータを融合させることでシーン理解を改善するための補完的なアプローチを提案し,色付き点雲を得る。
論文 参考訳（メタデータ） (2023-02-01T10:40:05Z) - Dynamic Neural Portraits [58.480811535222834]
フルヘッド再現問題に対する新しいアプローチであるDynamic Neural Portraitsを提案する。
本手法は,頭部ポーズ,表情,視線を明示的に制御し,写実的な映像像を生成する。
実験の結果,提案手法は最近のNeRF法よりも270倍高速であることがわかった。
論文 参考訳（メタデータ） (2022-11-25T10:06:14Z) - StereoVoxelNet: Real-Time Obstacle Detection Based on Occupancy Voxels
from a Stereo Camera Using Deep Neural Networks [32.7826524859756]
障害物検出は、ステレオマッチングが一般的な視覚ベースのアプローチであるロボットナビゲーションにおいて、安全に重要な問題である。
本稿では,ステレオ画像の占有率を直接検出するために,ディープニューラルネットワークを利用する計算効率のよい手法を提案する。
提案手法は,32mの範囲の障害物を正確に検出し,最新ステレオモデルの計算コストのわずか2%に留まらず,IoU (Intersection over Union) とCD (Chamfer Distance) のスコアが向上する。
論文 参考訳（メタデータ） (2022-09-18T03:32:38Z) - Neural Disparity Refinement for Arbitrary Resolution Stereo [67.55946402652778]
本稿では,安価で広範なコンシューマデバイスへの3Dコンピュータビジョンの展開を容易にすることを目的とした,ニューラルディファリティ改善のための新しいアーキテクチャを提案する。
我々のアプローチは任意の出力解像度で洗練された不均一写像を推定できる連続的な定式化に依存している。
論文 参考訳（メタデータ） (2021-10-28T18:00:00Z) - SelfPose: 3D Egocentric Pose Estimation from a Headset Mounted Camera [97.0162841635425]
頭部装着型VR装置の縁に設置した下向きの魚眼カメラから撮影した単眼画像から,エゴセントリックな3Dボディポーズ推定法を提案する。
この特異な視点は、厳密な自己閉塞と視点歪みを伴う、独特の視覚的な外観のイメージに繋がる。
本稿では,2次元予測の不確実性を考慮した新しいマルチブランチデコーダを用いたエンコーダデコーダアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-11-02T16:18:06Z) - Active Perception with A Monocular Camera for Multiscopic Vision [50.370074098619185]
低コストの単眼RGBカメラを用いてロボットアプリケーションの正確な深度推定を行うマルチスコープビジョンシステムの設計を行う。
制約のないカメラポーズで撮影された画像を持つマルチビューステレオとは異なり、提案システムはカメラを搭載したロボットアームを積極的に制御し、水平または垂直に並んだ位置の画像を同じパララックスで撮影する。
論文 参考訳（メタデータ） (2020-01-22T08:46:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。