論文の概要: VirtualCube: An Immersive 3D Video Communication System
- arxiv url: http://arxiv.org/abs/2112.06730v1
- Date: Mon, 13 Dec 2021 15:34:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-14 19:17:23.899168
- Title: VirtualCube: An Immersive 3D Video Communication System
- Title（参考訳）: VirtualCube:没入型3Dビデオ通信システム
- Authors: Yizhong Zhang, Jiaolong Yang, Zhen Liu, Ruicheng Wang, Guojun Chen,
Xin Tong, and Baining Guo
- Abstract要約: VirtualCubeシステムは,従来の技術の限界を克服する3Dビデオ会議システムである。
重要な要素はVirtualCubeである。これは、ユーザの3D形状とテクスチャをキャプチャするためのRGBDカメラを備えた現実世界のキュービクルの抽象表現である。
- 参考スコア（独自算出の注目度）: 22.603545138780287
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The VirtualCube system is a 3D video conference system that attempts to
overcome some limitations of conventional technologies. The key ingredient is
VirtualCube, an abstract representation of a real-world cubicle instrumented
with RGBD cameras for capturing the 3D geometry and texture of a user. We
design VirtualCube so that the task of data capturing is standardized and
significantly simplified, and everything can be built using off-the-shelf
hardware. We use VirtualCubes as the basic building blocks of a virtual
conferencing environment, and we provide each VirtualCube user with a
surrounding display showing life-size videos of remote participants. To achieve
real-time rendering of remote participants, we develop the V-Cube View
algorithm, which uses multi-view stereo for more accurate depth estimation and
Lumi-Net rendering for better rendering quality. The VirtualCube system
correctly preserves the mutual eye gaze between participants, allowing them to
establish eye contact and be aware of who is visually paying attention to them.
The system also allows a participant to have side discussions with remote
participants as if they were in the same room. Finally, the system sheds lights
on how to support the shared space of work items (e.g., documents and
applications) and track the visual attention of participants to work items.
- Abstract（参考訳）: virtualcube systemは、従来の技術の限界を克服しようとする3dビデオ会議システムである。
キーとなる要素はvirtualcubeで、ユーザーの3d形状とテクスチャをキャプチャするrgbdカメラを備えた実世界のキュービクルの抽象表現だ。
私たちはVirtualCubeを設計し、データキャプチャのタスクを標準化し、大幅に単純化し、全てを既製のハードウェアで構築できるようにします。
仮想会議環境の基本構築ブロックとしてVirtualCubesを使用し、各VirtualCubeユーザに、リモート参加者のライフサイズのビデオを表示する周囲のディスプレイを提供する。
遠隔参加者のリアルタイムレンダリングを実現するために,より正確な深度推定のためのマルチビューステレオとレンダリング品質向上のためのLumi-Netレンダリングを用いたV-Cube Viewアルゴリズムを開発した。
VirtualCubeシステムは、参加者同士の視線を正確に保存し、目の接触を確立し、誰が視覚的に注意を払っているかを認識する。
このシステムでは、参加者が同じ部屋にいるかのように、リモート参加者とサイドディスカッションを行うこともできる。
最後に、システムは作業項目の共有スペース(ドキュメントやアプリケーションなど)をサポートし、作業項目に対する参加者の視覚的な注意を追跡する方法を照らします。
関連論文リスト
- A Monocular SLAM-based Multi-User Positioning System with Image Occlusion in Augmented Reality [2.8155732302036176]
単眼RGB画像を用いたORB-SLAM2に基づくマルチユーザローカライゼーションシステムを提案する。
このシステムはユーザのローカライゼーションを行うだけでなく、共通の仮想オブジェクトを平面上に配置し、各ユーザがオブジェクトの適切な視点ビューを保持する。
位置情報は、特定のユーザの空間における他のユーザの相対的な位置と動きを提示する中央サーバを介して、ユーザのARデバイス間で渡される。
論文 参考訳（メタデータ） (2024-11-17T02:39:30Z) - iControl3D: An Interactive System for Controllable 3D Scene Generation [57.048647153684485]
iControl3Dは、ユーザがカスタマイズ可能な3Dシーンを正確なコントロールで生成およびレンダリングできるようにする、新しいインタラクティブシステムである。
我々は3Dメッシュを仲介プロキシとして利用し、個別の2D拡散生成画像を結合的で統一された3Dシーン表現に反復的にマージする。
私たちのニューラルレンダリングインターフェースは、ユーザが自分のシーンのラディアンスフィールドをオンラインで構築し、シーン全体をナビゲートすることを可能にする。
論文 参考訳（メタデータ） (2024-08-03T06:35:09Z) - EvaSurf: Efficient View-Aware Implicit Textured Surface Reconstruction on Mobile Devices [53.28220984270622]
モバイル端末に暗黙的テクスチャを付加したtextbfSurf$ace 再構成手法を提案する。
提案手法は,合成と実世界の両方のデータセット上で,高品質な外観と正確なメッシュを再構築することができる。
我々の方法は1つのGPUを使ってたった1～2時間でトレーニングでき、40FPS(Frames per second)以上のモバイルデバイス上で実行することができる。
論文 参考訳（メタデータ） (2023-11-16T11:30:56Z) - FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。
単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
論文 参考訳（メタデータ） (2023-10-26T16:13:00Z) - Neural Rendering in a Room: Amodal 3D Understanding and Free-Viewpoint
Rendering for the Closed Scene Composed of Pre-Captured Objects [40.59508249969956]
閉シーンに対するニューラルレンダリングを用いたアモーダル3次元シーン理解の新しいパラダイムに基づいて、そのような人間の知覚能力を模倣する新しいソリューションを提案する。
まず, 閉鎖シーンにおける物体の事前の知識を, オフラインステージを通じて学習し, オンラインステージにおいて, 家具の配置のない部屋の理解を容易にする。
オンライン段階において、異なるレイアウトのシーンのパノラマ画像が与えられた場合、我々は、全体論的ニューラルネットワークに基づく最適化フレームワークを使用して、正しい3Dシーンレイアウトを効率的に推定し、リアルな自由視点レンダリングを提供する。
論文 参考訳（メタデータ） (2022-05-05T15:34:09Z) - Attention based Occlusion Removal for Hybrid Telepresence Systems [5.006086647446482]
本稿では,HMDデクルージョンのための新しいアテンション対応エンコーダデコーダアーキテクチャを提案する。
我々は,最先端手法よりも質的,定量的な結果が優れていることを報告した。
また,既存のアニメーションと3次元顔再構成パイプラインを用いたハイブリッドビデオ会議への本手法の適用について述べる。
論文 参考訳（メタデータ） (2021-12-02T10:18:22Z) - Pixel Codec Avatars [99.36561532588831]
Pixel Codec Avatars(PiCA)は、3D人間の顔の深い生成モデルです。
oculus quest 2のモバイルvrヘッドセットでは、同じシーンで5つのアバターがリアルタイムでレンダリングされる。
論文 参考訳（メタデータ） (2021-04-09T23:17:36Z) - Unmasking Communication Partners: A Low-Cost AI Solution for Digitally
Removing Head-Mounted Displays in VR-Based Telepresence [62.997667081978825]
バーチャルリアリティ(VR)における対面会話は、被験者がヘッドマウントディスプレイ(HMD)を装着する際の課題である
過去の研究では、高コストハードウェアを用いた実験室環境では、VRで個人用アバターを用いた高忠実な顔再構成が可能であることが示されている。
我々は,オープンソース,フリーソフトウェア,安価なハードウェアのみを利用する,このタスクのための最初の低コストシステムを提案する。
論文 参考訳（メタデータ） (2020-11-06T23:17:12Z) - Weakly Supervised Learning of Multi-Object 3D Scene Decompositions Using
Deep Shape Priors [69.02332607843569]
PriSMONetは、単一画像から多目的3Dシーンの分解と表現を学習するための新しいアプローチである。
リカレントエンコーダは、入力されたRGB画像から、各オブジェクトの3D形状、ポーズ、テクスチャの潜時表現を回帰する。
我々は,3次元シーンレイアウトの推測におけるモデルの精度を評価し,その生成能力を実証し,実画像への一般化を評価し,学習した表現の利点を指摘する。
論文 参考訳（メタデータ） (2020-10-08T14:49:23Z) - SAILenv: Learning in Virtual Visual Environments Made Simple [16.979621213790015]
仮想3Dシーンで視覚認識を実験できる新しいプラットフォームを提案する。
すべてのアルゴリズムを仮想世界とインターフェースするためには数行のコードが必要であり、非3Dグラフィックの専門家は容易に3D環境自体をカスタマイズできる。
我々のフレームワークはピクセルレベルのセマンティクスとインスタンスのラベル付け、深さ、そして私たちの知る限り、それは3Dエンジンから直接受け継がれるモーション関連情報を提供する唯一のものである。
論文 参考訳（メタデータ） (2020-07-16T09:50:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。