論文の概要: Envisioning a Next Generation Extended Reality Conferencing System with
Efficient Photorealistic Human Rendering
- arxiv url: http://arxiv.org/abs/2306.16541v1
- Date: Wed, 28 Jun 2023 20:29:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-30 15:47:16.521783
- Title: Envisioning a Next Generation Extended Reality Conferencing System with
Efficient Photorealistic Human Rendering
- Title（参考訳）: 効率的なフォトリアリスティック・ヒューマンレンダリングによる次世代拡張現実会議システムの実現
- Authors: Chuanyue Shen, Letian Zhang, Zhangsihao Yang, Masood Mortazavi, Xiyun
Song, Liang Peng, Heather Yu
- Abstract要約: 人間の3Dダイナミックスの効率的なレンダリングは没入型ミーティングの中核である。
NeRF(Neural Radiance Field)のようなニューラルレンダリングの最近の進歩は、メタバースミーティングにおいてより大きなリアリズムをもたらす可能性がある。
我々は、より効率的に光現実的な人間のダイナミクスをレンダリングするための、NeRFに基づく高速な自由視点合成アルゴリズムを探索する。
- 参考スコア（独自算出の注目度）: 4.011574890585652
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Meeting online is becoming the new normal. Creating an immersive experience
for online meetings is a necessity towards more diverse and seamless
environments. Efficient photorealistic rendering of human 3D dynamics is the
core of immersive meetings. Current popular applications achieve real-time
conferencing but fall short in delivering photorealistic human dynamics, either
due to limited 2D space or the use of avatars that lack realistic interactions
between participants. Recent advances in neural rendering, such as the Neural
Radiance Field (NeRF), offer the potential for greater realism in metaverse
meetings. However, the slow rendering speed of NeRF poses challenges for
real-time conferencing. We envision a pipeline for a future extended reality
metaverse conferencing system that leverages monocular video acquisition and
free-viewpoint synthesis to enhance data and hardware efficiency. Towards an
immersive conferencing experience, we explore an accelerated NeRF-based
free-viewpoint synthesis algorithm for rendering photorealistic human dynamics
more efficiently. We show that our algorithm achieves comparable rendering
quality while performing training and inference 44.5% and 213% faster than
state-of-the-art methods, respectively. Our exploration provides a design basis
for constructing metaverse conferencing systems that can handle complex
application scenarios, including dynamic scene relighting with customized
themes and multi-user conferencing that harmonizes real-world people into an
extended world.
- Abstract（参考訳）: オンラインミーティングが新しい標準になりつつある。
オンライン会議のための没入型体験を作ることは、より多様でシームレスな環境に欠かせない。
人間の3Dダイナミックスの効率的な光リアルレンダリングは没入型ミーティングの中核である。
現在の一般的なアプリケーションはリアルタイム会議を実現しているが,2d空間の制限や,参加者間の現実的なインタラクションを欠いたアバターの使用など,フォトリアリスティックな人間のダイナミクスの提供には不足している。
NeRF(Neural Radiance Field)のようなニューラルレンダリングの最近の進歩は、メタバースミーティングにおいてより大きなリアリズムをもたらす可能性がある。
しかし,NeRFのレンダリング速度は遅いため,リアルタイム会議が困難である。
データとハードウェアの効率を向上させるために,単眼映像取得と自由視点合成を活用した,将来の拡張現実型メタバース会議システムのためのパイプラインを想定する。
没入型会議体験に向けて,光現実性人間力学をより効率的にレンダリングするための,NeRFに基づく高速な自由視点合成アルゴリズムを探索する。
提案アルゴリズムは,最先端手法よりも44.5%,213%高速なトレーニングを行いながら,同等のレンダリング品質を実現することを示す。
我々の探索は、複雑なアプリケーションシナリオを扱えるメタバース会議システムを構築するための設計基盤を提供する。例えば、カスタマイズされたテーマによる動的シーンのリライトや、現実世界の人々を拡張世界へと調和させるマルチユーザー会議である。
関連論文リスト
- 3D Hand Mesh Recovery from Monocular RGB in Camera Space [3.0453197258042213]
本研究では,ルート相対格子とルート回復タスクの並列処理を行うネットワークモデルを提案する。
暗黙的な学習手法を2次元ヒートマップに適用し、異なるサブタスク間の2次元キューの互換性を向上させる。
提案モデルは最先端のモデルに匹敵する。
論文 参考訳（メタデータ） (2024-05-12T05:36:37Z) - Closing the Visual Sim-to-Real Gap with Object-Composable NeRFs [59.12526668734703]
本稿では,オブジェクト合成可能なNeRFモデルであるComposable Object Volume NeRF(COV-NeRF)を紹介する。
COV-NeRFは、実際の画像からオブジェクトを抽出し、それらを新しいシーンに合成し、フォトリアリスティックなレンダリングと多くのタイプの2Dおよび3D監視を生成する。
論文 参考訳（メタデータ） (2024-03-07T00:00:02Z) - Federated Multi-View Synthesizing for Metaverse [52.59476179535153]
メタバースは没入型エンターテイメント、教育、ビジネスアプリケーションを提供すると期待されている。
無線ネットワーク上のバーチャルリアリティ(VR)伝送は、データと計算集約である。
我々は,メタバースにおける無線コンテンツ配信のために,効率的な合成,記憶,通信資源を提供する,新しい多視点合成フレームワークを開発した。
論文 参考訳（メタデータ） (2023-12-18T13:51:56Z) - R2Human: Real-Time 3D Human Appearance Rendering from a Single Image [42.74145788079571]
R2Humanは、1つの画像から3D人間の外見をリアルタイムに推測およびレンダリングするための最初のアプローチである。
本稿では、可視領域の高忠実な色再現を行い、隠蔽領域に対して信頼性の高い色推定を行うエンド・ツー・エンド・ネットワークを提案する。
論文 参考訳（メタデータ） (2023-12-10T08:59:43Z) - NSLF-OL: Online Learning of Neural Surface Light Fields alongside
Real-time Incremental 3D Reconstruction [0.76146285961466]
そこで本研究では,視線方向の小さな方向に対応できるニューラルサーフェス光場モデルを提案する。
我々のモデルは、リアルタイムな3次元再構成の他に、シーケンシャルなデータストリームを共有入力として、ニューラルネットワーク光場(NSLF)をオンラインで学習する。
オンライントレーニングに加えて、可視化のためにデータストリームを完了した後のリアルタイムレンダリングも提供する。
論文 参考訳（メタデータ） (2023-04-29T15:41:15Z) - Instant-NVR: Instant Neural Volumetric Rendering for Human-object
Interactions from Monocular RGBD Stream [14.844982083586306]
Instant-NVRは,1台のRGBDカメラを用いて,物体追跡とレンダリングを瞬時に行うニューラルネットワークである。
トラッキングフロントエンドでは、十分な動作先を提供するために、頑健な人間オブジェクトキャプチャー方式を採用する。
また,移動優先探索による動的・静電放射場をオンザフライで再構築する手法も提案する。
論文 参考訳（メタデータ） (2023-04-06T16:09:51Z) - Virtual Reality in Metaverse over Wireless Networks with User-centered
Deep Reinforcement Learning [8.513938423514636]
無線通信シナリオ上でのマルチユーザVR計算のオフロードについて紹介する。
さらに, ユーザ中心の深層強化学習手法を考案し, ほぼ最適解を求める。
論文 参考訳（メタデータ） (2023-03-08T03:10:41Z) - Real-time Neural Radiance Talking Portrait Synthesis via Audio-spatial
Decomposition [61.6677901687009]
我々は,音声画像のリアルタイム合成を可能にする,効率的なNeRFベースのフレームワークを提案する。
提案手法は,リアルタイム・オーディオ・リップ同期音声ポートレートビデオを生成する。
論文 参考訳（メタデータ） (2022-11-22T16:03:11Z) - NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed
Neural Radiance Fields [99.57774680640581]
本稿では、高速な再構成、コンパクトなモデリング、およびストリーム可能なレンダリングが可能な効率的なフレームワークを提案する。
本稿では, 時間特性に応じて4次元空間を分解することを提案する。4次元空間の点は, 静的, 変形, および新しい領域の3つのカテゴリに属する確率に関連付けられている。
論文 参考訳（メタデータ） (2022-10-28T07:11:05Z) - Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。
我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。
そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文 参考訳（メタデータ） (2022-04-22T03:17:35Z) - BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。
BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。
これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
論文 参考訳（メタデータ） (2021-04-13T17:59:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。