論文の概要: Scaling Neural Face Synthesis to High FPS and Low Latency by Neural
Caching
- arxiv url: http://arxiv.org/abs/2211.05773v1
- Date: Thu, 10 Nov 2022 18:58:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-11 15:31:42.287639
- Title: Scaling Neural Face Synthesis to High FPS and Low Latency by Neural
Caching
- Title(参考訳): ニューラルキャッシングによる高FPSおよび低レイテンシへのニューラルフェイス合成のスケーリング
- Authors: Frank Yu, Sid Fels, Helge Rhodin
- Abstract要約: 最近のニューラルレンダリングアプローチは、画像の品質を大幅に改善し、光リアリズムに近いものに到達している。
基盤となるニューラルネットワークは高いランタイムを持ち、低レイテンシで高解像度を必要とするテレプレゼンスとバーチャルリアリティアプリケーションを除く。
前のフレームから情報をキャッシュすることで依存関係を壊し、暗黙のワープで現在のフレームの処理を高速化します。
我々は,既存のベンチマークシーケンス上で,テレプレゼンスに必要な3次元ポートレートアバターのビュー依存レンダリングに対するアプローチを検証した。
- 参考スコア(独自算出の注目度): 12.362614824541824
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent neural rendering approaches greatly improve image quality, reaching
near photorealism. However, the underlying neural networks have high runtime,
precluding telepresence and virtual reality applications that require high
resolution at low latency. The sequential dependency of layers in deep networks
makes their optimization difficult. We break this dependency by caching
information from the previous frame to speed up the processing of the current
one with an implicit warp. The warping with a shallow network reduces latency
and the caching operations can further be parallelized to improve the frame
rate. In contrast to existing temporal neural networks, ours is tailored for
the task of rendering novel views of faces by conditioning on the change of the
underlying surface mesh. We test the approach on view-dependent rendering of 3D
portrait avatars, as needed for telepresence, on established benchmark
sequences. Warping reduces latency by 70$\%$ (from 49.4ms to 14.9ms on
commodity GPUs) and scales frame rates accordingly over multiple GPUs while
reducing image quality by only 1$\%$, making it suitable as part of end-to-end
view-dependent 3D teleconferencing applications. Our project page can be found
at: https://yu-frank.github.io/lowlatency/.
- Abstract(参考訳): 最近のニューラルレンダリングアプローチは画質を大幅に改善し、光リアリズムに近い。
しかし、基盤となるニューラルネットワークは高いランタイムを持ち、低レイテンシで高解像度を必要とするテレプレゼンスとバーチャルリアリティーアプリケーションを除く。
ディープネットワークにおけるレイヤのシーケンシャルな依存性は、最適化を難しくする。
前のフレームから情報をキャッシュすることで依存関係を壊し、暗黙のワープで現在のフレームの処理を高速化します。
浅いネットワークによるワープはレイテンシを低減し、キャッシング操作をさらに並列化してフレームレートを改善することができる。
既存の時間的ニューラルネットワークとは対照的に、表面メッシュの変化を条件づけることで、顔の新たなビューをレンダリングする作業に適している。
テレプレゼンスに必要な3次元ポートレートアバターのビュー依存レンダリングを,確立されたベンチマークシーケンス上でテストした。
Warpingは、レイテンシを70$\%(コモディティGPUでは49.4msから14.9ms)削減し、複数のGPU上でフレームレートをスケールすると同時に、画像品質を1$\%$に削減し、エンドツーエンドのビュー依存の3Dテレカンファレンスアプリケーションの一部として適している。
プロジェクトページはhttps://yu-frank.github.io/lowlatency/。
関連論文リスト
- 3D Gaussian Splatting for Real-Time Radiance Field Rendering [4.320393382724066]
競争力のあるトレーニング時間を維持しながら、最先端の視覚的品質を達成するための3つの重要な要素を紹介します。
いくつかの確立したデータセット上で、最先端の視覚的品質とリアルタイムレンダリングを実証する。
論文 参考訳(メタデータ) (2023-08-08T06:37:06Z) - BAA-NGP: Bundle-Adjusting Accelerated Neural Graphics Primitives [6.0934694665969555]
2次元画像から3次元シーンを再構成する強力な手法として、暗黙の神経表現が登場した。
本稿では,バンドル調整型高速化ニューラルネットワークプリミティブ(BAA-NGP)というフレームワークを提案する。
提案手法は, 高速化サンプリングとハッシュ符号化を利用して, 精細化/推定と3次元シーン再構成の両方を高速化する。
論文 参考訳(メタデータ) (2023-06-07T05:36:45Z) - Hybrid Neural Rendering for Large-Scale Scenes with Motion Blur [68.24599239479326]
画像ベース表現とニューラル3D表現を結合して高品質なビュー一貫性のある画像をレンダリングするハイブリッドなニューラルレンダリングモデルを開発した。
我々のモデルは、新しいビュー合成のための最先端のポイントベース手法を超越している。
論文 参考訳(メタデータ) (2023-04-25T08:36:33Z) - HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。
本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。
テスト時,本手法は単眼のRGBビデオによって駆動される。
論文 参考訳(メタデータ) (2023-03-25T13:56:33Z) - Efficient Meshy Neural Fields for Animatable Human Avatars [87.68529918184494]
高忠実でアニマブルな人間のアバターをビデオから効果的にデジタル化することは、挑戦的で活発な研究課題である。
最近のレンダリングベースのニューラル表現は、フレンドリーなユーザビリティと光変化の再現性を備えた、人間のデジタル化の新しい方法を開く。
アニマタブルなヒトアバターを再構築するために,メッシュニューラルネットワークを効果的に学習する手法であるEMAを提案する。
論文 参考訳(メタデータ) (2023-03-23T00:15:34Z) - Real-Time Neural Light Field on Mobile Devices [54.44982318758239]
低レイテンシで小さなサイズでモバイルデバイス上で効率的に動作する新しいネットワークアーキテクチャを導入する。
本モデルでは,合成シーンと実世界のシーンの両方において,リアルタイムな推論を維持しながら高分解能な生成を実現する。
論文 参考訳(メタデータ) (2022-12-15T18:58:56Z) - SteerNeRF: Accelerating NeRF Rendering via Smooth Viewpoint Trajectory [20.798605661240355]
本稿では,2次元ニューラルネットワークを用いたレンダリングの高速化手法を提案する。
まず、ボリュームレンダリングにより低解像度の特徴マップを描画し、続いて、軽量な2Dニューラルを適用して、目標解像度で画像を生成する。
提案手法は,メモリオーバーヘッドを少なくしてレンダリング時間を短縮し,メモリフットプリントの少ない1080P画像解像度で30FPSを実現することで,競争力のあるレンダリング品質を実現することができることを示す。
論文 参考訳(メタデータ) (2022-12-15T00:02:36Z) - View Synthesis with Sculpted Neural Points [64.40344086212279]
暗黙の神経表現は印象的な視覚的品質を達成したが、計算効率に欠点がある。
本稿では,点雲を用いたビュー合成を行う新しい手法を提案する。
レンダリング速度を100倍以上速くしながら、NeRFよりも視覚的品質を向上する最初のポイントベース手法である。
論文 参考訳(メタデータ) (2022-05-12T03:54:35Z) - Real-time Neural Radiance Caching for Path Tracing [67.46991813306708]
本稿では,パストレーシングによる大域照明のためのリアルタイムなニューラルラディアンスキャッシング手法を提案する。
我々のシステムは、完全にダイナミックなシーンを扱うように設計されており、照明、幾何学、材料に関する仮定は一切ない。
バイアスの少ないコストで大きなノイズ低減効果を示し、多くの難題に対して最先端のリアルタイム性能を報告した。
論文 参考訳(メタデータ) (2021-06-23T13:09:58Z) - Neural Lumigraph Rendering [33.676795978166375]
最先端の(SOTA)ニューラルボリュームレンダリングアプローチは、トレーニングが遅く、高い画像解像度のために数分の推論(レンダリング)時間を必要とします。
本研究では,2次元画像のみを監督するシーンの暗黙の面と放射界を協調的に最適化するために,周期的アクティベーションを伴う高容量なニューラルシーン表現を採用する。
我々のニューラルレンダリングパイプラインは、SOTAニューラルボリュームレンダリングを約2桁加速し、暗黙のサーフェス表現は、ビュー依存テクスチャ情報によるメッシュのエクスポートを可能にするユニークなものです。
論文 参考訳(メタデータ) (2021-03-22T03:46:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。