論文の概要: Scaling Neural Face Synthesis to High FPS and Low Latency by Neural Caching

• arxiv url: http://arxiv.org/abs/2211.05773v1
• Date: Thu, 10 Nov 2022 18:58:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 15:31:42.287639
• Title: Scaling Neural Face Synthesis to High FPS and Low Latency by Neural Caching
• Title（参考訳）: ニューラルキャッシングによる高FPSおよび低レイテンシへのニューラルフェイス合成のスケーリング
• Authors: Frank Yu, Sid Fels, Helge Rhodin
• Abstract要約: 最近のニューラルレンダリングアプローチは、画像の品質を大幅に改善し、光リアリズムに近いものに到達している。 基盤となるニューラルネットワークは高いランタイムを持ち、低レイテンシで高解像度を必要とするテレプレゼンスとバーチャルリアリティアプリケーションを除く。 前のフレームから情報をキャッシュすることで依存関係を壊し、暗黙のワープで現在のフレームの処理を高速化します。 我々は,既存のベンチマークシーケンス上で,テレプレゼンスに必要な3次元ポートレートアバターのビュー依存レンダリングに対するアプローチを検証した。
• 参考スコア（独自算出の注目度）: 12.362614824541824
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent neural rendering approaches greatly improve image quality, reaching near photorealism. However, the underlying neural networks have high runtime, precluding telepresence and virtual reality applications that require high resolution at low latency. The sequential dependency of layers in deep networks makes their optimization difficult. We break this dependency by caching information from the previous frame to speed up the processing of the current one with an implicit warp. The warping with a shallow network reduces latency and the caching operations can further be parallelized to improve the frame rate. In contrast to existing temporal neural networks, ours is tailored for the task of rendering novel views of faces by conditioning on the change of the underlying surface mesh. We test the approach on view-dependent rendering of 3D portrait avatars, as needed for telepresence, on established benchmark sequences. Warping reduces latency by 70$\%$ (from 49.4ms to 14.9ms on commodity GPUs) and scales frame rates accordingly over multiple GPUs while reducing image quality by only 1$\%$, making it suitable as part of end-to-end view-dependent 3D teleconferencing applications. Our project page can be found at: https://yu-frank.github.io/lowlatency/.
• Abstract（参考訳）: 最近のニューラルレンダリングアプローチは画質を大幅に改善し、光リアリズムに近い。 しかし、基盤となるニューラルネットワークは高いランタイムを持ち、低レイテンシで高解像度を必要とするテレプレゼンスとバーチャルリアリティーアプリケーションを除く。 ディープネットワークにおけるレイヤのシーケンシャルな依存性は、最適化を難しくする。 前のフレームから情報をキャッシュすることで依存関係を壊し、暗黙のワープで現在のフレームの処理を高速化します。 浅いネットワークによるワープはレイテンシを低減し、キャッシング操作をさらに並列化してフレームレートを改善することができる。 既存の時間的ニューラルネットワークとは対照的に、表面メッシュの変化を条件づけることで、顔の新たなビューをレンダリングする作業に適している。 テレプレゼンスに必要な3次元ポートレートアバターのビュー依存レンダリングを,確立されたベンチマークシーケンス上でテストした。 Warpingは、レイテンシを70$\%(コモディティGPUでは49.4msから14.9ms)削減し、複数のGPU上でフレームレートをスケールすると同時に、画像品質を1$\%$に削減し、エンドツーエンドのビュー依存の3Dテレカンファレンスアプリケーションの一部として適している。 プロジェクトページはhttps://yu-frank.github.io/lowlatency/。

関連論文リスト

• Low Latency Point Cloud Rendering with Learned Splatting [24.553459204476432]
  点のばらつきと不規則さのため、点雲の高品質なレンダリングは困難である。 既存のレンダリングソリューションには、品質とスピードのどちらかが欠けている。 対話的,自由なビューング,高忠実度クラウドレンダリングを実現するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-24T23:26:07Z)
• NARVis: Neural Accelerated Rendering for Real-Time Scientific Point Cloud Visualization [15.7907024889244]
  この研究は、ニューラルアクセラレーション・レンダー(NAR)という小説を紹介している。 NARは、ニューラルネットワーク遅延レンダリングフレームワークを使用して、大規模な科学的ポイントクラウドデータを視覚化する。 350万点のインタラクティブレンダリングのために, フレームレートを$126 fpsで実現した。
  論文  参考訳（メタデータ） (2024-07-26T21:21:13Z)
• D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
  本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。 我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
  論文  参考訳（メタデータ） (2024-06-14T14:35:44Z)
• Hybrid Neural Rendering for Large-Scale Scenes with Motion Blur [68.24599239479326]
  画像ベース表現とニューラル3D表現を結合して高品質なビュー一貫性のある画像をレンダリングするハイブリッドなニューラルレンダリングモデルを開発した。 我々のモデルは、新しいビュー合成のための最先端のポイントベース手法を超越している。
  論文  参考訳（メタデータ） (2023-04-25T08:36:33Z)
• HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
  本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。 本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。 テスト時,本手法は単眼のRGBビデオによって駆動される。
  論文  参考訳（メタデータ） (2023-03-25T13:56:33Z)
• Efficient Meshy Neural Fields for Animatable Human Avatars [87.68529918184494]
  高忠実でアニマブルな人間のアバターをビデオから効果的にデジタル化することは、挑戦的で活発な研究課題である。 最近のレンダリングベースのニューラル表現は、フレンドリーなユーザビリティと光変化の再現性を備えた、人間のデジタル化の新しい方法を開く。 アニマタブルなヒトアバターを再構築するために,メッシュニューラルネットワークを効果的に学習する手法であるEMAを提案する。
  論文  参考訳（メタデータ） (2023-03-23T00:15:34Z)
• Real-Time Neural Light Field on Mobile Devices [54.44982318758239]
  低レイテンシで小さなサイズでモバイルデバイス上で効率的に動作する新しいネットワークアーキテクチャを導入する。 本モデルでは,合成シーンと実世界のシーンの両方において,リアルタイムな推論を維持しながら高分解能な生成を実現する。
  論文  参考訳（メタデータ） (2022-12-15T18:58:56Z)
• SteerNeRF: Accelerating NeRF Rendering via Smooth Viewpoint Trajectory [20.798605661240355]
  本稿では,2次元ニューラルネットワークを用いたレンダリングの高速化手法を提案する。 まず、ボリュームレンダリングにより低解像度の特徴マップを描画し、続いて、軽量な2Dニューラルを適用して、目標解像度で画像を生成する。 提案手法は,メモリオーバーヘッドを少なくしてレンダリング時間を短縮し,メモリフットプリントの少ない1080P画像解像度で30FPSを実現することで,競争力のあるレンダリング品質を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-12-15T00:02:36Z)
• Real-time Neural Radiance Caching for Path Tracing [67.46991813306708]
  本稿では,パストレーシングによる大域照明のためのリアルタイムなニューラルラディアンスキャッシング手法を提案する。 我々のシステムは、完全にダイナミックなシーンを扱うように設計されており、照明、幾何学、材料に関する仮定は一切ない。 バイアスの少ないコストで大きなノイズ低減効果を示し、多くの難題に対して最先端のリアルタイム性能を報告した。
  論文  参考訳（メタデータ） (2021-06-23T13:09:58Z)
• Neural Lumigraph Rendering [33.676795978166375]
  最先端の(SOTA)ニューラルボリュームレンダリングアプローチは、トレーニングが遅く、高い画像解像度のために数分の推論(レンダリング)時間を必要とします。 本研究では,2次元画像のみを監督するシーンの暗黙の面と放射界を協調的に最適化するために,周期的アクティベーションを伴う高容量なニューラルシーン表現を採用する。 我々のニューラルレンダリングパイプラインは、SOTAニューラルボリュームレンダリングを約2桁加速し、暗黙のサーフェス表現は、ビュー依存テクスチャ情報によるメッシュのエクスポートを可能にするユニークなものです。
  論文  参考訳（メタデータ） (2021-03-22T03:46:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。