論文の概要: LookinGood^{\pi}: Real-time Person-independent Neural Re-rendering for High-quality Human Performance Capture

• arxiv url: http://arxiv.org/abs/2112.08037v1
• Date: Wed, 15 Dec 2021 11:00:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-16 14:38:35.605993
• Title: LookinGood^{\pi}: Real-time Person-independent Neural Re-rendering for High-quality Human Performance Capture
• Title（参考訳）: LookinGood^{\pi}: 高品質な人体パフォーマンスキャプチャのためのリアルタイム人非依存型ニューラルリレンダリング
• Authors: Xiqi Yang, Kewei Yang, Kang Chen, Weidong Zhang, Weiwei Xu
• Abstract要約: 本稿では,人間のパフォーマンスキャプチャシステムによる低品質な再構成結果のレンダリング品質をリアルタイムに向上することを目的とした,ニューラルリレンダリング手法を提案する。 我々のキーとなる考え方は、再構成された幾何学のレンダリングされたイメージをガイダンスとして利用し、少ない参照画像から人物固有の詳細を予測することである。 本手法は, 身近な人物に対して高忠実度画像を生成する方法よりも, 最先端の手法の方が優れていることを示す。
• 参考スコア（独自算出の注目度）: 13.026888802770902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose LookinGood^{\pi}, a novel neural re-rendering approach that is aimed to (1) improve the rendering quality of the low-quality reconstructed results from human performance capture system in real-time; (2) improve the generalization ability of the neural rendering network on unseen people. Our key idea is to utilize the rendered image of reconstructed geometry as the guidance to assist the prediction of person-specific details from few reference images, thus enhancing the re-rendered result. In light of this, we design a two-branch network. A coarse branch is designed to fix some artifacts (i.e. holes, noise) and obtain a coarse version of the rendered input, while a detail branch is designed to predict "correct" details from the warped references. The guidance of the rendered image is realized by blending features from two branches effectively in the training of the detail branch, which improves both the warping accuracy and the details' fidelity. We demonstrate that our method outperforms state-of-the-art methods at producing high-fidelity images on unseen people.
• Abstract（参考訳）: そこで我々は,LookinGood^{\piというニューラルリレンダリング手法を提案し,(1)人間のパフォーマンスキャプチャシステムから低品質な再構成結果のレンダリング品質をリアルタイムで向上すること,(2)見えない人に対するニューラルネットワークの一般化能力を向上させることを目的とした。 本研究の目的は,再構成幾何のレンダリング画像を,少数の参照画像からの人物特定詳細の予測を支援するガイダンスとして活用することである。 これを踏まえ、我々は2分岐ネットワークを設計する。 粗いブランチは、いくつかのアーティファクト(例えば、穴、ノイズ)を修正し、レンダリングされた入力の粗いバージョンを得るように設計され、細部ブランチは、歪んだ参照から「正しい」詳細を予測するように設計されている。 ディテールブランチのトレーニングにおいて、2つのブランチの特徴を効果的にブレンドすることにより、レンダリング画像のガイダンスを実現し、ワープ精度とディテールの忠実度の両方を改善する。 本手法は, 身近な人物に対して高忠実度画像を生成する技術よりも優れていることを示す。

関連論文リスト

• LIFe-GoM: Generalizable Human Rendering with Learned Iterative Feedback Over Multi-Resolution Gaussians-on-Mesh [102.24454703207194]
  スパース入力からのアニマタブルな人間のアバターの一般的なレンダリングは、大規模データのトレーニングから抽出されたデータ先行と誘導バイアスに依存する。 本稿では,再建過程における標準的な人体形状表現を逐次改善する反復的フィードバック更新フレームワークを提案する。 提案手法は,1秒未満のスパース入力からアニマタブルな表現を再構成し,95.1FPSのビューを1024×1024$でレンダリングし,THuman2.0上でPSNR/LPIPS*/FIDの24.65/110.82/51.27を達成する。
  論文  参考訳（メタデータ） (2025-02-13T18:59:19Z)
• MaRINeR: Enhancing Novel Views by Matching Rendered Images with Nearby References [49.71130133080821]
  MaRINeRは、近くのマッピング画像の情報を活用して、ターゲット視点のレンダリングを改善する方法である。 暗黙のシーン表現と暗黙のシーン表現の両方から、定量的な指標と定性的な例のレンダリングの改善を示す。
  論文  参考訳（メタデータ） (2024-07-18T17:50:03Z)
• ENTED: Enhanced Neural Texture Extraction and Distribution for Reference-based Blind Face Restoration [51.205673783866146]
  我々は,高品質でリアルな肖像画を復元することを目的とした,ブラインドフェイス修復のための新しいフレームワークであるENTEDを提案する。 劣化した入力画像と参照画像の間で高品質なテクスチャ特徴を伝達するために,テクスチャ抽出と分布の枠組みを利用する。 われわれのフレームワークにおけるStyleGANのようなアーキテクチャは、現実的な画像を生成するために高品質な潜伏符号を必要とする。
  論文  参考訳（メタデータ） (2024-01-13T04:54:59Z)
• InvertAvatar: Incremental GAN Inversion for Generalized Head Avatars [40.10906393484584]
  本稿では,複数フレームからの忠実度向上を目的としたアルゴリズムを用いて,アバター復元性能を向上させる新しいフレームワークを提案する。 本アーキテクチャでは,画素対応画像-画像変換を重要視し,観測空間と標準空間の対応を学習する必要性を緩和する。 提案手法は,1ショットと数ショットのアバターアニメーションタスクにおける最先端の性能を示す。
  論文  参考訳（メタデータ） (2023-12-03T18:59:15Z)
• Refining 3D Human Texture Estimation from a Single Image [3.8761064607384195]
  1枚の画像から3次元の人間のテクスチャを推定することは、グラフィックと視覚に不可欠である。 本稿では,オフセットが深層ニューラルネットワークを介して学習される変形可能な畳み込みによって,入力を適応的にサンプリングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T19:53:50Z)
• FoVolNet: Fast Volume Rendering using Foveated Deep Neural Networks [33.489890950757975]
  FoVolNetはボリュームデータ可視化の性能を大幅に向上させる手法である。 我々は、焦点付近のボリュームを疎結合にサンプリングし、ディープニューラルネットワークを用いてフルフレームを再構築する、費用対効果の高いフェーベレートレンダリングパイプラインを開発した。
  論文  参考訳（メタデータ） (2022-09-20T19:48:56Z)
• Towards Unsupervised Deep Image Enhancement with Generative Adversarial Network [92.01145655155374]
  監視されていない画像強調生成ネットワーク(UEGAN)を提案する。 教師なしの方法で所望の特性を持つ画像の集合から、対応する画像と画像のマッピングを学習する。 その結果,提案モデルは画像の美的品質を効果的に向上することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:22:46Z)
• Interpretable Detail-Fidelity Attention Network for Single Image Super-Resolution [89.1947690981471]
  本研究では,スムースとディテールを段階的に分割・収束的に処理する,目的・解釈可能なディテール・ファイダリティ・アテンション・ネットワークを提案する。 特に,詳細推論において顕著な解釈可能な特徴表現のためのヘシアンフィルタを提案する。 実験により,提案手法は最先端手法よりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2020-09-28T08:31:23Z)
• Deep CG2Real: Synthetic-to-Real Translation via Image Disentanglement [78.58603635621591]
  画像空間における未ペアの合成-現実翻訳ネットワークの訓練は、厳しい制約下にある。 画像の非交叉シェーディング層とアルベド層に作用する半教師付きアプローチを提案する。 私たちの2段階のパイプラインはまず、物理ベースのレンダリングをターゲットとして、教師付き方法で正確なシェーディングを予測することを学習します。
  論文  参考訳（メタデータ） (2020-03-27T21:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。