論文の概要: TIFace: Improving Facial Reconstruction through Tensorial Radiance Fields and Implicit Surfaces

• arxiv url: http://arxiv.org/abs/2312.09527v1
• Date: Fri, 15 Dec 2023 04:23:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 17:13:54.083905
• Title: TIFace: Improving Facial Reconstruction through Tensorial Radiance Fields and Implicit Surfaces
• Title（参考訳）: tiface:tensorial radiance fieldと暗黙的表面による顔面再建の改善
• Authors: Ruijie Zhu, Jiahao Chang, Ziyang Song, Jiahuan Yu, Tianzhu Zhang
• Abstract要約: 本報告では,「人間の頭に対するビュー・シンセサイザー・チャレンジ」の第1位を確保したソリューションについて述べる。 人間の頭部の粗い視像を考慮に入れれば、この課題は、新しい視点から画像を合成することである。 テンソル放射場(T-Face)と暗示面(I-Face)による顔再構成を改善するTI-Faceを提案する。
• 参考スコア（独自算出の注目度）: 34.090466325032686
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This report describes the solution that secured the first place in the "View Synthesis Challenge for Human Heads (VSCHH)" at the ICCV 2023 workshop. Given the sparse view images of human heads, the objective of this challenge is to synthesize images from novel viewpoints. Due to the complexity of textures on the face and the impact of lighting, the baseline method TensoRF yields results with significant artifacts, seriously affecting facial reconstruction. To address this issue, we propose TI-Face, which improves facial reconstruction through tensorial radiance fields (T-Face) and implicit surfaces (I-Face), respectively. Specifically, we employ an SAM-based approach to obtain the foreground mask, thereby filtering out intense lighting in the background. Additionally, we design mask-based constraints and sparsity constraints to eliminate rendering artifacts effectively. The experimental results demonstrate the effectiveness of the proposed improvements and superior performance of our method on face reconstruction. The code will be available at https://github.com/RuijieZhu94/TI-Face.
• Abstract（参考訳）: 本報告では,ICCV 2023ワークショップにおいて,「VSCHH(View Synthesis Challenge for Human Heads)」の第1位を獲得したソリューションについて述べる。 この課題は、人間の頭部のまばらなビューイメージを考えると、新しい視点からイメージを合成することである。 顔のテクスチャの複雑さと照明の影響により、ベースライン法であるTensoRFは、顔の再構成に大きな影響を及ぼす重要な成果をもたらす。 この問題に対処するため,T-Face と暗黙の面 (I-Face) を用いて顔の再構成を改善する TI-Face を提案する。 具体的には,フォアグラウンドマスクを得るためにSAMベースのアプローチを採用し,背景の強い照明をフィルタリングする。 さらに、レンダリングアーティファクトを効果的に排除するために、マスクベースの制約とスパーシティ制約を設計します。 実験の結果,提案手法が顔再建に有効であること,優れた性能が得られた。 コードはhttps://github.com/RuijieZhu94/TI-Faceで入手できる。

関連論文リスト

• OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
  拡散モデルは、顔の修復において顕著な性能を示した。 顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。 その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-26T07:07:48Z)
• Face Mask Removal with Region-attentive Face Inpainting [0.7433327915285965]
  本研究では,顔のマスク部分の復元・再構成を行う生成顔インペイント法を提案する。 提案手法は,空間情報損失を軽減するため,M-CSAM (M-scale Channel-Spatial Attention Module) を含む。 我々は、CelebAデータセットから5種類のマスクを組み込むことで、独自のMasked-Facesデータセットを合成する。
  論文  参考訳（メタデータ） (2024-09-10T20:10:11Z)
• Towards Real-World Blind Face Restoration with Generative Diffusion Prior [69.84480964328465]
  ブラインド顔の復元はコンピュータビジョンにおいて重要な課題であり、広範囲の応用により注目されている。 低画質の顔画像から特徴を効果的に抽出するBFRffusionを提案する。 また、人種、性別、年齢といったバランスのとれた属性を備えたPFHQというプライバシ保護顔データセットも構築しています。
  論文  参考訳（メタデータ） (2023-12-25T14:16:24Z)
• Learning Representations for Masked Facial Recovery [8.124282476398843]
  近年のパンデミックは 公共の場で 防護マスクを着用している人が 劇的に増えています この問題に対処する1つの方法は、前処理のステップとして、フェイスリカバリメソッドに戻ることです。 マスクを被った同一人物の画像から顔画像の復元に特有な方法を提案する。
  論文  参考訳（メタデータ） (2022-12-28T22:22:15Z)
• FaceOcc: A Diverse, High-quality Face Occlusion Dataset for Human Face Extraction [3.8502825594372703]
  隠蔽は野生の顔画像にしばしば発生し、ランドマーク検出や3D再構成、顔認識といった顔関連の課題に悩まされる。 本稿では,CelebA本社とインターネットから手動で顔の隠蔽をラベル付けした新しい顔のセグメンテーションデータセットを提案する。 簡単な顔分割モデルの訓練を行ったが,SOTA性能が得られ,提案したデータセットの有効性を実証した。
  論文  参考訳（メタデータ） (2022-01-20T19:44:18Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• Pro-UIGAN: Progressive Face Hallucination from Occluded Thumbnails [53.080403912727604]
  Inpainting Generative Adversarial Network, Pro-UIGANを提案する。 顔の形状を利用して、隠された小さな顔の補充とアップサンプリング(8*)を行う。 Pro-UIGANは、HR面を視覚的に満足させ、下流タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-08-02T02:29:24Z)
• Network Architecture Search for Face Enhancement [82.25775020564654]
  我々は、NASFE(Network Architecture Search for Face Enhancement)と呼ばれるマルチタスクの顔復元ネットワークを提案する。 NASFEは、単一の劣化(すなわち)を含む低品質の顔画像を高めることができる。 ノイズまたはぼやけ)または複数の劣化(ノイズ+ブラル+ローライト)
  論文  参考訳（メタデータ） (2021-05-13T19:46:05Z)
• Foreground-guided Facial Inpainting with Fidelity Preservation [7.5089719291325325]
  本稿では,畳み込みニューラルネットワーク層を用いて顔特徴を抽出・生成できるフォアグラウンド誘導型顔塗工フレームワークを提案する。 具体的には,表情の意味的能力推論,自然・不自然な特徴(メイクアップ)を用いた新しい損失関数を提案する。 提案手法は, 顔成分の高忠実度保存を, 質的に比較すると, 比較して定量的な結果を得た。
  論文  参考訳（メタデータ） (2021-05-07T15:50:58Z)
• HiFaceGAN: Face Renovation via Collaborative Suppression and Replenishment [63.333407973913374]
  フェース・リノベーション(FR)は意味誘導型生成問題である。 HiFaceGANは、複数のネストされたCSRユニットを含む多段階フレームワークである。 合成画像と実顔画像の両方の実験により,HiFaceGANの優れた性能が確認された。
  論文  参考訳（メタデータ） (2020-05-11T11:33:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。