論文の概要: Frequency Aware Face Hallucination Generative Adversarial Network with Semantic Structural Constraint

• arxiv url: http://arxiv.org/abs/2110.01880v1
• Date: Tue, 5 Oct 2021 08:51:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-06 14:25:07.202193
• Title: Frequency Aware Face Hallucination Generative Adversarial Network with Semantic Structural Constraint
• Title（参考訳）: 意味的構造制約を持つ周波数認識型顔幻覚生成逆ネットワーク
• Authors: Shailza Sharma, Abhinav Dhall, and Vinay Kumar
• Abstract要約: 現在の顔幻覚法のほとんどは、低解像度の顔画像から高解像度の顔画像を生成するために2次元の顔前処理に依存している。 GAN(Generative Adversarial Network)に基づく新しいプログレッシブ・フェイス幻覚ネットワークを提案する。
• 参考スコア（独自算出の注目度）: 8.440060524215378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we address the issue of face hallucination. Most current face hallucination methods rely on two-dimensional facial priors to generate high resolution face images from low resolution face images. These methods are only capable of assimilating global information into the generated image. Still there exist some inherent problems in these methods; such as, local features, subtle structural details and missing depth information in final output image. Present work proposes a Generative Adversarial Network (GAN) based novel progressive Face Hallucination (FH) network to address these issues present among current methods. The generator of the proposed model comprises of FH network and two sub-networks, assisting FH network to generate high resolution images. The first sub-network leverages on explicitly adding high frequency components into the model. To explicitly encode the high frequency components, an auto encoder is proposed to generate high resolution coefficients of Discrete Cosine Transform (DCT). To add three dimensional parametric information into the network, second sub-network is proposed. This network uses a shape model of 3D Morphable Models (3DMM) to add structural constraint to the FH network. Extensive experimentation results in the paper shows that the proposed model outperforms the state-of-the-art methods.
• Abstract（参考訳）: 本稿では,顔面幻覚の問題点について述べる。 現在の顔幻覚法のほとんどは、低解像度の顔画像から高解像度の顔画像を生成するために2次元の顔前処理に依存している。 これらの手法は、生成した画像にグローバル情報を同化することしかできない。 これらの手法には、局所的特徴、微妙な構造的詳細、最終的な出力画像の深度情報の欠如など、いくつかの固有の問題がある。 本研究は,GAN(Generative Adversarial Network)に基づく新しいプログレッシブ・フェイス・ハロシン化(FH)ネットワークを提案する。 提案モデルの生成装置は、FHネットワークと2つのサブネットワークから構成され、FHネットワークが高解像度画像を生成するのを補助する。 最初のサブネットワークは、モデルに高周波コンポーネントを明示的に追加することを活用する。 高周波成分を明示的に符号化するために、離散コサイン変換(DCT)の高分解能係数を生成するオートエンコーダを提案する。 ネットワークに3次元パラメトリック情報を加えるために,第2のサブネットワークを提案する。 このネットワークは3d morphable model(3dmm)の形状モデルを使用して、fhネットワークに構造的制約を追加する。 本論文では,提案モデルが最先端手法より優れていることを示す。

関連論文リスト

• Lightweight single-image super-resolution network based on dual paths [0.552480439325792]
  ディープラーニングのシングルイメージ超解像(SISR)アルゴリズムには,畳み込みニューラルネットワークとTransformerに基づく2つのモデルがある。 本稿では,2方向相補的畳み込みとトランスフォーマーに基づく,軽量なマルチスケール機能融合ネットワークモデルを提案する。
  論文  参考訳（メタデータ） (2024-09-10T15:31:37Z)
• 3D Priors-Guided Diffusion for Blind Face Restoration [30.94188504133298]
  劣化した顔画像から鮮明な顔画像を復元するためのブラインド顔復元作業。 近年,GAN(Generative Adversarial Networks)を先行するアプローチが顕著な成功を収めている。 本稿では,3次元顔前処理を構造的制約と同一性制約として組み込んだ拡散に基づく新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-02T07:13:32Z)
• Self-Parameterization Based Multi-Resolution Mesh Convolution Networks [0.0]
  本稿では,メッシュ畳み込みニューラルネットワークを3次元メッシュ密度予測のために設計する際の課題について述べる。 まず、高分解能入力データから直接多分解能メッシュピラミッドを構築する。 第二に、マルチ解像度畳み込みネットワークにおける高分解能表現を維持し、マルチスケールの融合を可能にする。
  論文  参考訳（メタデータ） (2024-08-25T08:11:22Z)
• Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object Structure via HyperNetworks [53.67497327319569]
  画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。 提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。 本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
  論文  参考訳（メタデータ） (2023-12-24T08:42:37Z)
• NeRF-GAN Distillation for Efficient 3D-Aware Generation with Convolutions [97.27105725738016]
  GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。 提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
  論文  参考訳（メタデータ） (2023-03-22T18:59:48Z)
• NeRFInvertor: High Fidelity NeRF-GAN Inversion for Single-shot Real Image Animation [66.0838349951456]
  Nerfベースの生成モデルは、一貫した3次元幾何で高品質な画像を生成する能力を示している。 本研究では,このNeRF-GANモデルを外科的に微調整し,実物体の高忠実度アニメーションを単一画像のみで実現するための普遍的手法を提案する。
  論文  参考訳（メタデータ） (2022-11-30T18:36:45Z)
• Flow-based GAN for 3D Point Cloud Generation from a Single Image [16.04710129379503]
  本稿では,任意の解像度の点群をサンプリングするためのフローベース明示的生成モデルを継承する,ハイブリッドな明示的生成モデルを提案する。 大規模合成データセットShapeNetについて評価し,提案手法の優れた性能を示す実験結果を得た。
  論文  参考訳（メタデータ） (2022-10-08T17:58:20Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D Shapes [77.6741486264257]
  本稿では,高忠実度ニューラルネットワークSDFのリアルタイムレンダリングを可能にする,効率的なニューラル表現を提案する。 我々の表現は、以前の作品に比べてレンダリング速度の点で2～3桁の効率であることを示す。
  論文  参考訳（メタデータ） (2021-01-26T18:50:22Z)
• Hierarchical Amortized Training for Memory-efficient High Resolution 3D GAN [52.851990439671475]
  本稿では,高解像度な3D画像を生成することができる新しいエンドツーエンドGANアーキテクチャを提案する。 トレーニングと推論の異なる構成を使用することで、この目標を達成する。 3次元胸郭CTと脳MRIの実験により、我々のアプローチは画像生成における最先端技術より優れていることが示された。
  論文  参考訳（メタデータ） (2020-08-05T02:33:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。