論文の概要: Improving Human Image Synthesis with Residual Fast Fourier Transformation and Wasserstein Distance

• arxiv url: http://arxiv.org/abs/2205.12022v1
• Date: Tue, 24 May 2022 12:15:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 12:34:20.125160
• Title: Improving Human Image Synthesis with Residual Fast Fourier Transformation and Wasserstein Distance
• Title（参考訳）: 残差高速フーリエ変換とwasserstein距離によるヒト画像合成の改善
• Authors: Jianhan Wu, Shijing Si, Jianzong Wang, Jing Xiao
• Abstract要約: 近年,ポーズ転送などの人間の画像合成や編集技術が普及している。 既存の技術のほとんどは、優れた人間の画像を生成するGANに依存している。 合成画像のレンダリング効果は、一部の領域のレンダリング不良など、現実的ではない。 GANのトレーニングは不安定であり、モデル崩壊のような収束が遅い。
• 参考スコア（独自算出の注目度）: 25.388324221293203
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid development of the Metaverse, virtual humans have emerged, and human image synthesis and editing techniques, such as pose transfer, have recently become popular. Most of the existing techniques rely on GANs, which can generate good human images even with large variants and occlusions. But from our best knowledge, the existing state-of-the-art method still has the following problems: the first is that the rendering effect of the synthetic image is not realistic, such as poor rendering of some regions. And the second is that the training of GAN is unstable and slow to converge, such as model collapse. Based on the above two problems, we propose several methods to solve them. To improve the rendering effect, we use the Residual Fast Fourier Transform Block to replace the traditional Residual Block. Then, spectral normalization and Wasserstein distance are used to improve the speed and stability of GAN training. Experiments demonstrate that the methods we offer are effective at solving the problems listed above, and we get state-of-the-art scores in LPIPS and PSNR.
• Abstract（参考訳）: メタバースの急速な発展に伴い、仮想人間が出現し、ポーズ転送などの人間の画像合成や編集技術が最近普及している。 既存の技術のほとんどはGANに依存しており、大きな変種やオクルージョンでも優れた人間の画像を生成することができる。 第一に、合成画像のレンダリング効果は現実的ではなく、例えば、ある領域のレンダリングが貧弱であるなどである。 2つ目は、GANのトレーニングが不安定で、モデル崩壊のような収束が遅いことである。 上記の2つの問題に基づいて,その解決方法をいくつか提案する。 レンダリング効果を改善するために、従来のResidual Blockを置き換えるためにResidual Fast Fourier Transform Blockを使用します。 次に、ganトレーニングの速度と安定性を向上させるために、スペクトル正規化とwasserstein距離を用いる。 実験により,提案手法は上記の問題の解決に有効であることが示され,LPIPSとPSNRの最先端スコアが得られた。

関連論文リスト

• GAURA: Generalizable Approach for Unified Restoration and Rendering of Arbitrary Views [28.47730275628715]
  本稿では,いくつかの劣化条件下で高忠実性新規ビュー合成が可能な一般化可能なニューラルレンダリング手法を提案する。 我々の手法であるGAURAは学習ベースであり、テスト時間シーン固有の最適化を必要としない。
  論文  参考訳（メタデータ） (2024-07-11T06:44:37Z)
• DELIFFAS: Deformable Light Fields for Fast Avatar Synthesis [79.66663771181204]
  本研究では,表面光場としての人間の外観をパラメータ化するDELIFFASという新しい手法を提案する。 中心となるのは、変形可能な2面パラメタライゼーションにより、人間の外見の高速かつ正確な推測を可能にする、人間の周囲の光場を表現することである。 慎重に設計された人間の表現と監督戦略は、最先端の合成結果と推測時間につながる。
  論文  参考訳（メタデータ） (2023-10-17T17:58:00Z)
• Human from Blur: Human Pose Tracking from Blurry Images [89.65036443997103]
  ほぼぼやけた画像から3次元人間のポーズを推定する手法を提案する。 中心となる考え方は、人間の3次元モデル、テクスチャマップ、人間の動きを記述するポーズの列で前方の問題をモデル化することで、画像劣化の逆問題に取り組むことである。 微分可能なステップを用いることで、画素ワイズ再投影誤差をバックプロパゲートして、最適な人間の動作表現を復元することで、逆問題を解決することができる。
  論文  参考訳（メタデータ） (2023-03-30T08:05:59Z)
• Efficient Meshy Neural Fields for Animatable Human Avatars [87.68529918184494]
  高忠実でアニマブルな人間のアバターをビデオから効果的にデジタル化することは、挑戦的で活発な研究課題である。 最近のレンダリングベースのニューラル表現は、フレンドリーなユーザビリティと光変化の再現性を備えた、人間のデジタル化の新しい方法を開く。 アニマタブルなヒトアバターを再構築するために,メッシュニューラルネットワークを効果的に学習する手法であるEMAを提案する。
  論文  参考訳（メタデータ） (2023-03-23T00:15:34Z)
• Mesh Strikes Back: Fast and Efficient Human Reconstruction from RGB videos [15.746993448290175]
  多くの方法は、遅延レンダリング、NeRF、暗黙の手法を用いて、人間の衣服を表現している。 SMPL+Dメッシュの最適化と,効率的な多面的テクスチャ表現による対向的視点を提供する。 我々は、NeRF法と比較して、新規ポーズ合成の競争力のある新規ビュー合成と改善を示す。
  論文  参考訳（メタデータ） (2023-03-15T17:57:13Z)
• FastHuman: Reconstructing High-Quality Clothed Human in Minutes [18.643091757385626]
  高品質な人体形状を数分で最適化する手法を提案する。 本手法はメッシュベースのパッチワープ手法を用いて,マルチビュー光度整合性を確保する。 提案手法は,合成データセットと実世界のデータセットの両方において有望な結果を示した。
  論文  参考訳（メタデータ） (2022-11-26T05:16:39Z)
• Overparameterization Improves StyleGAN Inversion [66.8300251627992]
  既存の反転アプローチは、有望だが不完全な結果が得られる。 これにより、エンコーダを必要とせずに、ほぼ完璧な画像再構成が得られることを示す。 われわれのアプローチは、画像間の現実的な補間による編集可能性も維持する。
  論文  参考訳（メタデータ） (2022-05-12T18:42:43Z)
• Image Restoration by Deep Projected GSURE [115.57142046076164]
  Ill-posed inverse problem は、デブロアリングや超解像など、多くの画像処理アプリケーションに現れる。 本稿では,一般化されたSteinUnbiased Risk Estimator(GSURE)の「投影変換」とCNNによる潜在画像のパラメータ化を含む損失関数の最小化に基づく,新たな画像復元フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-04T08:52:46Z)
• Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
  ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。 両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。 画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2020-08-25T03:30:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。