論文の概要: Human Pose Transfer with Disentangled Feature Consistency
- arxiv url: http://arxiv.org/abs/2107.10984v1
- Date: Fri, 23 Jul 2021 01:25:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-26 13:55:57.755665
- Title: Human Pose Transfer with Disentangled Feature Consistency
- Title（参考訳）: 対角的特徴整合性を有する人物の姿勢伝達
- Authors: Kun Wu, Chengxiang Yin, Zhengping Che, Bo Jiang, Jian Tang, Zheng Guan
and Gangyi Ding
- Abstract要約: 人間のポーズ転送を容易にするために,DFC-Netを用いたポーズ転送ネットワークを提案する。
ソースとターゲット人を含む一対のイメージが与えられた後、DFC-Netはソースからそれぞれポーズと静的情報を抽出し、ターゲット人のイメージをソースから所望のポーズで合成する。
- 参考スコア（独自算出の注目度）: 20.58094099665688
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep generative models have made great progress in synthesizing images with
arbitrary human poses and transferring poses of one person to others. However,
most existing approaches explicitly leverage the pose information extracted
from the source images as a conditional input for the generative networks.
Meanwhile, they usually focus on the visual fidelity of the synthesized images
but neglect the inherent consistency, which further confines their performance
of pose transfer. To alleviate the current limitations and improve the quality
of the synthesized images, we propose a pose transfer network with Disentangled
Feature Consistency (DFC-Net) to facilitate human pose transfer. Given a pair
of images containing the source and target person, DFC-Net extracts pose and
static information from the source and target respectively, then synthesizes an
image of the target person with the desired pose from the source. Moreover,
DFC-Net leverages disentangled feature consistency losses in the adversarial
training to strengthen the transfer coherence and integrates the keypoint
amplifier to enhance the pose feature extraction. Additionally, an unpaired
support dataset Mixamo-Sup providing more extra pose information has been
further utilized during the training to improve the generality and robustness
of DFC-Net. Extensive experimental results on Mixamo-Pose and EDN-10k have
demonstrated DFC-Net achieves state-of-the-art performance on pose transfer.
- Abstract（参考訳）: 深層生成モデルは、任意の人間のポーズで画像を合成し、ある人のポーズを他の人に転送する上で大きな進歩を遂げている。
しかし、既存の手法のほとんどは、ソース画像から抽出されたポーズ情報を、生成ネットワークの条件入力として明示的に活用している。
一方、彼らは通常、合成画像の視覚的忠実さにフォーカスするが、固有の一貫性を無視し、ポーズ転送の性能をさらに制限する。
本稿では,現状の制約を緩和し,合成画像の品質を向上させるために,DFC-Net(Disentangled Feature Consistency)を用いたポーズ転送ネットワークを提案する。
ソースとターゲット人を含む一対のイメージが与えられた後、DFC-Netはソースからそれぞれポーズと静的情報を抽出し、ターゲット人の画像をソースから所望のポーズで合成する。
さらに、dfc-netは、対向訓練における不連続な特徴一貫性損失を利用して転送コヒーレンスを強化し、キーポイントアンプを統合してポーズ特徴抽出を強化する。
さらに,dfc-netの汎用性とロバスト性を向上させるために,追加的なポーズ情報を提供する非ペアサポートデータセットmixamo-supが,トレーニング中にさらに活用されている。
Mixamo-Pose と EDN-10k の大規模実験により,DFC-Net がポーズ転送における最先端性能を達成することを示した。
関連論文リスト
- Realistic and Efficient Face Swapping: A Unified Approach with Diffusion Models [69.50286698375386]
フェース・スワッピングのための拡散モデルを改善する新しい手法を提案する。
インペイントトレーニング中にマスクシャッフル技術を導入し、スワップのためのいわゆるユニバーサルモデルを作成することができる。
私たちのアプローチは比較的統一されたアプローチなので、他のオフザシェルフモデルのエラーに対して耐性があります。
論文 参考訳（メタデータ） (2024-09-11T13:43:53Z) - DPoser: Diffusion Model as Robust 3D Human Pose Prior [51.75784816929666]
拡散モデルに基づいて構築された,頑丈で多目的な人間のポーズであるDPoserを紹介する。
DPoserは、様々なポーズ中心タスクを逆問題とみなし、効率的な解法として変分拡散サンプリングを用いる。
提案手法は、画像領域で使用される一般的な均一スケジューリングよりも大幅に改善され、それぞれ5.4%、17.2%、および3.8%の改善が達成された。
論文 参考訳（メタデータ） (2023-12-09T11:18:45Z) - Advancing Pose-Guided Image Synthesis with Progressive Conditional Diffusion Models [13.019535928387702]
本稿では,ターゲット下の人物像とソースポーズのギャップを段階的に橋渡しするプログレッシブ条件拡散モデル(PCDM)を提案する。
定性的かつ定量的な結果は,難解なシナリオ下で提案したPCDMの一貫性と光現実性を示すものである。
論文 参考訳（メタデータ） (2023-10-10T05:13:17Z) - Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。
2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
論文 参考訳（メタデータ） (2022-11-22T18:59:50Z) - Robust Single Image Dehazing Based on Consistent and Contrast-Assisted
Reconstruction [95.5735805072852]
画像復調モデルのロバスト性を改善するための新しい密度変分学習フレームワークを提案する。
具体的には、デハジングネットワークは、一貫性の規則化されたフレームワークの下で最適化されている。
我々の手法は最先端のアプローチを大きく上回っている。
論文 参考訳（メタデータ） (2022-03-29T08:11:04Z) - FDA-GAN: Flow-based Dual Attention GAN for Human Pose Transfer [3.08426078422188]
本稿では,フローベースデュアルアテンションGAN (FDA-GAN) を提案する。
転送時のポーズとグローバル位置の整合性を維持するために,対象人物から対象人物への適応正規化学習のためのポーズ正規化ネットワークを設計する。
定性的かつ定量的な結果から,本手法はパブリックiPERおよびDeepFashionデータセットの最先端モデルよりも優れていることが示された。
論文 参考訳（メタデータ） (2021-12-01T05:10:37Z) - Structure-aware Person Image Generation with Pose Decomposition and
Semantic Correlation [29.727033198797518]
高品質な人物画像生成のための構造認識フローベース手法を提案する。
人体を異なる意味部分に分解し、異なるネットワークを適用してこれらの部分のフロー場を別々に予測する。
提案手法は,ポーズの相違が大きい場合に高品質な結果を生成することができ,定性比較と定量的比較の両方において最先端の手法より優れる。
論文 参考訳（メタデータ） (2021-02-05T03:07:57Z) - PoNA: Pose-guided Non-local Attention for Human Pose Transfer [105.14398322129024]
本稿では, 簡易ブロックを用いたGAN(Generative Adversarial Network)を用いた新しいポーズ転送手法を提案する。
我々のモデルはより鮮明でよりリアルな画像を生成するが、パラメータは少なく、速度も速い。
論文 参考訳（メタデータ） (2020-12-13T12:38:29Z) - Adversarial Semantic Data Augmentation for Human Pose Estimation [96.75411357541438]
本研究では,セマンティックデータ拡張法 (SDA) を提案する。
また,適応的セマンティックデータ拡張 (ASDA) を提案する。
最先端の結果は、挑戦的なベンチマークで得られます。
論文 参考訳（メタデータ） (2020-08-03T07:56:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。