論文の概要: Collecting The Puzzle Pieces: Disentangled Self-Driven Human Pose Transfer by Permuting Textures

• arxiv url: http://arxiv.org/abs/2210.01887v2
• Date: Thu, 6 Oct 2022 14:44:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 14:59:51.550697
• Title: Collecting The Puzzle Pieces: Disentangled Self-Driven Human Pose Transfer by Permuting Textures
• Title（参考訳）: パズル作品の収集:テクスチャの交換による不連続な自己駆動型人間のポーズ伝達
• Authors: Nannan Li, Kevin J. Shih, Bryan A. Plummer
• Abstract要約: 本稿では,ランダムにテクスチャを変化させる自己駆動型ヒューマンポーズ転送手法を提案する。 特徴レベルのゆがみと比較して、画像レベルのゆがみはより制御可能で信頼性が高いことが分かる。
• 参考スコア（独自算出の注目度）: 18.191953132688717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human pose transfer aims to synthesize a new view of a person under a given pose. Recent works achieve this via self-reconstruction, which disentangles pose and texture features from the person image, then combines the two features to reconstruct the person. Such feature-level disentanglement is a difficult and ill-defined problem that could lead to loss of details and unwanted artifacts. In this paper, we propose a self-driven human pose transfer method that permutes the textures at random, then reconstructs the image with a dual branch attention to achieve image-level disentanglement and detail-preserving texture transfer. We find that compared with feature-level disentanglement, image-level disentanglement is more controllable and reliable. Furthermore, we introduce a dual kernel encoder that gives different sizes of receptive fields in order to reduce the noise caused by permutation and thus recover clothing details while aligning pose and textures. Extensive experiments on DeepFashion and Market-1501 shows that our model improves the quality of generated images in terms of FID, LPIPS and SSIM over other self-driven methods, and even outperforming some fully-supervised methods. A user study also shows that among self-driven approaches, images generated by our method are preferred in 72% of cases over prior work.
• Abstract（参考訳）: 人間のポーズ転送は、所定のポーズの下で人の新しい視点を合成することを目的としています。 近年の研究では、人物像からポーズとテクスチャの特徴を区別し、2つの特徴を組み合わせる自己再構成によってこれを実現している。 このような機能レベルの絡み合いは困難で不明確な問題であり、詳細や不要なアーティファクトが失われる可能性がある。 本稿では,ランダムにテクスチャを置換し,画像レベルの不連続と細部保存テクスチャ転送を実現するために,二枝注意で画像を再構成する自己駆動型ポーズ伝達法を提案する。 特徴レベルのゆがみと比較して、画像レベルのゆがみはより制御可能で信頼性が高い。 さらに, 知覚場の大きさの異なる2重カーネルエンコーダを導入し, 順応によるノイズを低減し, ポーズやテクスチャを調整しながら衣料品の細部を復元する。 deepfashionとmarket-1501に関する広範な実験により,fid,lpip,ssimを用いて生成した画像の品質を,他の自己駆動型手法よりも向上させるとともに,教師付き手法を上回ることも示された。 ユーザスタディでは, 自己駆動型アプローチでは, 従来の作業よりも72%のケースで生成した画像が好まれている。

関連論文リスト

• DiffBody: Diffusion-based Pose and Shape Editing of Human Images [1.7188280334580193]
  本稿では,アイデンティティを保存した大規模な編集を可能にするワンショットアプローチを提案する。 大きな編集を可能にするため、3Dボディモデルに適合し、入力画像を3Dモデルに投影し、身体のポーズと形状を変更する。 我々は、自己教師付き学習によるテキスト埋め込みを微調整することで、現実主義をさらに強化する。
  論文  参考訳（メタデータ） (2024-01-05T13:36:19Z)
• Pose Guided Human Image Synthesis with Partially Decoupled GAN [25.800174118151638]
  Pose Guided Human Image Synthesis (PGHIS) は、人間のイメージを基準ポーズから目標ポーズへ変換する難しいタスクである。 本研究では,人体を複数の部分に分解し,現実的な人物像の合成を誘導する手法を提案する。 さらに,PGHISのためのマルチヘッドアテンションベースモジュールを設計する。
  論文  参考訳（メタデータ） (2022-10-07T15:31:37Z)
• Pose with Style: Detail-Preserving Pose-Guided Image Synthesis with Conditional StyleGAN [88.62422914645066]
  任意のポーズで1つの画像から人物を再レンダリングするアルゴリズムを提案する。 既存の方法では、画像の同一性や細部を保ちながら、隠蔽されたコンテンツを写実的に幻覚することはしばしば困難である。 本手法は, 定量的評価と視覚的比較の両方において, 最先端のアルゴリズムと良好に比較できることを示す。
  論文  参考訳（メタデータ） (2021-09-13T17:59:33Z)
• Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization [72.65828901909708]
  制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。 本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。 本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-31T07:07:44Z)
• Few-Shot Human Motion Transfer by Personalized Geometry and Texture Modeling [33.46041718378723]
  本稿では,少数の外観入力しか持たないリアルな人体画像生成を実現する,数発の人体モーショントランスファーの新しい手法を提案する。 提案手法は定性的かつ定量的に最先端の手法より優れている。
  論文  参考訳（メタデータ） (2021-03-26T09:01:33Z)
• PISE: Person Image Synthesis and Editing with Decoupled GAN [64.70360318367943]
  人像合成と編集のための新しい二段階生成モデルであるPISEを提案する。 ヒトのポーズ伝達では,まず対象のポーズに合わせた人間のパーシングマップを合成し,衣服の形状を表現する。 衣服の形状とスタイルを分離するため,地域ごとの符号化と正規化を共同で提案する。
  論文  参考訳（メタデータ） (2021-03-06T04:32:06Z)
• Neural Re-Rendering of Humans from a Single Image [80.53438609047896]
  本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。 私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
  論文  参考訳（メタデータ） (2021-01-11T18:53:47Z)
• Liquid Warping GAN with Attention: A Unified Framework for Human Image Synthesis [58.05389586712485]
  我々は、人間の動きの模倣、外見の移入、新しい視点の合成など、人間の画像合成に取り組む。 本稿では,ポーズと形状を乱す3次元ボディーメッシュ回収モジュールを提案する。 我々はまた、人間の動きの模倣、外観伝達、新しいビュー合成を評価するために、新しいデータセット、すなわちiPERデータセットを構築した。
  論文  参考訳（メタデータ） (2020-11-18T02:57:47Z)
• High-Resolution Image Inpainting with Iterative Confidence Feedback and Guided Upsampling [122.06593036862611]
  既存の画像塗装法は、実アプリケーションで大きな穴を扱う際に、しばしばアーティファクトを生成する。 本稿では,フィードバック機構を備えた反復インペイント手法を提案する。 実験により,本手法は定量評価と定性評価の両方において既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2020-05-24T13:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。