論文の概要: Collecting The Puzzle Pieces: Disentangled Self-Driven Human Pose Transfer by Permuting Textures

• arxiv url: http://arxiv.org/abs/2210.01887v3
• Date: Wed, 30 Aug 2023 21:17:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-01 21:17:41.058112
• Title: Collecting The Puzzle Pieces: Disentangled Self-Driven Human Pose Transfer by Permuting Textures
• Title（参考訳）: パズル作品の収集:テクスチャの交換による不連続な自己駆動型人間のポーズ伝達
• Authors: Nannan Li, Kevin J. Shih, Bryan A. Plummer
• Abstract要約: 自己駆動型人間のポーズ伝達手法であるPT$2$のPose Transferを提案する。 具体的には, テクスチャ情報のみを残せるように, 画像パッチを置換することで, 入力画像からポーズを除去する。 そこで我々は,マルチカーネルサイズエンコーダをトリプルブランチネットワークに採用した。
• 参考スコア（独自算出の注目度）: 22.559691018559697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human pose transfer synthesizes new view(s) of a person for a given pose. Recent work achieves this via self-reconstruction, which disentangles a person's pose and texture information by breaking the person down into parts, then recombines them for reconstruction. However, part-level disentanglement preserves some pose information that can create unwanted artifacts. In this paper, we propose Pose Transfer by Permuting Textures (PT$^2$), an approach for self-driven human pose transfer that disentangles pose from texture at the patch-level. Specifically, we remove pose from an input image by permuting image patches so only texture information remains. Then we reconstruct the input image by sampling from the permuted textures for patch-level disentanglement. To reduce noise and recover clothing shape information from the permuted patches, we employ encoders with multiple kernel sizes in a triple branch network. On DeepFashion and Market-1501, PT$^2$ reports significant gains on automatic metrics over other self-driven methods, and even outperforms some fully-supervised methods. A user study also reports images generated by our method are preferred in 68% of cases over self-driven approaches from prior work. Code is available at https://github.com/NannanLi999/pt_square.
• Abstract（参考訳）: 人間のポーズ転送は、与えられたポーズのために人の新しいビューを合成する。 最近の研究は、人のポーズやテクスチャ情報を分解して部品に分解し、再構成するために再結合する自己再構成によってこれを達成している。 しかし、部分レベルのアンタングルメントは、不要なアーティファクトを作成することができるポーズ情報を保持する。 本稿では,パッチレベルでのテクスチャから乱れが引き起こす自己駆動型人間のポーズ伝達手法であるPose Transfer by Permuting Textures (PT$^2$)を提案する。 具体的には,テクスチャ情報のみを残せるように画像パッチを置換することで,入力画像からポーズを除去する。 次に,パッチレベルの絡み合いのために,置換されたテクスチャからサンプリングして入力画像を再構成する。 ノイズを低減し、置換パッチから衣料品形状情報を復元するために、トリプルブランチネットワークにおいて複数のカーネルサイズを持つエンコーダを採用する。 DeepFashion と Market-1501 では、PT$^2$ が、他の自己駆動手法よりも自動メトリクスが大幅に向上し、完全に教師された手法よりも優れています。 また,先行研究の自己駆動アプローチよりも68%のケースにおいて,本手法で生成した画像が好ましいと報告した。 コードはhttps://github.com/NannanLi999/pt_squareで入手できる。

関連論文リスト

• DiffBody: Diffusion-based Pose and Shape Editing of Human Images [1.7188280334580193]
  本稿では,アイデンティティを保存した大規模な編集を可能にするワンショットアプローチを提案する。 大きな編集を可能にするため、3Dボディモデルに適合し、入力画像を3Dモデルに投影し、身体のポーズと形状を変更する。 我々は、自己教師付き学習によるテキスト埋め込みを微調整することで、現実主義をさらに強化する。
  論文  参考訳（メタデータ） (2024-01-05T13:36:19Z)
• Pose Guided Human Image Synthesis with Partially Decoupled GAN [25.800174118151638]
  Pose Guided Human Image Synthesis (PGHIS) は、人間のイメージを基準ポーズから目標ポーズへ変換する難しいタスクである。 本研究では,人体を複数の部分に分解し,現実的な人物像の合成を誘導する手法を提案する。 さらに,PGHISのためのマルチヘッドアテンションベースモジュールを設計する。
  論文  参考訳（メタデータ） (2022-10-07T15:31:37Z)
• Pose with Style: Detail-Preserving Pose-Guided Image Synthesis with Conditional StyleGAN [88.62422914645066]
  任意のポーズで1つの画像から人物を再レンダリングするアルゴリズムを提案する。 既存の方法では、画像の同一性や細部を保ちながら、隠蔽されたコンテンツを写実的に幻覚することはしばしば困難である。 本手法は, 定量的評価と視覚的比較の両方において, 最先端のアルゴリズムと良好に比較できることを示す。
  論文  参考訳（メタデータ） (2021-09-13T17:59:33Z)
• Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization [72.65828901909708]
  制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。 本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。 本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-31T07:07:44Z)
• Few-Shot Human Motion Transfer by Personalized Geometry and Texture Modeling [33.46041718378723]
  本稿では,少数の外観入力しか持たないリアルな人体画像生成を実現する,数発の人体モーショントランスファーの新しい手法を提案する。 提案手法は定性的かつ定量的に最先端の手法より優れている。
  論文  参考訳（メタデータ） (2021-03-26T09:01:33Z)
• PISE: Person Image Synthesis and Editing with Decoupled GAN [64.70360318367943]
  人像合成と編集のための新しい二段階生成モデルであるPISEを提案する。 ヒトのポーズ伝達では,まず対象のポーズに合わせた人間のパーシングマップを合成し,衣服の形状を表現する。 衣服の形状とスタイルを分離するため,地域ごとの符号化と正規化を共同で提案する。
  論文  参考訳（メタデータ） (2021-03-06T04:32:06Z)
• Neural Re-Rendering of Humans from a Single Image [80.53438609047896]
  本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。 私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
  論文  参考訳（メタデータ） (2021-01-11T18:53:47Z)
• Liquid Warping GAN with Attention: A Unified Framework for Human Image Synthesis [58.05389586712485]
  我々は、人間の動きの模倣、外見の移入、新しい視点の合成など、人間の画像合成に取り組む。 本稿では,ポーズと形状を乱す3次元ボディーメッシュ回収モジュールを提案する。 我々はまた、人間の動きの模倣、外観伝達、新しいビュー合成を評価するために、新しいデータセット、すなわちiPERデータセットを構築した。
  論文  参考訳（メタデータ） (2020-11-18T02:57:47Z)
• High-Resolution Image Inpainting with Iterative Confidence Feedback and Guided Upsampling [122.06593036862611]
  既存の画像塗装法は、実アプリケーションで大きな穴を扱う際に、しばしばアーティファクトを生成する。 本稿では,フィードバック機構を備えた反復インペイント手法を提案する。 実験により,本手法は定量評価と定性評価の両方において既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2020-05-24T13:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。