論文の概要: Recapture as You Want

• arxiv url: http://arxiv.org/abs/2006.01435v1
• Date: Tue, 2 Jun 2020 07:43:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 00:56:29.005512
• Title: Recapture as You Want
• Title（参考訳）: 望むように奪還する
• Authors: Chen Gao, Si Liu, Ran He, Shuicheng Yan, Bo Li
• Abstract要約: 本稿では,利用者が望む姿勢,身体像,衣服スタイルに手軽に自分の肖像画を編集できるポートレート・リキャプチャー手法を提案する。 編集手順を意味論的幾何学的・外見的変換に分解する。 外観変換では,セマンティック・アウェア・アテンタティブ・トランスファー (SAT) とレイアウトグラフ推論 (LGR) という2つの新しいモジュールを設計する。
• 参考スコア（独自算出の注目度）: 140.6691726604726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the increasing prevalence and more powerful camera systems of mobile devices, people can conveniently take photos in their daily life, which naturally brings the demand for more intelligent photo post-processing techniques, especially on those portrait photos. In this paper, we present a portrait recapture method enabling users to easily edit their portrait to desired posture/view, body figure and clothing style, which are very challenging to achieve since it requires to simultaneously perform non-rigid deformation of human body, invisible body-parts reasoning and semantic-aware editing. We decompose the editing procedure into semantic-aware geometric and appearance transformation. In geometric transformation, a semantic layout map is generated that meets user demands to represent part-level spatial constraints and further guides the semantic-aware appearance transformation. In appearance transformation, we design two novel modules, Semantic-aware Attentive Transfer (SAT) and Layout Graph Reasoning (LGR), to conduct intra-part transfer and inter-part reasoning, respectively. SAT module produces each human part by paying attention to the semantically consistent regions in the source portrait. It effectively addresses the non-rigid deformation issue and well preserves the intrinsic structure/appearance with rich texture details. LGR module utilizes body skeleton knowledge to construct a layout graph that connects all relevant part features, where graph reasoning mechanism is used to propagate information among part nodes to mine their relations. In this way, LGR module infers invisible body parts and guarantees global coherence among all the parts. Extensive experiments on DeepFashion, Market-1501 and in-the-wild photos demonstrate the effectiveness and superiority of our approach. Video demo is at: \url{https://youtu.be/vTyq9HL6jgw}.
• Abstract（参考訳）: モバイル機器の普及と強力なカメラシステムにより、人々は日常の生活で簡単に写真を撮れるようになり、これは当然、よりインテリジェントな写真後処理技術、特にポートレート写真への需要をもたらす。 本稿では,人体の非剛性な変形,見えない身体部分の推論,意味認識の編集を同時に行う必要があるため,必要な姿勢・視界・体型・衣服スタイルに自分の肖像画を簡単に編集できるポートレート・リキャプチャー法を提案する。 編集手順を意味認識幾何学的および外観的変換に分解する。 幾何学的変換では、部分レベルの空間的制約を表現するためのユーザの要求を満たすセマンティックレイアウトマップが生成され、さらにセマンティック・アウェアな外観変換を導く。 外観変換では,2つの新しいモジュール,SAT (Semantic-Aware Attentive Transfer) とLGR (Layout Graph Reasoning) を設計し,それぞれ部分間移動と部分間推論を行う。 SATモジュールは、ソースポートレート内の意味的に一貫した領域に注意を払って、各人間の部分を生成する。 これは非剛性変形問題に効果的に対応し、テクスチャの詳細な内在的な構造や外観をよく保存する。 LGRモジュールは、ボディスケルトン知識を利用して、すべての関連する部分の特徴を接続するレイアウトグラフを構築する。 このようにして、lgrモジュールは目に見えない身体部品を推論し、全ての部品間のグローバルコヒーレンスを保証する。 DeepFashion, Market-1501, in-the-wild 写真に対する大規模な実験は,我々のアプローチの有効性と優位性を示している。 url{https://youtu.be/vtyq9hl6jgw} でビデオデモを行う。

関連論文リスト

• Pose Guided Human Image Synthesis with Partially Decoupled GAN [25.800174118151638]
  Pose Guided Human Image Synthesis (PGHIS) は、人間のイメージを基準ポーズから目標ポーズへ変換する難しいタスクである。 本研究では,人体を複数の部分に分解し,現実的な人物像の合成を誘導する手法を提案する。 さらに,PGHISのためのマルチヘッドアテンションベースモジュールを設計する。
  論文  参考訳（メタデータ） (2022-10-07T15:31:37Z)
• Generalizable Neural Performer: Learning Robust Radiance Fields for Human Novel View Synthesis [52.720314035084215]
  この研究は、一般のディープラーニングフレームワークを使用して、任意の人間の演奏者の自由視点画像を合成することを目的としている。 我々は、汎用的で堅牢な神経体表現を学習するシンプルな、かつ強力なフレームワーク、Generalizable Neural Performer(GNR)を提案する。 GeneBody-1.0とZJU-Mocapの実験は、最近の最先端の一般化可能な手法よりも、我々の手法の堅牢性を示している。
  論文  参考訳（メタデータ） (2022-04-25T17:14:22Z)
• Pose with Style: Detail-Preserving Pose-Guided Image Synthesis with Conditional StyleGAN [88.62422914645066]
  任意のポーズで1つの画像から人物を再レンダリングするアルゴリズムを提案する。 既存の方法では、画像の同一性や細部を保ちながら、隠蔽されたコンテンツを写実的に幻覚することはしばしば困難である。 本手法は, 定量的評価と視覚的比較の両方において, 最先端のアルゴリズムと良好に比較できることを示す。
  論文  参考訳（メタデータ） (2021-09-13T17:59:33Z)
• Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization [72.65828901909708]
  制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。 本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。 本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-31T07:07:44Z)
• PISE: Person Image Synthesis and Editing with Decoupled GAN [64.70360318367943]
  人像合成と編集のための新しい二段階生成モデルであるPISEを提案する。 ヒトのポーズ伝達では,まず対象のポーズに合わせた人間のパーシングマップを合成し,衣服の形状を表現する。 衣服の形状とスタイルを分離するため,地域ごとの符号化と正規化を共同で提案する。
  論文  参考訳（メタデータ） (2021-03-06T04:32:06Z)
• Style and Pose Control for Image Synthesis of Humans from a Single Monocular View [78.6284090004218]
  StylePoseGANは、ポーズと外観のコンディショニングを別々に受け入れる非制御発電機です。 我々のネットワークは、人間のイメージで完全に教師された方法で訓練され、ポーズ、外観、体の部分を切り離すことができる。 StylePoseGANは、一般的な知覚メトリクスで最新の画像生成忠実度を実現します。
  論文  参考訳（メタデータ） (2021-02-22T18:50:47Z)
• Structure-aware Person Image Generation with Pose Decomposition and Semantic Correlation [29.727033198797518]
  高品質な人物画像生成のための構造認識フローベース手法を提案する。 人体を異なる意味部分に分解し、異なるネットワークを適用してこれらの部分のフロー場を別々に予測する。 提案手法は,ポーズの相違が大きい場合に高品質な結果を生成することができ,定性比較と定量的比較の両方において最先端の手法より優れる。
  論文  参考訳（メタデータ） (2021-02-05T03:07:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。