論文の概要: Neural Texture Extraction and Distribution for Controllable Person Image Synthesis

• arxiv url: http://arxiv.org/abs/2204.06160v1
• Date: Wed, 13 Apr 2022 03:51:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-14 22:31:48.771693
• Title: Neural Texture Extraction and Distribution for Controllable Person Image Synthesis
• Title（参考訳）: 制御可能な人物画像合成のためのニューラルテクスチャ抽出と分布
• Authors: Yurui Ren, Xiaoqing Fan, Ge Li, Shan Liu, Thomas H. Li
• Abstract要約: 身体のポーズや外観を明示的に制御した参照画像から人間を再レンダリングすることを目的とした、制御可能な人物画像合成タスクに対処する。 人物画像が高度に構造化されていることを観察し、参照画像のセマンティックエンティティを抽出し、分散することにより、所望の画像を生成することを提案する。
• 参考スコア（独自算出の注目度）: 46.570170624026595
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We deal with the controllable person image synthesis task which aims to re-render a human from a reference image with explicit control over body pose and appearance. Observing that person images are highly structured, we propose to generate desired images by extracting and distributing semantic entities of reference images. To achieve this goal, a neural texture extraction and distribution operation based on double attention is described. This operation first extracts semantic neural textures from reference feature maps. Then, it distributes the extracted neural textures according to the spatial distributions learned from target poses. Our model is trained to predict human images in arbitrary poses, which encourages it to extract disentangled and expressive neural textures representing the appearance of different semantic entities. The disentangled representation further enables explicit appearance control. Neural textures of different reference images can be fused to control the appearance of the interested areas. Experimental comparisons show the superiority of the proposed model. Code is available at https://github.com/RenYurui/Neural-Texture-Extraction-Distribution.
• Abstract（参考訳）: 身体のポーズや外観を明示的に制御した参照画像から人間を再レンダリングすることを目的とした、制御可能な人物画像合成タスクに対処する。 人物画像が高度に構造化されていることを観察し,参照画像の意味的実体を抽出・配布することで所望の画像を生成することを提案する。 この目的を達成するために,二重注意に基づくニューラルテクスチャ抽出と分布操作について述べる。 この操作は、まず参照特徴マップから意味的ニューラルテクスチャを抽出する。 そして、ターゲットポーズから学習した空間分布に応じて抽出した神経テクスチャを分配する。 我々のモデルは、任意のポーズで人間の画像を予測するために訓練されており、異なるセマンティクスの出現を表す、絡み合った表現力のある神経テクスチャを抽出することを奨励している。 絡み合った表現はさらに明示的な外観制御を可能にする。 異なる参照画像の神経テクスチャを融合させて、関心領域の外観を制御することができる。 実験による比較は,提案モデルの優越性を示す。 コードはhttps://github.com/RenYurui/Neural-Texture-Extraction-Distributionで公開されている。

関連論文リスト

• Label-free Neural Semantic Image Synthesis [12.194020204848492]
  本稿では,事前学習した基礎モデルから抽出したニューラルネットワークレイアウトを条件付けとして,ニューラルセマンティック画像合成の概念を導入する。 ニューラルセマンティック画像合成により合成された画像が、セマンティッククラスの類似あるいは優れた画素レベルのアライメントを実現することを実験的に示す。 ニューラルレイアウト条件付けによって生成された画像は、様々な知覚タスクを訓練するための実データを効果的に増強できることを示す。
  論文  参考訳（メタデータ） (2024-07-01T20:30:23Z)
• Seeing in Words: Learning to Classify through Language Bottlenecks [59.97827889540685]
  人間は簡潔で直感的な説明を使って予測を説明することができる。 特徴表現がテキストである視覚モデルでは,画像ネットイメージを効果的に分類できることを示す。
  論文  参考訳（メタデータ） (2023-06-29T00:24:42Z)
• Novel View Synthesis of Humans using Differentiable Rendering [50.57718384229912]
  我々は新しいポーズで人々の新しい視点を合成するための新しいアプローチを提案する。 我々の合成はヒトの骨格構造を表す拡散ガウス原始体を用いる。 これらのプリミティブをレンダリングすると、高次元の潜像が得られ、デコーダネットワークによってRGBイメージに変換される。
  論文  参考訳（メタデータ） (2023-03-28T10:48:33Z)
• Neural Novel Actor: Learning a Generalized Animatable Neural Representation for Human Actors [98.24047528960406]
  本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラル表現を学習するための新しい手法を提案する。 学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。
  論文  参考訳（メタデータ） (2022-08-25T07:36:46Z)
• Neural Photofit: Gaze-based Mental Image Reconstruction [25.67771238116104]
  我々は、人間の固定を利用して、人が考えている画像を視覚的にフォトフィット(顔複合体)にデコードする新しい方法を提案する。 提案手法は,3つのニューラルネットワーク – エンコーダ,スコアリングネットワーク,デコーダ – を組み合わせる。 本手法は平均ベースライン予測器を著しく上回り,視覚的に可視であり,観察者の心像に近いフォトフィットを復号できることを示す。
  論文  参考訳（メタデータ） (2021-08-17T09:11:32Z)
• Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
  任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。 提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:40:48Z)
• Neural Re-Rendering of Humans from a Single Image [80.53438609047896]
  本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。 私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
  論文  参考訳（メタデータ） (2021-01-11T18:53:47Z)
• CONFIG: Controllable Neural Face Image Generation [10.443563719622645]
  ConfigNetは、出力画像の個々の側面を意味のある方法で制御できる、ニューラルフェイスモデルである。 提案手法では,合成データを用いて遅延空間を従来のレンダリングパイプラインの入力に対応する要素に分解する。
  論文  参考訳（メタデータ） (2020-05-06T09:19:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。