論文の概要: Cross Attention Based Style Distribution for Controllable Person Image Synthesis

• arxiv url: http://arxiv.org/abs/2208.00712v1
• Date: Mon, 1 Aug 2022 09:50:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-02 13:58:47.213033
• Title: Cross Attention Based Style Distribution for Controllable Person Image Synthesis
• Title（参考訳）: クロスアテンションに基づく制御可能な人物画像合成のためのスタイル分布
• Authors: Xinyue Zhou, Mingyu Yin, Xinyuan Chen, Li Sun, Changxin Gao, Qingli Li
• Abstract要約: そこで本研究では,ポーズ伝達のターゲットポーズとソースセマンティックスタイルの相互関係を計算した,クロスアテンションに基づくスタイル分布モジュールを提案する。 本モデルの有効性は,ポーズ転送や仮想試行作業において定量的かつ質的に検証される。
• 参考スコア（独自算出の注目度）: 36.39068970600976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Controllable person image synthesis task enables a wide range of applications through explicit control over body pose and appearance. In this paper, we propose a cross attention based style distribution module that computes between the source semantic styles and target pose for pose transfer. The module intentionally selects the style represented by each semantic and distributes them according to the target pose. The attention matrix in cross attention expresses the dynamic similarities between the target pose and the source styles for all semantics. Therefore, it can be utilized to route the color and texture from the source image, and is further constrained by the target parsing map to achieve a clearer objective. At the same time, to encode the source appearance accurately, the self attention among different semantic styles is also added. The effectiveness of our model is validated quantitatively and qualitatively on pose transfer and virtual try-on tasks.
• Abstract（参考訳）: コントロール可能な人物画像合成タスクは、身体のポーズと外観を明確に制御することで、幅広い応用を可能にする。 そこで本稿では,ポーズ転送のためのターゲットポーズとソースセマンティックスタイルの相互関係を計算した,クロスアテンションに基づくスタイル分散モジュールを提案する。 モジュールは、各セマンティクスで表現されたスタイルを意図的に選択し、ターゲットのポーズに従って配布する。 クロスアテンションの注意行列は、ターゲットのポーズとすべてのセマンティクスのソーススタイルの動的類似性を表す。 そのため、ソース画像から色やテクスチャをルーティングすることができ、さらにターゲット解析マップによって制約を受け、より明確な目的を達成することができる。 同時に、ソースの外観を正確に符号化するために、異なるセマンティックスタイル間の自己注意も追加される。 本モデルの有効性は,ポーズ転送や仮想試行作業において定量的かつ質的に検証される。

関連論文リスト

• Diffusion based Zero-shot Medical Image-to-Image Translation for Cross Modality Segmentation [18.895926089773177]
  クロスモダリティ画像セグメンテーションは、ソースモダリティで設計された手法を用いて、ターゲットモダリティをセグメンテーションすることを目的としている。 深層生成モデルは、対象のモダリティ画像をソースモダリティに変換することで、モダリティのセグメンテーションを可能にする。
  論文  参考訳（メタデータ） (2024-04-01T13:23:04Z)
• Pick-and-Draw: Training-free Semantic Guidance for Text-to-Image Personalization [56.12990759116612]
  Pick-and-Drawは、パーソナライズ手法のアイデンティティ一貫性と生成多様性を高めるためのトレーニング不要なセマンティックガイダンスアプローチである。 提案手法は、パーソナライズされた拡散モデルに適用可能であり、単一の参照画像のみを必要とする。
  論文  参考訳（メタデータ） (2024-01-30T05:56:12Z)
• Cross-Image Attention for Zero-Shot Appearance Transfer [68.43651329067393]
  画像間の意味的対応を暗黙的に確立するクロスイメージアテンション機構を導入する。 ノイズの多い潜在コードを操作する3つのメカニズムと、デノナイジングプロセスを通してモデルの内部表現を利用する。 実験により,本手法は多種多様な対象カテゴリに対して有効であり,形状,大きさ,視点の変動に頑健であることが示された。
  論文  参考訳（メタデータ） (2023-11-06T18:33:24Z)
• Conditional Score Guidance for Text-Driven Image-to-Image Translation [52.73564644268749]
  本稿では,事前訓練されたテキスト・画像拡散モデルに基づく,テキスト駆動型画像・画像変換のための新しいアルゴリズムを提案する。 本手法は,ソース画像の関心領域を選択的に編集することで,対象画像を生成することを目的とする。
  論文  参考訳（メタデータ） (2023-05-29T10:48:34Z)
• Few-shot Semantic Image Synthesis with Class Affinity Transfer [23.471210664024067]
  そこで本研究では,大規模なデータセット上でトレーニングされたモデルを利用して,小規模なターゲットデータセット上での学習能力を向上させるトランスファー手法を提案する。 クラス親和性行列は、ターゲットラベルマップと互換性を持たせるために、ソースモデルの第一層として導入される。 セマンティック・セマンティック・シンセサイザー(セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・アーキテクチャー)にアプローチを適用する。
  論文  参考訳（メタデータ） (2023-04-05T09:24:45Z)
• A Unified Arbitrary Style Transfer Framework via Adaptive Contrastive Learning [84.8813842101747]
  Unified Contrastive Arbitrary Style Transfer (UCAST)は、新しいスタイルの学習・伝達フレームワークである。 入力依存温度を導入することで,スタイル伝達のための適応型コントラスト学習方式を提案する。 本フレームワークは,スタイル表現とスタイル伝達のための並列コントラスト学習方式,スタイル分布を効果的に学習するためのドメイン拡張モジュール,スタイル伝達のための生成ネットワークという,3つの重要なコンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-03-09T04:35:00Z)
• Correspondence Learning for Controllable Person Image Generation [0.0]
  ポーズガイドによる人物画像合成に応用できる制御可能な人物画像合成のための生成モデルである$i.e.$を提案する。 対象ポーズとソース画像との密接な対応を明示的に確立することにより、ポーズ変換によって引き起こされる誤用を効果的に解決することができる。
  論文  参考訳（メタデータ） (2020-12-23T01:35:00Z)
• Neural Pose Transfer by Spatially Adaptive Instance Normalization [73.04483812364127]
  本稿では,最新の画像スタイル転送技術を用いてポーズ転送を解く,最初のニューラルポーズ転送モデルを提案する。 私たちのモデルは、ソースとターゲットメッシュ間の通信を一切必要としません。 実験により, 提案モデルでは, 対象メッシュへの変形を効果的に伝達することができ, 未確認の同一性やメッシュのポーズに対処できる優れた一般化能力を有することが示された。
  論文  参考訳（メタデータ） (2020-03-16T14:33:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。