論文の概要: Fusion Embedding for Pose-Guided Person Image Synthesis with Diffusion Model

• arxiv url: http://arxiv.org/abs/2412.07333v1
• Date: Tue, 10 Dec 2024 09:25:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:38:57.966575
• Title: Fusion Embedding for Pose-Guided Person Image Synthesis with Diffusion Model
• Title（参考訳）: 拡散モデルを用いた人物画像合成のための融合埋め込み
• Authors: Donghwna Lee, Kyungha Min, Kirok Kim, Seyoung Jeong, Jiwoo Jeong, Wooju Kim,
• Abstract要約: Pose-Guided Person Image Synthesis (PGPIS) は、ターゲットポーズに対応する高品質な人物画像の合成を目的としている。 ほとんどのアプローチでは、ターゲットポーズとソースイメージの表現を抽出する。 拡散モデル(FPDM)を用いたPGPISの融合埋め込みを提案する。
• 参考スコア（独自算出の注目度）: 2.7708222692419735
• License:
• Abstract: Pose-Guided Person Image Synthesis (PGPIS) aims to synthesize high-quality person images corresponding to target poses while preserving the appearance of the source image. Recently, PGPIS methods that use diffusion models have achieved competitive performance. Most approaches involve extracting representations of the target pose and source image and learning their relationships in the generative model's training process. This approach makes it difficult to learn the semantic relationships between the input and target images and complicates the model structure needed to enhance generation results. To address these issues, we propose Fusion embedding for PGPIS using a Diffusion Model (FPDM). Inspired by the successful application of pre-trained CLIP models in text-to-image diffusion models, our method consists of two stages. The first stage involves training the fusion embedding of the source image and target pose to align with the target image's embedding. In the second stage, the generative model uses this fusion embedding as a condition to generate the target image. We applied the proposed method to the benchmark datasets DeepFashion and RWTH-PHOENIX-Weather 2014T, and conducted both quantitative and qualitative evaluations, demonstrating state-of-the-art (SOTA) performance. An ablation study of the model structure showed that even a model using only the second stage achieved performance close to the other PGPIS SOTA models. The code is available at https://github.com/dhlee-work/FPDM.
• Abstract（参考訳）: Pose-Guided Person Image Synthesis (PGPIS) は、画像の外観を保ちながら、ターゲットポーズに対応する高品質な人物画像を合成することを目的としている。 近年,拡散モデルを用いたPGPIS法は競争性能が向上している。 ほとんどのアプローチでは、ターゲットのポーズとソースイメージの表現を抽出し、生成モデルのトレーニングプロセスでそれらの関係を学習する。 このアプローチは,入力画像と対象画像間の意味的関係を学習し,生成結果の強化に必要なモデル構造を複雑化する。 これらの問題に対処するために,拡散モデル(FPDM)を用いたPGPISの融合埋め込みを提案する。 テキストから画像への拡散モデルへの事前学習CLIPモデルの適用に着想を得て,本手法は2段階からなる。 第1段階では、ソースイメージの融合埋め込みとターゲットポーズをトレーニングして、ターゲットイメージの埋め込みと整合させる。 第2段階では、生成モデルは、この融合埋め込みを条件としてターゲット画像を生成する。 提案手法をベンチマークデータセットであるDeepFashionとRWTH-PHOENIX-Weather 2014Tに適用し,定量および定性評価を行った。 モデル構造のアブレーション実験により,第2段階のみを用いたモデルであっても,他のPGPIS SOTAモデルに近い性能を示した。 コードはhttps://github.com/dhlee-work/FPDMで入手できる。

関連論文リスト

• Unleashing the Potential of the Diffusion Model in Few-shot Semantic Segmentation [56.87049651707208]
  セマンティックはインコンテクストタスクへと発展し、一般化的セグメンテーションモデルを評価する上で重要な要素となった。 我々の最初の焦点は、クエリイメージとサポートイメージの相互作用を容易にする方法を理解することであり、その結果、自己注意フレームワーク内のKV融合法が提案される。 そこで我々はDiffewSというシンプルで効果的なフレームワークを構築し,従来の潜在拡散モデルの生成フレームワークを最大限に保持する。
  論文  参考訳（メタデータ） (2024-10-03T10:33:49Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• Semantic Approach to Quantifying the Consistency of Diffusion Model Image Generation [0.40792653193642503]
  拡散モデルにおける画像生成の再現性、あるいは一貫性の解釈可能な定量的スコアの必要性を同定する。 セマンティック・コンセンサス・スコアとしてペア平均CLIPスコアを用いるセマンティック・アプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-12T20:16:03Z)
• ZoDi: Zero-Shot Domain Adaptation with Diffusion-Based Image Transfer [13.956618446530559]
  本稿では,ZoDiと呼ばれる拡散モデルに基づくゼロショット領域適応手法を提案する。 まず,原画像の領域を対象領域に転送することで,対象画像の合成にオフ・ザ・シェルフ拡散モデルを用いる。 次に、元の表現でソース画像と合成画像の両方を用いてモデルを訓練し、ドメイン・ロバスト表現を学習する。
  論文  参考訳（メタデータ） (2024-03-20T14:58:09Z)
• Coarse-to-Fine Latent Diffusion for Pose-Guided Person Image Synthesis [65.7968515029306]
  PGPIS(Pose-Guided Person Image Synthesis)のためのCFLD(Coarse-to-Fine Latent Diffusion)法を提案する。 認識修正デコーダは、学習可能なクエリの集合を段階的に洗練し、粗いプロンプトとして人物画像の意味的理解を抽出するように設計されている。
  論文  参考訳（メタデータ） (2024-02-28T06:07:07Z)
• Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
  本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。 学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。 提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
  論文  参考訳（メタデータ） (2023-12-22T14:40:55Z)
• Advancing Pose-Guided Image Synthesis with Progressive Conditional Diffusion Models [13.019535928387702]
  本稿では,ターゲット下の人物像とソースポーズのギャップを段階的に橋渡しするプログレッシブ条件拡散モデル(PCDM)を提案する。 定性的かつ定量的な結果は,難解なシナリオ下で提案したPCDMの一貫性と光現実性を示すものである。
  論文  参考訳（メタデータ） (2023-10-10T05:13:17Z)
• Kandinsky: an Improved Text-to-Image Synthesis with Image Prior and Latent Diffusion [50.59261592343479]
  本稿では、潜伏拡散アーキテクチャの新しい探索であるKandinsky1を紹介する。 提案したモデルは、CLIPのイメージ埋め込みにテキスト埋め込みをマッピングするために別々に訓練されている。 また,テキスト・ツー・イメージ生成,画像融合,テキスト・画像融合,画像のバリエーション生成,テキスト・インペイント/アウトペイントなど,多様な生成モードをサポートするユーザフレンドリーなデモシステムも展開した。
  論文  参考訳（メタデータ） (2023-10-05T12:29:41Z)
• Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
  本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。 2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
  論文  参考訳（メタデータ） (2022-11-22T18:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。