論文の概要: Diffuse to Choose: Enriching Image Conditioned Inpainting in Latent Diffusion Models for Virtual Try-All

• arxiv url: http://arxiv.org/abs/2401.13795v1
• Date: Wed, 24 Jan 2024 20:25:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-26 16:21:38.209391
• Title: Diffuse to Choose: Enriching Image Conditioned Inpainting in Latent Diffusion Models for Virtual Try-All
• Title（参考訳）: Diffuse to Choose:Virtual Try-Allのための潜時拡散モデルにおける画像条件付塗装の強化
• Authors: Mehmet Saygin Seyfioglu, Karim Bouyarmane, Suren Kumar, Amir Tavanaei, Ismail B. Tutar
• Abstract要約: ディフューズ・トゥ・チョイス(Diffuse to Choose)は、高速推論と高忠実度詳細の保持を効率的にバランスさせる、拡散に基づく新しい塗布モデルである。 Diffuse to Chooseは既存のゼロショット拡散塗装法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 4.191273360964305
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: As online shopping is growing, the ability for buyers to virtually visualize products in their settings-a phenomenon we define as "Virtual Try-All"-has become crucial. Recent diffusion models inherently contain a world model, rendering them suitable for this task within an inpainting context. However, traditional image-conditioned diffusion models often fail to capture the fine-grained details of products. In contrast, personalization-driven models such as DreamPaint are good at preserving the item's details but they are not optimized for real-time applications. We present "Diffuse to Choose," a novel diffusion-based image-conditioned inpainting model that efficiently balances fast inference with the retention of high-fidelity details in a given reference item while ensuring accurate semantic manipulations in the given scene content. Our approach is based on incorporating fine-grained features from the reference image directly into the latent feature maps of the main diffusion model, alongside with a perceptual loss to further preserve the reference item's details. We conduct extensive testing on both in-house and publicly available datasets, and show that Diffuse to Choose is superior to existing zero-shot diffusion inpainting methods as well as few-shot diffusion personalization algorithms like DreamPaint.
• Abstract（参考訳）: オンラインショッピングが成長するにつれて、購入者が仮想的に商品を仮想的に視覚化する能力も重要になってきています。 近年の拡散モデルには本質的に世界モデルが含まれており、この課題に適している。 しかし、従来の画像条件拡散モデルは、しばしば細かな製品の詳細を捉えることができない。 対照的に、dreampaintのようなパーソナライズ駆動モデルはアイテムの詳細を保存するのに優れているが、リアルタイムアプリケーション向けに最適化されていない。 提案するDiffuse to Chooseは,所定のシーン内容の正確なセマンティック操作を確保しつつ,所定の参照項目における高忠実度詳細の保持と高速推論を効率よくバランスさせる,拡散型画像条件付き塗装モデルである。 提案手法は,参照画像からの微細な特徴を主拡散モデルの潜在特徴マップに直接組み込むとともに,参照項目の詳細を更に保存するための知覚的損失も考慮する。 我々は,内部データと公開データの両方について広範囲なテストを行い,既存のゼロショット拡散塗装法やdreampaintのような少数ショット拡散パーソナライズアルゴリズムよりもディフュージョン選択が優れていることを示す。

関連論文リスト

• PrefPaint: Aligning Image Inpainting Diffusion Model with Human Preference [62.72779589895124]
  画像インペイントのための拡散モデルと人間の審美基準との整合性を、強化学習フレームワークを用いて初めて試みる。 我々は、人間の好みを付加した約51,000枚の画像からなるデータセットで報酬モデルを訓練する。 画像拡張や3次元再構成などの下流タスクの塗装比較実験により, 提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-10-29T11:49:39Z)
• Improving Virtual Try-On with Garment-focused Diffusion Models [91.95830983115474]
  拡散モデルは多くの画像合成タスクにおける生成的モデリングの革新をもたらした。 私たちは新しい拡散モデル、すなわちGarDiffを作り、衣服中心の拡散プロセスを引き起こします。 VITON-HDおよびDressCodeデータセットの実験は、最先端のVTONアプローチと比較して、GarDiffの優位性を示している。
  論文  参考訳（メタデータ） (2024-09-12T17:55:11Z)
• ZePo: Zero-Shot Portrait Stylization with Faster Sampling [61.14140480095604]
  本稿では,4つのサンプリングステップでコンテンツとスタイルの融合を実現する拡散モデルに基づく,インバージョンフリーなポートレートスタイリングフレームワークを提案する。 本稿では,一貫性機能における冗長な特徴をマージする機能統合戦略を提案し,注意制御の計算負荷を低減させる。
  論文  参考訳（メタデータ） (2024-08-10T08:53:41Z)
• ZoDi: Zero-Shot Domain Adaptation with Diffusion-Based Image Transfer [13.956618446530559]
  本稿では,ZoDiと呼ばれる拡散モデルに基づくゼロショット領域適応手法を提案する。 まず,原画像の領域を対象領域に転送することで,対象画像の合成にオフ・ザ・シェルフ拡散モデルを用いる。 次に、元の表現でソース画像と合成画像の両方を用いてモデルを訓練し、ドメイン・ロバスト表現を学習する。
  論文  参考訳（メタデータ） (2024-03-20T14:58:09Z)
• Improving Diffusion Models for Authentic Virtual Try-on in the Wild [53.96244595495942]
  本稿では,キュレートされた衣服を身に着けている人のイメージをレンダリングする,イメージベースの仮想試行について考察する。 衣服の忠実度を改善し,仮想試行画像を生成する新しい拡散モデルを提案する。 本稿では,一対の人着画像を用いたカスタマイズ手法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T08:12:18Z)
• Prompt-Propose-Verify: A Reliable Hand-Object-Interaction Data Generation Framework using Foundational Models [0.0]
  テキストプロンプトに条件付けされた拡散モデルは、複雑な詳細で現実的な画像を生成する。 しかし、これらの事前訓練されたモデルのほとんどは、手や歯などの人間の特徴に関して、正確な画像を生成することができない。
  論文  参考訳（メタデータ） (2023-12-23T12:59:22Z)
• Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
  Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。 塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
  論文  参考訳（メタデータ） (2023-09-30T02:03:22Z)
• Taming the Power of Diffusion Models for High-Quality Virtual Try-On with Appearance Flow [24.187109053871833]
  仮想試着は、人間と衣服の両方の詳細を保存しながら、ある画像から別の画像へ衣服を転送することを目的とした、重要な画像合成タスクである。 本稿では,拡散モデルの生成を効果的に導くために,ワープモジュールを利用する例に基づく塗装手法を提案する。 我々のアプローチ、すなわちDCI-VTON(Diffusion-based Conditional Inpainting for Virtual Try-ON)は、拡散モデルのパワーを効果的に活用する。
  論文  参考訳（メタデータ） (2023-08-11T12:23:09Z)
• Generating images of rare concepts using pre-trained diffusion models [32.5337654536764]
  テキスト・ツー・イメージ拡散モデルは高品質な画像を合成できるが、様々な制限がある。 これらの制限は、トレーニングデータの長い尾の性質に起因していることが示されています。 ノイズ空間内で適切な生成種を慎重に選択することで、稀な概念を正しく生成できることが示される。
  論文  参考訳（メタデータ） (2023-04-27T20:55:38Z)
• Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models [53.03978584040557]
  生成した画像とトレーニングサンプルを比較し、コンテンツが複製されたことを検知する画像検索フレームワークについて検討する。 フレームワークをオックスフォード花、Celeb-A、ImageNet、LAIONなど複数のデータセットでトレーニングされた拡散モデルに適用することにより、トレーニングセットのサイズがコンテンツ複製の速度にどのように影響するかを議論する。
  論文  参考訳（メタデータ） (2022-12-07T18:58:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。