論文の概要: Zero-Shot Contrastive Loss for Text-Guided Diffusion Image Style Transfer

• arxiv url: http://arxiv.org/abs/2303.08622v1
• Date: Wed, 15 Mar 2023 13:47:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 13:43:06.477463
• Title: Zero-Shot Contrastive Loss for Text-Guided Diffusion Image Style Transfer
• Title（参考訳）: テキスト誘導拡散画像スタイル転送のためのゼロショットコントラスト損失
• Authors: Serin Yang, Hyunmin Hwang, Jong Chul Ye
• Abstract要約: 我々は、追加の微調整や補助的なネットワークを必要としない拡散モデルに対して、ゼロショットのコントラスト損失を提案する。 本手法は,ゼロショット方式で,ソース画像と同一のセマンティックな内容の画像を生成できる。
• 参考スコア（独自算出の注目度）: 38.957512116073616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have shown great promise in text-guided image style transfer, but there is a trade-off between style transformation and content preservation due to their stochastic nature. Existing methods require computationally expensive fine-tuning of diffusion models or additional neural network. To address this, here we propose a zero-shot contrastive loss for diffusion models that doesn't require additional fine-tuning or auxiliary networks. By leveraging patch-wise contrastive loss between generated samples and original image embeddings in the pre-trained diffusion model, our method can generate images with the same semantic content as the source image in a zero-shot manner. Our approach outperforms existing methods while preserving content and requiring no additional training, not only for image style transfer but also for image-to-image translation and manipulation. Our experimental results validate the effectiveness of our proposed method.
• Abstract（参考訳）: 拡散モデルはテキスト誘導型画像スタイル転送において大きな可能性を示しているが、その確率的な性質から、スタイル変換とコンテンツ保存のトレードオフがある。 既存の方法は、拡散モデルや追加のニューラルネットワークの計算コストのかかる微調整を必要とする。 そこで本研究では,追加の微調整や補助ネットワークを必要としない拡散モデルに対するゼロショットコントラスト損失を提案する。 予め訓練した拡散モデルにおいて,生成したサンプルとオリジナル画像の埋め込みのパッチワイド・コントラストの損失を利用して,ゼロショットでソース画像と同じ意味的内容の画像を生成できる。 提案手法は,画像のスタイル変換だけでなく,画像から画像への翻訳や操作においても,既存の手法よりも優れており,追加のトレーニングも必要としない。 提案手法の有効性を実験的に検証した。

関連論文リスト

• Uncovering the Disentanglement Capability in Text-to-Image Diffusion Models [60.63556257324894]
  画像生成モデルの重要な特性は、異なる属性をアンタングルする能力である。 本稿では,2つのテキスト埋め込みの混合重みをスタイルマッチングとコンテンツ保存に最適化した,シンプルで軽量な画像編集アルゴリズムを提案する。 実験により,提案手法は拡散モデルに基づく画像編集アルゴリズムよりも優れた性能で,幅広い属性を修正可能であることが示された。
  論文  参考訳（メタデータ） (2022-12-16T19:58:52Z)
• Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
  本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。 2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
  論文  参考訳（メタデータ） (2022-11-22T18:59:50Z)
• DiffStyler: Controllable Dual Diffusion for Text-Driven Image Stylization [77.5295223652507]
  ユーザが提供するターゲットスタイルのテキスト記述に基づいて、自然な画像をスタイリングされたものに転送するためのテキスト駆動型画像スタイリングが提案されている。 本稿では拡散モデルに基づくDiffStylerについて述べる。 本稿では、逆復調処理をベースとしたコンテンツ画像に基づく学習可能なノイズを提案し、そのスタイリング結果により、コンテンツ画像の構造情報をよりよく保存する。
  論文  参考訳（メタデータ） (2022-11-19T12:30:44Z)
• Diffusion-based Image Translation using Disentangled Style and Content Representation [51.188396199083336]
  セマンティックテキストや単一のターゲット画像でガイドされた拡散ベースの画像変換により、柔軟なスタイル変換が可能になった。 逆拡散中、画像の原内容を維持することはしばしば困難である。 本稿では,不整合スタイルとコンテンツ表現を用いた新しい拡散に基づく教師なし画像翻訳手法を提案する。 提案手法は,テキスト誘導と画像誘導の両方の翻訳作業において,最先端のベースラインモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-09-30T06:44:37Z)
• Saliency Constrained Arbitrary Image Style Transfer using SIFT and DCNN [22.57205921266602]
  一般的なニューラルスタイルの転送方法を使用する場合、スタイル画像のテクスチャや色は通常、コンテンツ画像に不完全に転送される。 本稿では,その効果を低減・回避するための新しいサリエンシ制約手法を提案する。 実験により、ソースイメージの正当性マップは正しいマッチングを見つけ出し、アーティファクトを避けるのに役立つことが示された。
  論文  参考訳（メタデータ） (2022-01-14T09:00:55Z)
• DiffusionCLIP: Text-guided Image Manipulation Using Diffusion Models [33.79188588182528]
  本稿では,コントラスト言語-画像事前学習(CLIP)損失を用いた拡散モデルを用いたテキスト駆動画像操作を行うDiffusionCLIPを提案する。 提案手法は、ドメイン内および外部の画像処理タスクのための、最新のGANベースの画像処理手法に匹敵する性能を有する。 本手法は,未知の領域から別の未知の領域への画像変換や,未知の領域におけるストローク条件の画像生成など,様々な新しい用途に容易に利用できる。
  論文  参考訳（メタデータ） (2021-10-06T12:59:39Z)
• Encoding Robustness to Image Style via Adversarial Feature Perturbations [72.81911076841408]
  我々は、画像画素ではなく特徴統計を直接摂動することで、頑健なモデルを生成することで、敵の訓練に適応する。 提案手法であるAdvBN(Adversarial Batch Normalization)は,トレーニング中に最悪の機能摂動を発生させる単一ネットワーク層である。
  論文  参考訳（メタデータ） (2020-09-18T17:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。