論文の概要: Diffusion-Based Conditional Image Editing through Optimized Inference with Guidance

• arxiv url: http://arxiv.org/abs/2412.15798v1
• Date: Fri, 20 Dec 2024 11:15:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:23:53.246850
• Title: Diffusion-Based Conditional Image Editing through Optimized Inference with Guidance
• Title（参考訳）: 誘導による最適推論による拡散に基づく条件付き画像編集
• Authors: Hyunsoo Lee, Minsoo Kang, Bohyung Han,
• Abstract要約: 本稿では,事前学習されたテキスト・画像拡散モデルに基づく,テキスト駆動型画像・画像翻訳のためのトレーニング不要なアプローチを提案する。 本手法は,事前学習した安定拡散モデルと組み合わせることで,様々なタスクにおける画像と画像の翻訳性能を向上する。
• 参考スコア（独自算出の注目度）: 46.922018440110826
• License:
• Abstract: We present a simple but effective training-free approach for text-driven image-to-image translation based on a pretrained text-to-image diffusion model. Our goal is to generate an image that aligns with the target task while preserving the structure and background of a source image. To this end, we derive the representation guidance with a combination of two objectives: maximizing the similarity to the target prompt based on the CLIP score and minimizing the structural distance to the source latent variable. This guidance improves the fidelity of the generated target image to the given target prompt while maintaining the structure integrity of the source image. To incorporate the representation guidance component, we optimize the target latent variable of diffusion model's reverse process with the guidance. Experimental results demonstrate that our method achieves outstanding image-to-image translation performance on various tasks when combined with the pretrained Stable Diffusion model.
• Abstract（参考訳）: 本稿では,事前学習したテキスト・画像拡散モデルに基づくテキスト駆動型画像・画像翻訳のための,シンプルだが効果的なトレーニング不要な手法を提案する。 私たちのゴールは、ソースイメージの構造と背景を保存しながら、ターゲットタスクと整合した画像を生成することです。 この目的のために、CLIPスコアに基づいてターゲットプロンプトとの類似性を最大化し、ソース潜在変数に対する構造距離を最小化する2つの目的の組み合わせで表現ガイダンスを導出する。 このガイダンスは、ソース画像の構造的整合性を維持しつつ、生成した目標画像の所定の目標プロンプトに対する忠実性を向上させる。 表現誘導成分を組み込むため,拡散モデルの逆過程の目標潜時変数をガイダンスで最適化する。 実験により,本手法は事前学習した安定拡散モデルと組み合わせることで,様々なタスクにおいて優れた画像と画像の変換性能を実現することを示す。

関連論文リスト

• DALDA: Data Augmentation Leveraging Diffusion Model and LLM with Adaptive Guidance Scaling [6.7206291284535125]
  大規模言語モデル(LLM)と拡散モデル(DM)を利用した効果的なデータ拡張フレームワークを提案する。 提案手法は,合成画像の多様性を増大させる問題に対処する。 本手法は, 目標分布の付着性を維持しつつ, 多様性を向上した合成画像を生成する。
  論文  参考訳（メタデータ） (2024-09-25T14:02:43Z)
• Powerful and Flexible: Personalized Text-to-Image Generation via Reinforcement Learning [40.06403155373455]
  個人化されたテキスト・画像生成のための新しい強化学習フレームワークを提案する。 提案手法は、テキストアライメントを維持しながら、視覚的忠実度に大きな差で既存の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2024-07-09T08:11:53Z)
• Diffusion based Zero-shot Medical Image-to-Image Translation for Cross Modality Segmentation [18.895926089773177]
  クロスモダリティ画像セグメンテーションは、ソースモダリティで設計された手法を用いて、ターゲットモダリティをセグメンテーションすることを目的としている。 深層生成モデルは、対象のモダリティ画像をソースモダリティに変換することで、モダリティのセグメンテーションを可能にする。
  論文  参考訳（メタデータ） (2024-04-01T13:23:04Z)
• Improving Diversity in Zero-Shot GAN Adaptation with Semantic Variations [61.132408427908175]
  0ショットのGAN適応は、よく訓練されたジェネレータを再利用して、目に見えないターゲットドメインの画像を合成することを目的としている。 実際の画像の代わりに1つの代表的テキスト機能しか持たないため、合成された画像は徐々に多様性を損なう。 そこで本研究では,CLIP空間における対象テキストの意味的変化を見つけるための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-21T08:12:28Z)
• Improving Diffusion-based Image Translation using Asymmetric Gradient Guidance [51.188396199083336]
  非対称勾配法の適用により拡散サンプリングの逆過程を導出する手法を提案する。 我々のモデルの適応性は、画像融合モデルと潜時拡散モデルの両方で実装できる。 実験により,本手法は画像翻訳タスクにおいて,様々な最先端モデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-07T12:56:56Z)
• Conditional Score Guidance for Text-Driven Image-to-Image Translation [52.73564644268749]
  本稿では,事前訓練されたテキスト・画像拡散モデルに基づく,テキスト駆動型画像・画像変換のための新しいアルゴリズムを提案する。 本手法は,ソース画像の関心領域を選択的に編集することで,対象画像を生成することを目的とする。
  論文  参考訳（メタデータ） (2023-05-29T10:48:34Z)
• Taming Encoder for Zero Fine-tuning Image Customization with Text-to-Image Diffusion Models [55.04969603431266]
  本稿では,ユーザが指定したカスタマイズされたオブジェクトの画像を生成する手法を提案する。 この手法は、従来のアプローチで要求される長大な最適化をバイパスする一般的なフレームワークに基づいている。 提案手法は, 出力品質, 外観の多様性, 被写体忠実度を考慮した画像合成が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-05T17:59:32Z)
• Paint by Example: Exemplar-based Image Editing with Diffusion Models [35.84464684227222]
  本稿では,より精密な制御のための画像編集について検討する。 我々は、この目標を達成するために、自己指導型トレーニングを活用して、ソースイメージとインスペクタをアンタングルし、再編成する。 提案手法は印象的な性能を実現し,高忠実度で画像の編集を制御できることを実証する。
  論文  参考訳（メタデータ） (2022-11-23T18:59:52Z)
• Semantic Image Synthesis via Diffusion Models [159.4285444680301]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。