論文の概要: Image-to-Image Translation with Diffusion Transformers and CLIP-Based Image Conditioning

• arxiv url: http://arxiv.org/abs/2505.16001v1
• Date: Wed, 21 May 2025 20:37:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:47.899938
• Title: Image-to-Image Translation with Diffusion Transformers and CLIP-Based Image Conditioning
• Title（参考訳）: 拡散変換器とCLIPに基づく画像コンディショニングによる画像間変換
• Authors: Qiang Zhu, Kuan Lu, Menghao Huo, Yuxiao Li,
• Abstract要約: Diffusion Transformers (DiT) は画像から画像への変換のための拡散ベースのフレームワークである。 DiTは拡散モデルのデノナイジング能力と変換器のグローバルなモデリング能力を組み合わせる。 実際の顔を漫画風のイラストに翻訳する face2comics と、エッジマップをリアルなシューズイメージに変換する edges2shoe の2つのベンチマークデータセットに対するアプローチを検証する。
• 参考スコア（独自算出の注目度）: 2.9603070411207644
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image-to-image translation aims to learn a mapping between a source and a target domain, enabling tasks such as style transfer, appearance transformation, and domain adaptation. In this work, we explore a diffusion-based framework for image-to-image translation by adapting Diffusion Transformers (DiT), which combine the denoising capabilities of diffusion models with the global modeling power of transformers. To guide the translation process, we condition the model on image embeddings extracted from a pre-trained CLIP encoder, allowing for fine-grained and structurally consistent translations without relying on text or class labels. We incorporate both a CLIP similarity loss to enforce semantic consistency and an LPIPS perceptual loss to enhance visual fidelity during training. We validate our approach on two benchmark datasets: face2comics, which translates real human faces to comic-style illustrations, and edges2shoes, which translates edge maps to realistic shoe images. Experimental results demonstrate that DiT, combined with CLIP-based conditioning and perceptual similarity objectives, achieves high-quality, semantically faithful translations, offering a promising alternative to GAN-based models for paired image-to-image translation tasks.
• Abstract（参考訳）: Image-to-image Translationは、ソースとターゲットドメイン間のマッピングを学習することを目的としており、スタイル変換、外観変換、ドメイン適応などのタスクを可能にする。 本研究では拡散変換器(DiT)を適用し,拡散モデルと変換器のグローバルなモデリング能力を組み合わせた拡散変換の拡散に基づくフレームワークについて検討する。 翻訳プロセスの指針として,事前学習したCLIPエンコーダから抽出した画像埋め込みのモデルを条件として,テキストやクラスラベルに頼ることなく,微細で構造的に一貫した翻訳を可能にする。 CLIPの類似度損失を意味的整合性に用い,LPIPSの知覚的損失をトレーニング中の視覚的忠実度を高めるために用いた。 実際の顔を漫画風のイラストに翻訳する face2comics と、エッジマップをリアルなシューズイメージに変換する edges2shoe の2つのベンチマークデータセットに対するアプローチを検証する。 実験結果から、DiTはCLIPベースの条件付けと知覚的類似性目標を組み合わせることで、高品質でセマンティックに忠実な翻訳を実現し、画像と画像のペア変換タスクのためのGANベースのモデルに代わる有望な代替手段を提供することが示された。

関連論文リスト

• Translatotron-V(ison): An End-to-End Model for In-Image Machine Translation [81.45400849638347]
  In-image Machine Translation (IIMT) は、ソース言語のテキストを含む画像をターゲット言語の翻訳を含む画像に変換することを目的としている。 本稿では,4つのモジュールからなるエンドツーエンドIIMTモデルを提案する。 本モデルでは,70.9%のパラメータしか持たないカスケードモデルと比較して競争性能が向上し,画素レベルのエンド・ツー・エンドIIMTモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-07-03T08:15:39Z)
• Improving Diffusion-based Image Translation using Asymmetric Gradient Guidance [51.188396199083336]
  非対称勾配法の適用により拡散サンプリングの逆過程を導出する手法を提案する。 我々のモデルの適応性は、画像融合モデルと潜時拡散モデルの両方で実装できる。 実験により,本手法は画像翻訳タスクにおいて,様々な最先端モデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-07T12:56:56Z)
• Spectral Normalization and Dual Contrastive Regularization for Image-to-Image Translation [9.029227024451506]
  二重コントラスト正規化とスペクトル正規化に基づく新しい未ペアI2I翻訳フレームワークを提案する。 SN-DCRの有効性を評価するための総合的な実験を行い、本手法が複数のタスクにおいてSOTAを実現することを実証した。
  論文  参考訳（メタデータ） (2023-04-22T05:22:24Z)
• Masked and Adaptive Transformer for Exemplar Based Image Translation [16.93344592811513]
  ドメイン間のセマンティックマッチングは難しい。 正確なクロスドメイン対応を学習するためのマスク付き適応変換器(MAT)を提案する。 品質識別型スタイル表現を得るための新しいコントラスト型スタイル学習法を考案する。
  論文  参考訳（メタデータ） (2023-03-30T03:21:14Z)
• Diffusion-based Image Translation using Disentangled Style and Content Representation [51.188396199083336]
  セマンティックテキストや単一のターゲット画像でガイドされた拡散ベースの画像変換により、柔軟なスタイル変換が可能になった。 逆拡散中、画像の原内容を維持することはしばしば困難である。 本稿では,不整合スタイルとコンテンツ表現を用いた新しい拡散に基づく教師なし画像翻訳手法を提案する。 提案手法は,テキスト誘導と画像誘導の両方の翻訳作業において,最先端のベースラインモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-09-30T06:44:37Z)
• Semantic Image Synthesis via Diffusion Models [174.24523061460704]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に事実上のGANベースのアプローチに従っている。 意味画像合成のためのDDPMに基づく新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• Smoothing the Disentangled Latent Style Space for Unsupervised Image-to-Image Translation [56.55178339375146]
  イメージ・ツー・イメージ(I2I)マルチドメイン翻訳モデルは通常、セマンティックな結果の品質を用いて評価される。 本稿では,翻訳ネットワークがスムーズでゆがみのあるラテントスタイル空間を学習するのに役立つ,3つの特定の損失に基づく新たなトレーニングプロトコルを提案する。
  論文  参考訳（メタデータ） (2021-06-16T17:58:21Z)
• Unpaired Image-to-Image Translation via Latent Energy Transport [61.62293304236371]
  画像から画像への変換は、2つの視覚領域間の識別的ターゲットスタイルに変換しながら、ソースの内容を保存することを目的としている。 本稿では,この課題に対して,事前訓練されたオートエンコーダの潜在空間にエネルギーベースモデル(EBM)を配置することを提案する。 我々のモデルは1024$times$1024- resolution unpaired image translationに適用できる最初のモデルである。
  論文  参考訳（メタデータ） (2020-12-01T17:18:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。