論文の概要: Dual Diffusion Implicit Bridges for Image-to-Image Translation
- arxiv url: http://arxiv.org/abs/2203.08382v1
- Date: Wed, 16 Mar 2022 04:10:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-18 03:33:26.727776
- Title: Dual Diffusion Implicit Bridges for Image-to-Image Translation
- Title(参考訳): 画像間翻訳のための二重拡散インプリシットブリッジ
- Authors: Xuan Su, Jiaming Song, Chenlin Meng, Stefano Ermon
- Abstract要約: 画像と画像の共通翻訳法は、ソースドメインとターゲットドメインの両方のデータに対する共同トレーニングに依存している。
本稿では拡散モデルに基づく画像変換法であるDual Diffusion Implicit Bridges (DDIBs)を提案する。
DDIBは任意のソースターゲットドメイン間の変換を可能にし、それぞれのドメイン上で独立に訓練された拡散モデルを与える。
- 参考スコア(独自算出の注目度): 104.59371476415566
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Common image-to-image translation methods rely on joint training over data
from both source and target domains. This excludes cases where domain data is
private (e.g., in a federated setting), and often means that a new model has to
be trained for a new pair of domains. We present Dual Diffusion Implicit
Bridges (DDIBs), an image translation method based on diffusion models, that
circumvents training on domain pairs. DDIBs allow translations between
arbitrary pairs of source-target domains, given independently trained diffusion
models on the respective domains. Image translation with DDIBs is a two-step
process: DDIBs first obtain latent encodings for source images with the source
diffusion model, and next decode such encodings using the target model to
construct target images. Moreover, DDIBs enable cycle-consistency by default
and is theoretically connected to optimal transport. Experimentally, we apply
DDIBs on a variety of synthetic and high-resolution image datasets,
demonstrating their utility in example-guided color transfer, image-to-image
translation as well as their connections to optimal transport methods.
- Abstract(参考訳): 画像と画像の共通翻訳法は、ソースドメインとターゲットドメインの両方のデータに対する共同トレーニングに依存している。
これは、ドメインデータがプライベートである場合(例えば、フェデレートされた設定)を除外し、しばしば新しいモデルを新しいドメインのためにトレーニングする必要があることを意味する。
本稿では,拡散モデルに基づく画像翻訳手法であるDual Diffusion Implicit Bridges (DDIBs)を提案する。
DDIBは任意のソースターゲットドメイン間の変換を可能にし、それぞれのドメイン上で独立に訓練された拡散モデルを与える。
ddibsはまずソース拡散モデルを用いてソースイメージの潜在エンコーディングを取得し、次にターゲットモデルを用いてそのエンコーディングをデコードしてターゲットイメージを構築する。
さらに、DDIBはサイクル一貫性をデフォルトで実現し、理論的には最適な輸送に結びついている。
実験では,ddibを様々な合成・高分解能画像データセットに適用し,サンプルガイドカラー転送,画像から画像への変換,および最適なトランスポート手法への接続においてその有用性を示す。
関連論文リスト
- Source-Free Domain Adaptation with Diffusion-Guided Source Data
Generation [6.649910168731417]
本稿では,Diffusion Models for Source-Free Domain Adaptation (DM-SFDA) の一般化能力を活用した新しい手法を提案する。
提案するDM-SFDA法では,事前訓練したテキスト・画像拡散モデルを用いてソース・ドメイン・イメージを生成する。
次に、既存の教師なし領域適応手法を適用し、生成したソース画像を対象領域データと整合させる。
論文 参考訳(メタデータ) (2024-02-07T14:56:13Z) - Denoising Diffusion Bridge Models [54.87947768074036]
拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。
画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。
本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
論文 参考訳(メタデータ) (2023-09-29T03:24:24Z) - BBDM: Image-to-image Translation with Brownian Bridge Diffusion Models [50.39417112077254]
BBDM(Brownian Bridge Diffusion Model)に基づく画像から画像への変換手法を提案する。
我々の知る限りでは、画像から画像への変換のためのブラウン橋拡散プロセスを提案する最初の作品である。
論文 参考訳(メタデータ) (2022-05-16T13:47:02Z) - Visualizing Adapted Knowledge in Domain Transfer [25.598840284457548]
ソースデータに基づいて訓練されたソースモデルと、教師なしドメイン適応(UDA)を通じて学習されたターゲットモデルは通常、異なる知識を符号化する。
対象画像と2つのモデルのみを用いてソース形式の画像を生成するソースフリー画像翻訳手法を提案する。
異なる UDA メソッドでいくつかのデータセットで適応した知識を視覚化し、生成された画像が2つのドメインのスタイルの違いをうまく捉えることを見つけます。
論文 参考訳(メタデータ) (2021-04-20T17:59:05Z) - Unpaired Image-to-Image Translation via Latent Energy Transport [61.62293304236371]
画像から画像への変換は、2つの視覚領域間の識別的ターゲットスタイルに変換しながら、ソースの内容を保存することを目的としている。
本稿では,この課題に対して,事前訓練されたオートエンコーダの潜在空間にエネルギーベースモデル(EBM)を配置することを提案する。
我々のモデルは1024$times$1024- resolution unpaired image translationに適用できる最初のモデルである。
論文 参考訳(メタデータ) (2020-12-01T17:18:58Z) - Unsupervised Image-to-Image Translation via Pre-trained StyleGAN2
Network [73.5062435623908]
本稿では,一連のモデル変換によって対象領域に新たなモデルを生成する新しいI2I翻訳手法を提案する。
潜在ベクトルを生成されたモデルに入力することで、ソースドメインとターゲットドメインの間でI2I翻訳を行うことができる。
論文 参考訳(メタデータ) (2020-10-12T13:51:40Z) - Multimodal Image-to-Image Translation via Mutual Information Estimation
and Maximization [16.54980086211836]
マルチモーダル画像画像変換 (Multimodal image-to-image translation, I2IT) は、ソース領域の入力画像が与えられた対象領域内の複数の可能な画像を探索する条件分布を学習することを目的としている。
このような条件分布をモデル化するために、条件生成逆ネットワーク(cGAN)がよく用いられる。
本稿では,cGANにおける潜在コードと出力画像間の相互情報を明示的に推定し,最大化する手法を提案する。
論文 参考訳(メタデータ) (2020-08-08T14:09:23Z) - Structured Domain Adaptation with Online Relation Regularization for
Unsupervised Person Re-ID [62.90727103061876]
Unsupervised Domain adapt(UDA)は、ラベル付きソースドメインデータセットでトレーニングされたモデルを、ラベルなしのターゲットドメインデータセットに適応させることを目的としている。
本稿では,オンライン関係整合性正規化項を用いたエンドツーエンドなドメイン適応フレームワークを提案する。
提案手法は,複数のUDAタスクにおける人物再IDの最先端性能を実現することを目的としている。
論文 参考訳(メタデータ) (2020-03-14T14:45:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。