論文の概要: Dual Contrastive Learning for Unsupervised Image-to-Image Translation
- arxiv url: http://arxiv.org/abs/2104.07689v1
- Date: Thu, 15 Apr 2021 18:00:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2021-04-19 14:13:52.658288
- Title: Dual Contrastive Learning for Unsupervised Image-to-Image Translation
- Title(参考訳): 教師なし画像間翻訳のためのデュアルコントラスト学習
- Authors: Junlin Han, Mehrdad Shoeiby, Lars Petersson, Mohammad Ali Armin
- Abstract要約: unsupervised image-to-image translationタスクは、非ペアトレーニングデータからソースドメインxとターゲットドメインyとのマッピングを見つけることを目的としている。
画像対画像翻訳におけるコントラスト学習は最先端の成果をもたらす。
本論文では, 対比学習に基づく新しい手法と, 対比データ間の効率的なマッピングを推定するデュアルラーニング設定を提案する。
- 参考スコア(独自算出の注目度): 16.759958400617947
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised image-to-image translation tasks aim to find a mapping between a
source domain X and a target domain Y from unpaired training data. Contrastive
learning for Unpaired image-to-image Translation (CUT) yields state-of-the-art
results in modeling unsupervised image-to-image translation by maximizing
mutual information between input and output patches using only one encoder for
both domains. In this paper, we propose a novel method based on contrastive
learning and a dual learning setting (exploiting two encoders) to infer an
efficient mapping between unpaired data. Additionally, while CUT suffers from
mode collapse, a variant of our method efficiently addresses this issue. We
further demonstrate the advantage of our approach through extensive ablation
studies demonstrating superior performance comparing to recent approaches in
multiple challenging image translation tasks. Lastly, we demonstrate that the
gap between unsupervised methods and supervised methods can be efficiently
closed.
- Abstract(参考訳): unsupervised image-to-image translationタスクは、非ペアトレーニングデータからソースドメインxとターゲットドメインyとのマッピングを見つけることを目的としている。
CUT(Unpaired Image-to-image Translation)のコントラスト学習は、両領域のエンコーダを1つだけ使用して、入力パッチと出力パッチの相互情報を最大化することにより、教師なし画像-画像翻訳をモデル化する。
本稿では,非ペアデータ間の効率的なマッピングを推定するために,コントラスト学習と二重学習(2つのエンコーダの展開)に基づく新しい手法を提案する。
さらに,CUTはモード崩壊に悩まされているが,本手法の変種は効率よくこの問題に対処する。
さらに,複数の画像翻訳タスクにおいて,最近のアプローチと比較して優れた性能を示す広範なアブレーション研究を通じて,このアプローチの利点を実証する。
最後に,教師なしメソッドと教師なしメソッドのギャップを効率的にクローズできることを示す。
関連論文リスト
- Multi-cropping Contrastive Learning and Domain Consistency for
Unsupervised Image-to-Image Translation [5.562419999563734]
マルチクロップ型コントラスト学習とドメイン整合性に基づく新しい教師なし画像から画像への翻訳フレームワーク MCDUT を提案する。
多くの画像と画像の翻訳タスクにおいて,本手法は最先端の結果を達成し,その利点は比較実験とアブレーション研究によって証明されている。
論文 参考訳(メタデータ) (2023-04-24T16:20:28Z) - Unsupervised Multi-Modal Medical Image Registration via
Discriminator-Free Image-to-Image Translation [4.43142018105102]
本稿では,複数モーダル登録問題をモノモーダル画像に変換するための,新しい翻訳に基づく教師なしデフォルマブル画像登録手法を提案する。
提案手法では,登録ネットワークのトレーニングを容易にするために,識別不要な翻訳ネットワークと,オブジェクトの形状を保たせるためのパッチワイドなコントラスト損失が組み込まれている。
論文 参考訳(メタデータ) (2022-04-28T17:18:21Z) - Multi-domain Unsupervised Image-to-Image Translation with Appearance
Adaptive Convolution [62.4972011636884]
本稿では,MDUIT(Multi-domain unsupervised image-to-image translation)フレームワークを提案する。
我々は、分解されたコンテンツ特徴と外観適応的畳み込みを利用して、画像をターゲットの外観に変換する。
提案手法は,最先端の手法と比較して,複数の領域で視覚的に多様かつ妥当な結果が得られることを示す。
論文 参考訳(メタデータ) (2022-02-06T14:12:34Z) - StEP: Style-based Encoder Pre-training for Multi-modal Image Synthesis [68.3787368024951]
マルチモーダルイメージ・ツー・イメージ(I2I)翻訳のための新しいアプローチを提案する。
我々は、出力領域の可変性をモデル化する潜伏埋め込みをジェネレータと共同で学習する。
具体的には、新しいプロキシタスクを用いて汎用的なスタイルエンコーダを事前訓練し、任意のドメインから低次元のスタイル潜在空間への画像の埋め込みを学習する。
論文 参考訳(メタデータ) (2021-04-14T19:58:24Z) - Multiple GAN Inversion for Exemplar-based Image-to-Image Translation [0.0]
実例に基づく画像-画像変換のための複数GANインバージョンを提案する。
提案するMultiple GAN Inversionは,階層数選択における自己決定アルゴリズムによる人間の介入を回避する。
実験結果から,提案手法の利点を既存の最先端の画像画像変換法と比較した。
論文 参考訳(メタデータ) (2021-03-26T13:46:14Z) - GAIT: Gradient Adjusted Unsupervised Image-to-Image Translation [5.076419064097734]
対向損失を利用して、翻訳された画像セットと対象画像セットの分布を一致させる。
これにより、2つの領域が例えば一様領域において異なる辺分布を持つようなアーティファクトが生成される。
本稿では,翻訳後の一様領域を保存する教師なしIITを提案する。
論文 参考訳(メタデータ) (2020-09-02T08:04:00Z) - Delving into Inter-Image Invariance for Unsupervised Visual
Representations [108.33534231219464]
画像間不変学習の役割をよりよく理解するための研究を提案する。
オンラインラベルはオフラインラベルよりも早く収束する。
半硬な負のサンプルは、硬い負のサンプルよりも信頼性が高く、偏りがない。
論文 参考訳(メタデータ) (2020-08-26T17:44:23Z) - Contrastive Learning for Unpaired Image-to-Image Translation [64.47477071705866]
画像から画像への変換では、出力の各パッチは、入力中の対応するパッチの内容を、ドメインに依存しない形で反映すべきである。
本研究では,両者の相互情報を最大化するために,コントラスト学習に基づく枠組みを提案する。
筆者らのフレームワークは、画質の向上とトレーニング時間の短縮を図りながら、画像から画像への翻訳設定の一方的な翻訳を可能にすることを実証している。
論文 参考訳(メタデータ) (2020-07-30T17:59:58Z) - COCO-FUNIT: Few-Shot Unsupervised Image Translation with a Content
Conditioned Style Encoder [70.23358875904891]
教師なし画像画像変換は、与えられた領域内の画像と異なる領域内の類似画像とのマッピングを学習することを目的としている。
入力画像に条件付けされたサンプル画像のスタイル埋め込みを計算し、新しい数ショット画像変換モデルCOCO-FUNITを提案する。
本モデルは,コンテンツ損失問題に対処する上での有効性を示す。
論文 参考訳(メタデータ) (2020-07-15T02:01:14Z) - Unsupervised Learning of Visual Features by Contrasting Cluster
Assignments [57.33699905852397]
ペア比較の計算を必要とせず,コントラスト的手法を生かしたオンラインアルゴリズムSwaVを提案する。
本手法では,クラスタ割り当て間の一貫性を保ちながら,同時にデータをクラスタ化する。
我々の方法は大規模で小さなバッチで訓練でき、無制限のデータにスケールできる。
論文 参考訳(メタデータ) (2020-06-17T14:00:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。