論文の概要: Multi-crop Contrastive Learning and Domain Consistency for Unsupervised
Image-to-Image Translation
- arxiv url: http://arxiv.org/abs/2304.12235v2
- Date: Sun, 2 Jul 2023 09:44:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-04 13:44:18.185245
- Title: Multi-crop Contrastive Learning and Domain Consistency for Unsupervised
Image-to-Image Translation
- Title（参考訳）: 教師なし画像間翻訳のためのマルチクロップコントラスト学習とドメイン一貫性
- Authors: Chen Zhao, Wei-Ling Cai, Zheng Yuan, Cheng-Wei Hu
- Abstract要約: 我々は,MCDUTと呼ばれる,マルチクロップのコントラスト学習とドメイン整合性に基づく,教師なしのイメージ・ツー・イメージ翻訳フレームワークを提案する。
多くの画像と画像の翻訳タスクにおいて,本手法は最先端の結果を達成し,その利点は広範囲な比較実験とアブレーション研究によって証明されている。
- 参考スコア（独自算出の注目度）: 5.562419999563734
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, unsupervised image-to-image translation methods based on
contrastive learning have achieved state-of-the-art results in many tasks.
However, in the previous work, the negatives are sampled from the input image
itself, which inspires us to design a data augmentation method to improve the
quality of the selected negatives. Moreover, retaining the content similarity
via patch-wise contrastive learning in the embedding space, the previous
methods ignore the domain consistency between the generated image and the real
images of target domain. In this paper, we propose a novel unsupervised
image-to-image translation framework based on multi-crop contrastive learning
and domain consistency, called MCDUT. Specifically, we obtain the multi-crop
views via the center-crop and the random-crop to generate the negatives, which
can increase the quality of the negatives. To constrain the embeddings in the
deep feature space, we formulate a new domain consistency loss, which
encourages the generated images to be close to the real images in the embedding
space of same domain. Furthermore, we present a dual coordinate attention
network by embedding positional information into channel attention, which
called DCA. We employ the DCA network in the design of generator, which makes
the generator capture the horizontal and vertical global information of
dependency. In many image-to-image translation tasks, our method achieves
state-of-the-art results, and the advantages of our method have been proven
through extensive comparison experiments and ablation research.
- Abstract（参考訳）: 近年,コントラスト学習に基づく教師なし画像から画像への翻訳手法は,多くのタスクにおいて最先端の成果を上げている。
しかし,先行研究では,入力画像自体から負点をサンプリングし,選択した負点の品質向上のためのデータ拡張法を考案する。
また、埋め込み空間におけるパッチによるコントラスト学習によるコンテンツ類似性を保ちながら、従来の手法では生成された画像と対象領域の実画像とのドメイン一貫性を無視する。
本稿では,MCDUTと呼ばれるマルチループコントラスト学習とドメイン整合性に基づく新しい教師なし画像画像変換フレームワークを提案する。
具体的には,マルチクロップビューをセンタークロップとランダムクロップを介して取得し,負値を生成することにより,負値の品質を向上させることができる。
深い特徴空間への埋め込みを制限するために、生成された画像が同じ領域の埋め込み空間内の実画像に近付くように促す新しいドメイン一貫性の損失を定式化する。
さらに、DCAと呼ばれるチャネルアテンションに位置情報を埋め込むことにより、二重座標アテンションネットワークを提案する。
DCAネットワークをジェネレータの設計に用いて,水平および垂直のグローバルな依存性情報を取得する。
多くの画像と画像の翻訳タスクにおいて,本手法は最先端の結果を達成し,その利点は広範囲な比較実験とアブレーション研究によって証明されている。
関連論文リスト
- SCONE-GAN: Semantic Contrastive learning-based Generative Adversarial
Network for an end-to-end image translation [18.93434486338439]
SCONE-GANはリアルで多様な風景画像を生成する学習に有効であることが示されている。
より現実的で多様な画像生成のために、スタイル参照画像を導入します。
画像から画像への変換と屋外画像のスタイリングのための提案アルゴリズムを検証した。
論文 参考訳（メタデータ） (2023-11-07T10:29:16Z) - Domain Agnostic Image-to-image Translation using Low-Resolution
Conditioning [6.470760375991825]
ドメインが関係するきめ細かい問題に対して,ドメインに依存しないi2i法を提案する。
本稿では、生成モデルを訓練し、関連するソース画像の固有情報を共有する画像を生成する新しいアプローチを提案する。
CelebA-HQ と AFHQ のデータセット上で,視覚的品質の向上を実証し,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2023-05-08T19:58:49Z) - ACE: Zero-Shot Image to Image Translation via Pretrained
Auto-Contrastive-Encoder [2.1874189959020427]
本研究では,同じデータ分布内のサンプルの類似点と相違点を学習し,画像の特徴を抽出する手法を提案する。
ACEの設計により、画像翻訳タスクのトレーニングを初めて行うことなく、ゼロショット画像から画像への変換を実現することができる。
本モデルは,ゼロショット学習を用いたマルチモーダル画像翻訳タスクにおける競合的な結果も達成する。
論文 参考訳（メタデータ） (2023-02-22T23:52:23Z) - Unsupervised Image-to-Image Translation with Generative Prior [103.54337984566877]
教師なし画像画像変換は、ペアデータなしで2つの視覚領域間の翻訳を学習することを目的としている。
本稿では,GP-UNIT(Generative Prior-guided UN Image-to-image Translation)という新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-04-07T17:59:23Z) - Unsupervised Domain Adaptation with Contrastive Learning for OCT
Segmentation [49.59567529191423]
本稿では,新しい未ラベル領域からのボリューム画像のセグメンテーションのための,新しい半教師付き学習フレームワークを提案する。
教師付き学習とコントラスト学習を併用し、3次元の近傍スライス間の類似性を利用したコントラストペア方式を導入する。
論文 参考訳（メタデータ） (2022-03-07T19:02:26Z) - Object-aware Contrastive Learning for Debiased Scene Representation [74.30741492814327]
オブジェクトを自己教師型でローカライズする,オブジェクト認識型コントラスト学習フレームワークを開発した。
また、コントラCAM、オブジェクト認識型乱作、背景混合に基づく2つのデータ拡張を導入し、コントラスト型自己教師型学習における文脈バイアスと背景バイアスを低減した。
論文 参考訳（メタデータ） (2021-07-30T19:24:07Z) - Learning Unsupervised Cross-domain Image-to-Image Translation Using a
Shared Discriminator [2.1377923666134118]
教師なし画像画像変換は、ソースドメインから画像を変換して、ソースターゲット画像ペアを使用することなく、ターゲットドメインで画像を生成するために使用される。
本稿では,2つのGAN間の1つの共有判別器を用いた新しい手法を提案する。
提案手法は,注意機構を付加せずにも,注意に基づく手法と同等に動作し,同等の画質の画像を生成できることが示唆された。
論文 参考訳（メタデータ） (2021-02-09T08:26:23Z) - Image-to-image Mapping with Many Domains by Sparse Attribute Transfer [71.28847881318013]
教師なし画像と画像の変換は、2つの領域間の一対のマッピングを、ポイント間の既知のペアワイズ対応なしで学習することで構成される。
現在の慣例は、サイクル一貫性のあるGANでこのタスクにアプローチすることです。
そこで本研究では,ジェネレータを直接,潜在層における単純なスパース変換に制限する代替手法を提案する。
論文 参考訳（メタデータ） (2020-06-23T19:52:23Z) - Distilling Localization for Self-Supervised Representation Learning [82.79808902674282]
コントラスト学習は教師なし表現学習に革命をもたらした。
現在のコントラストモデルでは、前景オブジェクトのローカライズには効果がない。
本稿では,背景変化を学習するためのデータ駆動型手法を提案する。
論文 参考訳（メタデータ） (2020-04-14T16:29:42Z) - Image Fine-grained Inpainting [89.17316318927621]
拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。
この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。
また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
論文 参考訳（メタデータ） (2020-02-07T03:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。