論文の概要: Multi-crop Contrastive Learning for Unsupervised Image-to-Image Translation

• arxiv url: http://arxiv.org/abs/2304.12235v1
• Date: Mon, 24 Apr 2023 16:20:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 14:05:41.419086
• Title: Multi-crop Contrastive Learning for Unsupervised Image-to-Image Translation
• Title（参考訳）: 教師なし画像間翻訳のためのマルチクロップコントラスト学習
• Authors: Chen Zhao, Wei-Ling Cai, Zheng Yuan, Cheng-Wei Hu
• Abstract要約: MCCUTと呼ばれる画像間翻訳のための新しいコントラスト学習フレームワークを提案する。 マルチクロップビューを用いて、中心クロップとランダムクロップを介して負を生成することにより、負の多様性を向上し、一方、負の質を向上させることができる。 位置情報をSENetに埋め込むことにより,二元座標チャネルアテンションネットワークを提案し,これをDCSEモジュールと呼ぶ。
• 参考スコア（独自算出の注目度）: 5.562419999563734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, image-to-image translation methods based on contrastive learning achieved state-of-the-art results in many tasks. However, the negatives are sampled from the input feature spaces in the previous work, which makes the negatives lack diversity. Moreover, in the latent space of the embedings,the previous methods ignore domain consistency between the generated image and the real images of target domain. In this paper, we propose a novel contrastive learning framework for unpaired image-to-image translation, called MCCUT. We utilize the multi-crop views to generate the negatives via the center-crop and the random-crop, which can improve the diversity of negatives and meanwhile increase the quality of negatives. To constrain the embedings in the deep feature space,, we formulate a new domain consistency loss function, which encourages the generated images to be close to the real images in the embedding space of same domain. Furthermore, we present a dual coordinate channel attention network by embedding positional information into SENet, which called DCSE module. We employ the DCSE module in the design of generator, which makes the generator pays more attention to channels with greater weight. In many image-to-image translation tasks, our method achieves state-of-the-art results, and the advantages of our method have been proved through extensive comparison experiments and ablation research.
• Abstract（参考訳）: 近年,コントラスト学習に基づく画像から画像への翻訳手法が多くの課題で成果を上げている。 しかし、負は前の作業の入力特徴空間からサンプリングされるため、負は多様性を欠いている。 さらに、埋め込みの潜在空間では、前の手法では生成された画像と対象ドメインの実画像とのドメイン一貫性を無視する。 本稿では,MCCUTと呼ばれる画像間翻訳のための新しいコントラスト学習フレームワークを提案する。 マルチクロップビューを用いて、中心クロップとランダムクロップを介して負を生成することにより、負の多様性を向上し、一方、負の質を向上させることができる。 深い特徴空間への埋め込みを制約するために、生成された画像が同じ領域の埋め込み空間内の実画像に近付くように促す新しいドメイン一貫性損失関数を定式化する。 さらに、位置情報をSENetに埋め込み、DCSEモジュールと呼ばれる2つの座標チャネルアテンションネットワークを提案する。 我々はジェネレータの設計にDCSEモジュールを使用し、ジェネレータはより重みのあるチャネルにより多くの注意を払っている。 多くの画像と画像の翻訳タスクにおいて,本手法は最先端の成果を達成し,その利点は広範囲な比較実験とアブレーション研究によって証明されている。

関連論文リスト

• SCONE-GAN: Semantic Contrastive learning-based Generative Adversarial Network for an end-to-end image translation [18.93434486338439]
  SCONE-GANはリアルで多様な風景画像を生成する学習に有効であることが示されている。 より現実的で多様な画像生成のために、スタイル参照画像を導入します。 画像から画像への変換と屋外画像のスタイリングのための提案アルゴリズムを検証した。
  論文  参考訳（メタデータ） (2023-11-07T10:29:16Z)
• Domain Agnostic Image-to-image Translation using Low-Resolution Conditioning [6.470760375991825]
  ドメインが関係するきめ細かい問題に対して,ドメインに依存しないi2i法を提案する。 本稿では、生成モデルを訓練し、関連するソース画像の固有情報を共有する画像を生成する新しいアプローチを提案する。 CelebA-HQ と AFHQ のデータセット上で,視覚的品質の向上を実証し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-05-08T19:58:49Z)
• ACE: Zero-Shot Image to Image Translation via Pretrained Auto-Contrastive-Encoder [2.1874189959020427]
  本研究では,同じデータ分布内のサンプルの類似点と相違点を学習し,画像の特徴を抽出する手法を提案する。 ACEの設計により、画像翻訳タスクのトレーニングを初めて行うことなく、ゼロショット画像から画像への変換を実現することができる。 本モデルは,ゼロショット学習を用いたマルチモーダル画像翻訳タスクにおける競合的な結果も達成する。
  論文  参考訳（メタデータ） (2023-02-22T23:52:23Z)
• Unsupervised Image-to-Image Translation with Generative Prior [103.54337984566877]
  教師なし画像画像変換は、ペアデータなしで2つの視覚領域間の翻訳を学習することを目的としている。 本稿では,GP-UNIT(Generative Prior-guided UN Image-to-image Translation)という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:23Z)
• Unsupervised Domain Adaptation with Contrastive Learning for OCT Segmentation [49.59567529191423]
  本稿では,新しい未ラベル領域からのボリューム画像のセグメンテーションのための,新しい半教師付き学習フレームワークを提案する。 教師付き学習とコントラスト学習を併用し、3次元の近傍スライス間の類似性を利用したコントラストペア方式を導入する。
  論文  参考訳（メタデータ） (2022-03-07T19:02:26Z)
• Object-aware Contrastive Learning for Debiased Scene Representation [74.30741492814327]
  オブジェクトを自己教師型でローカライズする,オブジェクト認識型コントラスト学習フレームワークを開発した。 また、コントラCAM、オブジェクト認識型乱作、背景混合に基づく2つのデータ拡張を導入し、コントラスト型自己教師型学習における文脈バイアスと背景バイアスを低減した。
  論文  参考訳（メタデータ） (2021-07-30T19:24:07Z)
• Learning Unsupervised Cross-domain Image-to-Image Translation Using a Shared Discriminator [2.1377923666134118]
  教師なし画像画像変換は、ソースドメインから画像を変換して、ソースターゲット画像ペアを使用することなく、ターゲットドメインで画像を生成するために使用される。 本稿では,2つのGAN間の1つの共有判別器を用いた新しい手法を提案する。 提案手法は,注意機構を付加せずにも,注意に基づく手法と同等に動作し,同等の画質の画像を生成できることが示唆された。
  論文  参考訳（メタデータ） (2021-02-09T08:26:23Z)
• Image-to-image Mapping with Many Domains by Sparse Attribute Transfer [71.28847881318013]
  教師なし画像と画像の変換は、2つの領域間の一対のマッピングを、ポイント間の既知のペアワイズ対応なしで学習することで構成される。 現在の慣例は、サイクル一貫性のあるGANでこのタスクにアプローチすることです。 そこで本研究では,ジェネレータを直接,潜在層における単純なスパース変換に制限する代替手法を提案する。
  論文  参考訳（メタデータ） (2020-06-23T19:52:23Z)
• Distilling Localization for Self-Supervised Representation Learning [82.79808902674282]
  コントラスト学習は教師なし表現学習に革命をもたらした。 現在のコントラストモデルでは、前景オブジェクトのローカライズには効果がない。 本稿では,背景変化を学習するためのデータ駆動型手法を提案する。
  論文  参考訳（メタデータ） (2020-04-14T16:29:42Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。