論文の概要: Exploring Patch-wise Semantic Relation for Contrastive Learning in
Image-to-Image Translation Tasks
- arxiv url: http://arxiv.org/abs/2203.01532v1
- Date: Thu, 3 Mar 2022 05:59:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-05 06:58:13.000887
- Title: Exploring Patch-wise Semantic Relation for Contrastive Learning in
Image-to-Image Translation Tasks
- Title（参考訳）: 画像間翻訳作業におけるコントラスト学習のためのパッチワイズ意味関係の探索
- Authors: Chanyong Jung, Gihyun Kwon, Jong Chul Ye
- Abstract要約: 本稿では,非結合型コントラスト学習とともに,新しい意味的関係整合性(SRC)正則化を提案する。
本手法は,1つのモーダル・マルチモーダル画像翻訳と,画像翻訳のためのGAN圧縮タスクの3つのタスクについて検証する。
- 参考スコア（独自算出の注目度）: 43.974341438729205
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, contrastive learning-based image translation methods have been
proposed, which contrasts different spatial locations to enhance the spatial
correspondence. However, the methods often ignore the diverse semantic relation
within the images. To address this, here we propose a novel semantic relation
consistency (SRC) regularization along with the decoupled contrastive learning,
which utilize the diverse semantics by focusing on the heterogeneous semantics
between the image patches of a single image. To further improve the
performance, we present a hard negative mining by exploiting the semantic
relation. We verified our method for three tasks: single-modal and multi-modal
image translations, and GAN compression task for image translation.
Experimental results confirmed the state-of-art performance of our method in
all the three tasks.
- Abstract（参考訳）: 近年,空間対応性を高めるために,異なる空間位置を対比する,コントラスト学習に基づく画像翻訳手法が提案されている。
しかし、これらの手法はしばしば画像内の様々な意味関係を無視している。
そこで本研究では,画像のイメージパッチ間の不均一なセマンティクスに焦点をあて,多種多様なセマンティクスを利用する,分離されたコントラスト学習とともに,新しいセマンティクス関係整合性(SRC)正則化を提案する。
性能をさらに向上するため,意味的関係を利用して負のマイニングを行う。
我々は,画像翻訳における単一モーダルと多モーダルの3つのタスク,およびGAN圧縮タスクについて検証した。
実験の結果,3つのタスクすべてにおいて,本手法の最先端性能が確認された。
関連論文リスト
- Edge Guided GANs with Multi-Scale Contrastive Learning for Semantic
Image Synthesis [139.2216271759332]
本稿では,難解なセマンティック画像合成タスクのための新しいECGANを提案する。
セマンティックラベルは詳細な構造情報を提供しておらず、局所的な詳細や構造を合成することは困難である。
畳み込み、ダウンサンプリング、正規化といった広く採用されているCNN操作は、通常、空間分解能の損失を引き起こす。
本稿では,同じセマンティッククラスに属する画素埋め込みを強制して,より類似した画像コンテンツを生成することを目的とした,新しいコントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2023-07-22T14:17:19Z) - Marginal Contrastive Correspondence for Guided Image Generation [58.0605433671196]
例題に基づく画像翻訳は、条件入力と2つの異なる領域からの例題間の密接な対応を確立する。
既存の作業は、2つのドメインにまたがる機能的距離を最小化することで、ドメイン間の通信を暗黙的に構築する。
本稿では,MCL-Net(Marginal Contrastive Learning Network)の設計を行った。
論文 参考訳（メタデータ） (2022-04-01T13:55:44Z) - Multi-domain Unsupervised Image-to-Image Translation with Appearance
Adaptive Convolution [62.4972011636884]
本稿では,MDUIT(Multi-domain unsupervised image-to-image translation)フレームワークを提案する。
我々は、分解されたコンテンツ特徴と外観適応的畳み込みを利用して、画像をターゲットの外観に変換する。
提案手法は,最先端の手法と比較して,複数の領域で視覚的に多様かつ妥当な結果が得られることを示す。
論文 参考訳（メタデータ） (2022-02-06T14:12:34Z) - Separating Content and Style for Unsupervised Image-to-Image Translation [20.44733685446886]
教師なしのイメージ・ツー・イメージ翻訳は、2つの視覚領域間のマッピングを未ペアのサンプルで学習することを目的としている。
統合されたフレームワークでコンテンツコードとスタイルコードを同時に分離することを提案する。
潜在機能と高レベルのドメイン不変タスクの相関から,提案手法は優れた性能を示す。
論文 参考訳（メタデータ） (2021-10-27T12:56:50Z) - Smoothing the Disentangled Latent Style Space for Unsupervised
Image-to-Image Translation [56.55178339375146]
イメージ・ツー・イメージ(I2I)マルチドメイン翻訳モデルは通常、セマンティックな結果の品質を用いて評価される。
本稿では,翻訳ネットワークがスムーズでゆがみのあるラテントスタイル空間を学習するのに役立つ,3つの特定の損失に基づく新たなトレーニングプロトコルを提案する。
論文 参考訳（メタデータ） (2021-06-16T17:58:21Z) - Multiple GAN Inversion for Exemplar-based Image-to-Image Translation [0.0]
実例に基づく画像-画像変換のための複数GANインバージョンを提案する。
提案するMultiple GAN Inversionは,階層数選択における自己決定アルゴリズムによる人間の介入を回避する。
実験結果から,提案手法の利点を既存の最先端の画像画像変換法と比較した。
論文 参考訳（メタデータ） (2021-03-26T13:46:14Z) - Cross-domain Correspondence Learning for Exemplar-based Image
Translation [59.35767271091425]
本稿では,異なる領域の入力からフォトリアリスティックな画像を合成する,例題に基づく画像翻訳のためのフレームワークを提案する。
出力は、例において意味的に対応するオブジェクトと整合したスタイル(例えば、色、テクスチャ)を持つ。
本手法は画像品質の面で最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-04-12T09:10:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。