論文の概要: Spectral normalized dual contrastive regularization for image-to-image translation

• arxiv url: http://arxiv.org/abs/2304.11319v1
• Date: Sat, 22 Apr 2023 05:22:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 19:18:05.105640
• Title: Spectral normalized dual contrastive regularization for image-to-image translation
• Title（参考訳）: 画像と画像の変換のためのスペクトル正規化デュアルコントラスト正規化
• Authors: Chen Zhao, Wei-Ling Cai, Zheng Yuan
• Abstract要約: 二重コントラスト正規化とスペクトル正規化に基づく新しい未ペアI2I翻訳フレームワークを提案する。 本研究では,SN-DCRの有効性を評価するための総合的な実験を行い,本手法が複数のタスクにおいてSOTAを実現することを実証した。
• 参考スコア（独自算出の注目度）: 5.330801910100593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing image-to-image(I2I) translation methods achieve state-of-the-art performance by incorporating the patch-wise contrastive learning into Generative Adversarial Networks. However, patch-wise contrastive learning only focuses on the local content similarity but neglects the global structure constraint, which affects the quality of the generated images. In this paper, we propose a new unpaired I2I translation framework based on dual contrastive regularization and spectral normalization, namely SN-DCR. To maintain consistency of the global structure and texture, we design the dual contrastive regularization using different feature spaces respectively. In order to improve the global structure information of the generated images, we formulate a semantically contrastive loss to make the global semantic structure of the generated images similar to the real images from the target domain in the semantic feature space. We use Gram Matrices to extract the style of texture from images. Similarly, we design style contrastive loss to improve the global texture information of the generated images. Moreover, to enhance the stability of model, we employ the spectral normalized convolutional network in the design of our generator. We conduct the comprehensive experiments to evaluate the effectiveness of SN-DCR, and the results prove that our method achieves SOTA in multiple tasks.
• Abstract（参考訳）: 既存のイメージ・トゥ・イメージ(I2I)翻訳手法は、パッチワイドコントラスト学習をジェネレーティブ・アドバイサル・ネットワークに組み込むことで、最先端の性能を実現する。 しかしながら、パッチによるコントラスト学習は局所的なコンテンツの類似性のみに焦点を当てるが、生成された画像の品質に影響を与えるグローバル構造制約を無視する。 本稿では,2つのコントラスト正規化とスペクトル正規化に基づく新しい非ペアI2I翻訳フレームワーク,SN-DCRを提案する。 グローバルな構造とテクスチャの整合性を維持するため,異なる特徴空間を用いた二重コントラスト正規化を設計する。 生成した画像のグローバルな構造情報を改善するため,意味的特徴空間における対象領域の実際の画像と類似した生成画像のグローバルな意味構造を構築するために,意味的コントラスト的損失を定式化する。 画像からテクスチャのスタイルを抽出するためにGram Matricesを使用します。 同様に、生成画像のグローバルテクスチャ情報を改善するために、スタイルコントラストロスを設計する。 さらに,モデルの安定性を高めるため,スペクトル正規化畳み込みネットワークを発生器の設計に用いた。 SN-DCRの有効性を評価するための総合実験を行い,本手法が複数のタスクにおいてSOTAを実現することを示す。

関連論文リスト

• IPT-V2: Efficient Image Processing Transformer using Hierarchical Attentions [26.09373405194564]
  我々は,IPTV2と呼ばれる階層的な注意を払って,効率的な画像処理トランスフォーマアーキテクチャを提案する。 我々は、局所的およびグローバルな受容領域における適切なトークン相互作用を得るために、焦点コンテキスト自己注意(FCSA)とグローバルグリッド自己注意(GGSA)を採用する。 提案した IPT-V2 は,様々な画像処理タスクにおいて,デノナイズ,デブロアリング,デコライニングを網羅し,従来の手法よりも性能と計算の複雑さのトレードオフを得る。
  論文  参考訳（メタデータ） (2024-03-31T10:01:20Z)
• Does resistance to style-transfer equal Global Shape Bias? Measuring network sensitivity to global shape configuration [6.047146237332764]
  モデル全体の形状バイアスを評価するための最新のベンチマークは、スタイル変換された画像のセットである。 スタイル伝達画像で訓練されたネットワークは、実際にスタイルを無視することを学ぶが、その形状バイアスは、主に局所的な詳細から生じる。
  論文  参考訳（メタデータ） (2023-10-11T15:00:11Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• TcGAN: Semantic-Aware and Structure-Preserved GANs with Individual Vision Transformer for Fast Arbitrary One-Shot Image Generation [11.207512995742999]
  画像の内部パッチから学習する生成的敵ネットワークを持つワンショット画像生成(OSG)は、世界中で注目を集めている。 本稿では,既存のワンショット画像生成手法の欠点を克服するために,個々の視覚変換器を用いた構造保存方式TcGANを提案する。
  論文  参考訳（メタデータ） (2023-02-16T03:05:59Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Smoothing the Disentangled Latent Style Space for Unsupervised Image-to-Image Translation [56.55178339375146]
  イメージ・ツー・イメージ(I2I)マルチドメイン翻訳モデルは通常、セマンティックな結果の品質を用いて評価される。 本稿では,翻訳ネットワークがスムーズでゆがみのあるラテントスタイル空間を学習するのに役立つ,3つの特定の損失に基づく新たなトレーニングプロトコルを提案する。
  論文  参考訳（メタデータ） (2021-06-16T17:58:21Z)
• Towards Unsupervised Deep Image Enhancement with Generative Adversarial Network [92.01145655155374]
  監視されていない画像強調生成ネットワーク(UEGAN)を提案する。 教師なしの方法で所望の特性を持つ画像の集合から、対応する画像と画像のマッピングを学習する。 その結果,提案モデルは画像の美的品質を効果的に向上することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:22:46Z)
• Style Intervention: How to Achieve Spatial Disentanglement with Style-based Generators? [100.60938767993088]
  任意の入力画像に適応し、フレキシブルな目的の下で自然な翻訳効果をレンダリングできる軽量な最適化アルゴリズムを提案する。 フォトリアリズムと一貫性の両方を必要とする高解像度画像の顔属性編集において,提案するフレームワークの性能を検証する。
  論文  参考訳（メタデータ） (2020-11-19T07:37:31Z)
• A U-Net Based Discriminator for Generative Adversarial Networks [86.67102929147592]
  GAN(Generative Adversarial Network)のための代替U-Netベースの識別器アーキテクチャを提案する。 提案アーキテクチャにより,合成画像のグローバルコヒーレンスを維持しつつ,画素単位の詳細なフィードバックを生成元に提供することができる。 斬新な判別器は、標準分布と画像品質の指標の観点から、最先端の技術を向上する。
  論文  参考訳（メタデータ） (2020-02-28T11:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。