論文の概要: DeepI2I: Enabling Deep Hierarchical Image-to-Image Translation by Transferring from GANs

• arxiv url: http://arxiv.org/abs/2011.05867v1
• Date: Wed, 11 Nov 2020 16:03:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 00:25:57.133725
• Title: DeepI2I: Enabling Deep Hierarchical Image-to-Image Translation by Transferring from GANs
• Title（参考訳）: DeepI2I:GANからの転送による深層階層画像から画像への変換の実現
• Authors: Yaxing Wang, Lu Yu, Joost van de Weijer
• Abstract要約: 画像から画像への変換は、クラス間の変換が大きな形状変化を必要とする場合、性能が劣る。 本稿では,DeepI2Iと呼ばれる新しい階層型画像から画像への変換手法を提案する。 転送学習はI2Iシステム、特に小さなデータセットの性能を大幅に向上させることを示した。
• 参考スコア（独自算出の注目度）: 43.33066765114446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image-to-image translation has recently achieved remarkable results. But despite current success, it suffers from inferior performance when translations between classes require large shape changes. We attribute this to the high-resolution bottlenecks which are used by current state-of-the-art image-to-image methods. Therefore, in this work, we propose a novel deep hierarchical Image-to-Image Translation method, called DeepI2I. We learn a model by leveraging hierarchical features: (a) structural information contained in the shallow layers and (b) semantic information extracted from the deep layers. To enable the training of deep I2I models on small datasets, we propose a novel transfer learning method, that transfers knowledge from pre-trained GANs. Specifically, we leverage the discriminator of a pre-trained GANs (i.e. BigGAN or StyleGAN) to initialize both the encoder and the discriminator and the pre-trained generator to initialize the generator of our model. Applying knowledge transfer leads to an alignment problem between the encoder and generator. We introduce an adaptor network to address this. On many-class image-to-image translation on three datasets (Animal faces, Birds, and Foods) we decrease mFID by at least 35% when compared to the state-of-the-art. Furthermore, we qualitatively and quantitatively demonstrate that transfer learning significantly improves the performance of I2I systems, especially for small datasets. Finally, we are the first to perform I2I translations for domains with over 100 classes.
• Abstract（参考訳）: 画像から画像への翻訳は、最近目覚ましい成果を上げている。 しかし、現在の成功にもかかわらず、クラス間の翻訳が大きな形状変更を必要とする場合、パフォーマンスが低下する。 これは現在最先端の画像画像化手法で使われている高分解能ボトルネックに起因している。 そこで本研究では,deepi2iと呼ばれる新しい階層型画像変換手法を提案する。 階層的な特徴を利用してモデルを学びます (a)浅い層に含まれる構造情報及び (b)深層から抽出した意味情報。 小データセット上での深部I2Iモデルのトレーニングを可能にするために,事前学習されたGANから知識を伝達する新しい移動学習手法を提案する。 具体的には、プリトレーニングgans(bigganまたはstylegan)の判別器を利用して、エンコーダと判別器とプリトレーニングジェネレータの両方を初期化し、モデルのジェネレータを初期化する。 知識転送を適用すると、エンコーダとジェネレータのアライメント問題が発生する。 これに対応するアダプタネットワークを導入します。 3つのデータセット(アニマルフェース、バード、フーズ)上の多種多様な画像間翻訳では、最先端と比較してmFIDを少なくとも35%削減する。 さらに,移動学習がI2Iシステム,特に小データセットの性能を大幅に向上させることを示す。 最後に、100以上のクラスを持つドメインに対して初めてI2I翻訳を行います。

関連論文リスト

• I2I-Galip: Unsupervised Medical Image Translation Using Generative Adversarial CLIP [30.506544165999564]
  ペアの例が存在しないため、画像から画像への翻訳は難しい作業である。 我々はイメージ・ツー・イメージ・ジェネレーティブ・アドバイザリアル・CLIP (I2I-Galip) という新しい画像・画像変換フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-19T01:44:50Z)
• Additional Look into GAN-based Augmentation for Deep Learning COVID-19 Image Classification [57.1795052451257]
  我々は,GANに基づく拡張性能のデータセットサイズ依存性について,小サンプルに着目して検討した。 両方のセットでStyleGAN2-ADAをトレーニングし、生成した画像の品質を検証した後、マルチクラス分類問題における拡張アプローチの1つとしてトレーニングされたGANを使用する。 GANベースの拡張アプローチは、中規模および大規模データセットでは古典的な拡張に匹敵するが、より小さなデータセットでは不十分である。
  論文  参考訳（メタデータ） (2024-01-26T08:28:13Z)
• Guided Image-to-Image Translation by Discriminator-Generator Communication [71.86347329356244]
  Image-to-image (I2I) 翻訳の目標は、ソースドメインからターゲットドメインに画像を転送することである。 本研究の主な分野は,GAN(Generative Adversarial Network)に基づくI2I翻訳の定式化である。
  論文  参考訳（メタデータ） (2023-03-07T02:29:36Z)
• Unsupervised Image-to-Image Translation with Generative Prior [103.54337984566877]
  教師なし画像画像変換は、ペアデータなしで2つの視覚領域間の翻訳を学習することを目的としている。 本稿では,GP-UNIT(Generative Prior-guided UN Image-to-image Translation)という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:23Z)
• Leveraging in-domain supervision for unsupervised image-to-image translation tasks via multi-stream generators [4.726777092009554]
  本稿では、翻訳品質の利点を活かすために、このドメイン内の貴重な事前知識を組み込むための2つの手法を紹介する。 本稿では,入力データをセマンティックマスクに従って分割し,画像の異なる領域の異なる動作にネットワークを明示的に導くことを提案する。 さらに,翻訳作業とともにセマンティックセグメンテーションネットワークを訓練し,この出力をロバスト性を向上させる損失項として活用することを提案する。
  論文  参考訳（メタデータ） (2021-12-30T15:29:36Z)
• Independent Encoder for Deep Hierarchical Unsupervised Image-to-Image Translation [2.4826445086983475]
  画像から画像への変換(I2I)の主な課題は、翻訳された画像をリアルにし、可能な限りソースドメインからの情報を保持することである。 IEGANと呼ばれる新しいアーキテクチャを提案し、各ネットワークのエンコーダを取り除き、他のネットワークに依存しないエンコーダを導入する。
  論文  参考訳（メタデータ） (2021-07-06T09:18:59Z)
• TransferI2I: Transfer Learning for Image-to-Image Translation from Small Datasets [35.84311497205075]
  近年、画像と画像(I2I)の翻訳は成熟しており、高品質のリアル画像を生成することができます。 既存の方法はi2i翻訳に転送学習を使用するが、それでも数百万のパラメータをスクラッチから学習する必要がある。 I2I翻訳のための新しいトランスファー学習(TransferI2I)を提案します。
  論文  参考訳（メタデータ） (2021-05-13T12:19:36Z)
• Unpaired Image-to-Image Translation via Latent Energy Transport [61.62293304236371]
  画像から画像への変換は、2つの視覚領域間の識別的ターゲットスタイルに変換しながら、ソースの内容を保存することを目的としている。 本稿では,この課題に対して,事前訓練されたオートエンコーダの潜在空間にエネルギーベースモデル(EBM)を配置することを提案する。 我々のモデルは1024$times$1024- resolution unpaired image translationに適用できる最初のモデルである。
  論文  参考訳（メタデータ） (2020-12-01T17:18:58Z)
• Unsupervised Image-to-Image Translation via Pre-trained StyleGAN2 Network [73.5062435623908]
  本稿では,一連のモデル変換によって対象領域に新たなモデルを生成する新しいI2I翻訳手法を提案する。 潜在ベクトルを生成されたモデルに入力することで、ソースドメインとターゲットドメインの間でI2I翻訳を行うことができる。
  論文  参考訳（メタデータ） (2020-10-12T13:51:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。