論文の概要: TransferI2I: Transfer Learning for Image-to-Image Translation from Small Datasets

• arxiv url: http://arxiv.org/abs/2105.06219v2
• Date: Fri, 14 May 2021 07:14:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-17 12:57:11.146419
• Title: TransferI2I: Transfer Learning for Image-to-Image Translation from Small Datasets
• Title（参考訳）: TransferI2I:小さなデータセットからの画像間変換のためのトランスファー学習
• Authors: Yaxing Wang, Hector Laria Mantecon, Joost van de Weijer, Laura Lopez-Fuentes, Bogdan Raducanu
• Abstract要約: 近年、画像と画像(I2I)の翻訳は成熟しており、高品質のリアル画像を生成することができます。 既存の方法はi2i翻訳に転送学習を使用するが、それでも数百万のパラメータをスクラッチから学習する必要がある。 I2I翻訳のための新しいトランスファー学習(TransferI2I)を提案します。
• 参考スコア（独自算出の注目度）: 35.84311497205075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image-to-image (I2I) translation has matured in recent years and is able to generate high-quality realistic images. However, despite current success, it still faces important challenges when applied to small domains. Existing methods use transfer learning for I2I translation, but they still require the learning of millions of parameters from scratch. This drawback severely limits its application on small domains. In this paper, we propose a new transfer learning for I2I translation (TransferI2I). We decouple our learning process into the image generation step and the I2I translation step. In the first step we propose two novel techniques: source-target initialization and self-initialization of the adaptor layer. The former finetunes the pretrained generative model (e.g., StyleGAN) on source and target data. The latter allows to initialize all non-pretrained network parameters without the need of any data. These techniques provide a better initialization for the I2I translation step. In addition, we introduce an auxiliary GAN that further facilitates the training of deep I2I systems even from small datasets. In extensive experiments on three datasets, (Animal faces, Birds, and Foods), we show that we outperform existing methods and that mFID improves on several datasets with over 25 points.
• Abstract（参考訳）: 画像から画像への変換(I2I)は近年成熟しており、高品質なリアルな画像を生成することができる。 しかし、現在の成功にもかかわらず、小さなドメインに適用する場合、依然として重要な課題に直面している。 既存の方法はi2i翻訳に転送学習を使用するが、それでも数百万のパラメータをスクラッチから学習する必要がある。 この欠点は、小さなドメインへの適用を厳しく制限する。 本稿では,I2I翻訳のための新しいトランスファー学習(TransferI2I)を提案する。 学習プロセスを画像生成ステップとI2I翻訳ステップに分離する。 最初のステップでは、ソースターゲットの初期化とアダプタ層の自己初期化という2つの新しい手法を提案する。 前者は、ソースおよびターゲットデータに対して事前訓練された生成モデル(例えばstylegan)を微調整する。 後者では、データを必要としないネットワークパラメータを初期化することができる。 これらの技術は、I2I翻訳ステップのより優れた初期化を提供する。 さらに,小データセットからでも深部I2Iシステムのトレーニングを容易にする補助的なGANを導入する。 3つのデータセット(Animal face, Birds, Foods)の広範な実験では、既存の手法よりも優れており、mFIDは25以上の点を持つ複数のデータセットで改善されている。

関連論文リスト

• Lost in Translation: Modern Neural Networks Still Struggle With Small Realistic Image Transformations [8.248839892711478]
  画像分類における顕著な性能を達成するディープニューラルネットワークは、小さな変換によって容易に騙される。 これらのアプローチは、カメラオリエンテーションの微妙な変化をシミュレートする「自然な」画像翻訳を頑健に扱う上で、依然として不十分であることを示す。 我々は、クロップ選択によるロバスト推論(Robust Inference)を、任意の所望の一貫性のレベルを達成することが証明できる単純な方法として提示する。
  論文  参考訳（メタデータ） (2024-04-10T16:39:50Z)
• CycleNet: Rethinking Cycle Consistency in Text-Guided Diffusion for Image Manipulation [57.836686457542385]
  拡散モデル(DM)は画像合成タスクのブレークスルーを実現するが、一貫したイメージ・ツー・イメージ(I2I)翻訳のための直感的なインタフェースは欠如している。 本稿では,画像操作を正規化するためのDMにサイクル一貫性を組み込んだ,新しくてシンプルな手法であるCyclenetを紹介する。
  論文  参考訳（メタデータ） (2023-10-19T21:32:21Z)
• Fine-Tuning StyleGAN2 For Cartoon Face Generation [0.0]
  本稿では,スタイルガン2事前学習モデルの微調整により,対象領域の画像を生成する新しい画像から画像への変換手法を提案する。 stylegan2モデルは、アンバランスデータセット上の教師なしI2I翻訳に適している。
  論文  参考訳（メタデータ） (2021-06-22T14:00:10Z)
• DeepI2I: Enabling Deep Hierarchical Image-to-Image Translation by Transferring from GANs [43.33066765114446]
  画像から画像への変換は、クラス間の変換が大きな形状変化を必要とする場合、性能が劣る。 本稿では,DeepI2Iと呼ばれる新しい階層型画像から画像への変換手法を提案する。 転送学習はI2Iシステム、特に小さなデータセットの性能を大幅に向上させることを示した。
  論文  参考訳（メタデータ） (2020-11-11T16:03:03Z)
• Unsupervised Image-to-Image Translation via Pre-trained StyleGAN2 Network [73.5062435623908]
  本稿では,一連のモデル変換によって対象領域に新たなモデルを生成する新しいI2I翻訳手法を提案する。 潜在ベクトルを生成されたモデルに入力することで、ソースドメインとターゲットドメインの間でI2I翻訳を行うことができる。
  論文  参考訳（メタデータ） (2020-10-12T13:51:40Z)
• TuiGAN: Learning Versatile Image-to-Image Translation with Two Unpaired Images [102.4003329297039]
  教師なし画像画像変換(UI2I)タスクは、ペア画像のない2つのドメイン間のマッピングを学習する。 本研究では,2つの未ペア画像のみをトレーニングし,ワンショットで教師なし学習を行う生成モデルTuiGANを提案する。
  論文  参考訳（メタデータ） (2020-04-09T16:23:59Z)
• Semi-supervised Learning for Few-shot Image-to-Image Translation [89.48165936436183]
  本稿では,SEMITと呼ばれる画像翻訳のための半教師付き手法を提案する。 提案手法は,ソースラベルの10%以下を用いて,4つの異なるデータセットに対して優れた結果を得る。
  論文  参考訳（メタデータ） (2020-03-30T22:46:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。