論文の概要: Looks Like Magic: Transfer Learning in GANs to Generate New Card Illustrations

• arxiv url: http://arxiv.org/abs/2205.14442v1
• Date: Sat, 28 May 2022 14:02:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 14:46:42.909793
• Title: Looks Like Magic: Transfer Learning in GANs to Generate New Card Illustrations
• Title（参考訳）: マジックのように見える: GANで新しいカードのイラストを作るためのトランスファー学習
• Authors: Matheus K. Venturelli, Pedro H. Gomes, J\^onatas Wehrmann
• Abstract要約: MTGという名の新しいデータセットを導入し、多様なカードタイプから数千のイラストを出し、メタデータが豊富です。 我々は、DCGANのような単純なモデルでは、任意の設定で適切な図形を生成することを学べないことを示す。 StyleGan2の事前訓練済みの機能がターゲットドメインにどの程度転送できるかを理解するために実験を行う。
• 参考スコア（独自算出の注目度）: 5.006086647446482
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we propose MAGICSTYLEGAN and MAGICSTYLEGAN-ADA - both incarnations of the state-of-the-art models StyleGan2 and StyleGan2 ADA - to experiment with their capacity of transfer learning into a rather different domain: creating new illustrations for the vast universe of the game "Magic: The Gathering" cards. This is a challenging task especially due to the variety of elements present in these illustrations, such as humans, creatures, artifacts, and landscapes - not to mention the plethora of art styles of the images made by various artists throughout the years. To solve the task at hand, we introduced a novel dataset, named MTG, with thousands of illustration from diverse card types and rich in metadata. The resulting set is a dataset composed by a myriad of both realistic and fantasy-like illustrations. Although, to investigate effects of diversity we also introduced subsets that contain specific types of concepts, such as forests, islands, faces, and humans. We show that simpler models, such as DCGANs, are not able to learn to generate proper illustrations in any setting. On the other side, we train instances of MAGICSTYLEGAN using all proposed subsets, being able to generate high quality illustrations. We perform experiments to understand how well pre-trained features from StyleGan2 can be transferred towards the target domain. We show that in well trained models we can find particular instances of noise vector that realistically represent real images from the dataset. Moreover, we provide both quantitative and qualitative studies to support our claims, and that demonstrate that MAGICSTYLEGAN is the state-of-the-art approach for generating Magic illustrations. Finally, this paper highlights some emerging properties regarding transfer learning in GANs, which is still a somehow under-explored field in generative learning research.
• Abstract（参考訳）: 本稿では,magicstylegan と magicstylegan-ada という,最先端のstylegan2 と stylegan2 ada の2つのモデルを用いて,ゲーム "magic: the gathering" カードの広大な宇宙に対する新たなイラストを作成することを提案する。 これは特に、人間、生物、アーティファクト、風景といったこれらのイラストにみられる様々な要素のために、長年にわたって様々なアーティストによって作られたイメージの芸術スタイルが多様であることは言うまでもなく、困難な課題である。 その課題を解決するため,我々はmtgという新しいデータセットを導入し,多様なカードタイプから数千のイラストを抽出し,メタデータを豊富に活用した。 得られた集合は、現実的かつ幻想的なイラストの両方で作られた無数のデータセットである。 しかし、多様性の影響を調べるために、森林、島、顔、人間といった特定の種類の概念を含むサブセットも導入しました。 我々は、DCGANのような単純なモデルでは、任意の設定で適切なイラストを生成することを学べないことを示す。 一方、提案した全てのサブセットを使ってMAGICSTYLEGANのインスタンスをトレーニングし、高品質なイラストを作成できる。 StyleGan2の事前訓練済みの機能がターゲットドメインにどの程度転送できるかを理解するために実験を行う。 訓練されたモデルでは、データセットから実際の画像を現実的に表現するノイズベクトルの特定のインスタンスを見つけることができる。 さらに,我々の主張を裏付ける定量的および定性的な研究を行い,MAGICSTYLEGANがマジックイラストを生成する最先端のアプローチであることを実証した。 最後に, 生成学習研究の分野ではまだ未研究の分野である GAN における転帰学習に関する諸特性について述べる。

関連論文リスト

• HaSPeR: An Image Repository for Hand Shadow Puppet Recognition [2.048226951354646]
  シャドウグラフィー(Shadowgraphy)またはボンボマニー(ombromanie)は、演劇芸術とストーリーテリングの一形態である。 プロとアマチュアの両方の手影人形クリップから抽出した11種類の手影人形の8,340枚の画像からなる新しいデータセットを提案する。 本研究の結果は,従来のコンボリューションモデルよりも,注目に基づくトランスフォーマーアーキテクチャよりもかなり優れた性能を示した。
  論文  参考訳（メタデータ） (2024-08-19T18:56:24Z)
• DreamCreature: Crafting Photorealistic Virtual Creatures from Imagination [140.1641573781066]
  ターゲット概念のラベルなしイメージのセットを前提として、我々は、新しいハイブリッド概念を創出できるT2Iモデルをトレーニングすることを目指している。 そこで我々はDreamCreatureと呼ばれる新しい手法を提案し,その基盤となるサブ概念を同定し抽出する。 したがって、T2Iは忠実な構造とフォトリアリスティックな外観を持つ新しい概念を生成するのに適応する。
  論文  参考訳（メタデータ） (2023-11-27T01:24:31Z)
• Diffusion Based Augmentation for Captioning and Retrieval in Cultural Heritage [28.301944852273746]
  本稿では,文化遺産領域における限られた注釈付きデータとドメインシフトの課題に対処する新しいアプローチを提案する。 生成的視覚言語モデルを活用することで、キャプションに条件付けされた多種多様なアート作品を生成することにより、アートデータセットを増強する。
  論文  参考訳（メタデータ） (2023-08-14T13:59:04Z)
• Semantically-aware Mask CycleGAN for Translating Artistic Portraits to Photo-realistic Visualizations [0.0]
  芸術的な肖像画を視覚化に変換できるセマンティック・アウェアのマスクサイクルGANアーキテクチャを提案する。 このモデルは、識別者が意味的に偽のサンプルを隠蔽することで、現実的な人間の肖像画を生成することができる。 実験により、SMCycleGANはリアリズムを著しく増加させ、コンテンツ表現の損失を最小限に抑える画像を生成することが示された。
  論文  参考訳（メタデータ） (2023-06-11T03:58:09Z)
• A domain adaptive deep learning solution for scanpath prediction of paintings [66.46953851227454]
  本稿では,ある絵画の視覚的体験における視聴者の眼球運動分析に焦点を当てた。 我々は、人間の視覚的注意を予測するための新しいアプローチを導入し、人間の認知機能に影響を及ぼす。 提案した新しいアーキテクチャは、画像を取り込んでスキャンパスを返す。
  論文  参考訳（メタデータ） (2022-09-22T22:27:08Z)
• InvGAN: Invertible GANs [88.58338626299837]
  InvGANはInvertible GANの略で、高品質な生成モデルの潜在空間に実際の画像を埋め込むことに成功した。 これにより、画像のインペイント、マージ、オンラインデータ拡張を実行できます。
  論文  参考訳（メタデータ） (2021-12-08T21:39:00Z)
• MISS GAN: A Multi-IlluStrator Style Generative Adversarial Network for image to illustration translation [39.57350884615545]
  MISS GAN(Multi-IlluStrator Style Generative Adversarial Network)は、教師なし画像から画像への変換のためのフレームワークである。 MISS GANは入力画像固有であり、訓練された1つのモデルのみを使用して他の画像の情報を使用する。
  論文  参考訳（メタデータ） (2021-08-12T12:23:28Z)
• Level generation and style enhancement -- deep learning for game development overview [0.0]
  統計的手法,機械学習,あるいはディープラーニングを用いて,レベルマップを作成するための7つのアプローチを提案する。 我々はゲーム開発者とレベルアーティストに新たな可能性を示すことを目指している。
  論文  参考訳（メタデータ） (2021-07-15T15:24:43Z)
• Factors of Influence for Transfer Learning across Diverse Appearance Domains and Task Types [50.1843146606122]
  現在の最新のコンピュータビジョンモデルでは、簡単な転送学習が一般的です。 転校学習に関するこれまでの体系的な研究は限られており、作業が期待される状況は十分に理解されていない。 本論文では,非常に異なる画像領域にまたがる転送学習の広範な実験的研究を行う。
  論文  参考訳（メタデータ） (2021-03-24T16:24:20Z)
• Unsupervised Discovery of Disentangled Manifolds in GANs [74.24771216154105]
  解釈可能な生成プロセスは、様々な画像編集アプリケーションに有用である。 本稿では,任意の学習された生成逆数ネットワークが与えられた潜在空間における解釈可能な方向を検出する枠組みを提案する。
  論文  参考訳（メタデータ） (2020-11-24T02:18:08Z)
• SketchEmbedNet: Learning Novel Concepts by Imitating Drawings [125.45799722437478]
  モデルを用いて画像のスケッチを作成することによって学習した画像表現の特性について検討する。 この生成型クラスに依存しないモデルでは,新規な例,クラス,さらには新規なデータセットからの画像の情報埋め込みが,数ショットで生成されることが示されている。
  論文  参考訳（メタデータ） (2020-08-27T16:43:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。