論文の概要: MultiStyleGAN: Multiple One-shot Image Stylizations using a Single GAN

• arxiv url: http://arxiv.org/abs/2210.04120v2
• Date: Thu, 20 Apr 2023 23:48:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-24 18:10:03.604029
• Title: MultiStyleGAN: Multiple One-shot Image Stylizations using a Single GAN
• Title（参考訳）: MultiStyleGAN:シングルガンを用いた複数ワンショット画像スティライズ
• Authors: Viraj Shah, Ayush Sarkar, Sudharsan Krishnakumar Anitha, Svetlana Lazebnik
• Abstract要約: 一般的なシナリオはワンショットスタイリングであり、参照スタイルごとに1つの例しか使用できない。 JoJoGANファインチューンのようなワンショットスタイリングのための最近のアプローチは、単一のスタイル参照画像上に事前訓練されたStyleGAN2ジェネレータである。 単一発電機を微調整することで,複数のスタイルを同時に生成できるMultiStyleGAN法を提案する。
• 参考スコア（独自算出の注目度）: 14.373091259972666
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image stylization aims at applying a reference style to arbitrary input images. A common scenario is one-shot stylization, where only one example is available for each reference style. Recent approaches for one-shot stylization such as JoJoGAN fine-tune a pre-trained StyleGAN2 generator on a single style reference image. However, such methods cannot generate multiple stylizations without fine-tuning a new model for each style separately. In this work, we present a MultiStyleGAN method that is capable of producing multiple different stylizations at once by fine-tuning a single generator. The key component of our method is a learnable transformation module called Style Transformation Network. It takes latent codes as input, and learns linear mappings to different regions of the latent space to produce distinct codes for each style, resulting in a multistyle space. Our model inherently mitigates overfitting since it is trained on multiple styles, hence improving the quality of stylizations. Our method can learn upwards of $120$ image stylizations at once, bringing $8\times$ to $60\times$ improvement in training time over recent competing methods. We support our results through user studies and quantitative results that indicate meaningful improvements over existing methods.
• Abstract（参考訳）: 画像スタイリングは任意の入力画像に参照スタイルを適用することを目的としている。 一般的なシナリオはワンショットスタイリングであり、参照スタイルごとに1つの例しか使用できない。 jojogan fine-tune a pre-trained stylegan2 generator on a single style reference image のようなワンショットスタイライゼーションの最近のアプローチ しかし、これらの手法は、各スタイルの新しいモデルを個別に微調整することなく、複数のスタイルを生成できない。 本研究では,1つのジェネレータを微調整することで,複数のスタイルを同時に生成できるMultiStyleGAN法を提案する。 提案手法の主要なコンポーネントはStyle Transformation Networkと呼ばれる学習可能な変換モジュールである。 潜時符号を入力とし、潜時空間の異なる領域への線形写像を学習し、各スタイルの異なるコードを生成する。 我々のモデルは本質的に複数のスタイルで訓練されているため、オーバーフィッティングを軽減し、それによってスタイル化の品質が向上する。 我々の手法は一度に120ドル以上の画像スタイリングを学習でき、最近の競合する手法に比べて8ドルから60ドルまでのトレーニング時間を改善することができる。 我々は,既存手法に対する有意義な改善を示すユーザスタディと定量的な結果を通じて,その結果を支援する。

関連論文リスト

• StyleShot: A Snapshot on Any Style [20.41380860802149]
  テスト時間チューニングを伴わない汎用的なスタイル転送には,優れたスタイル表現が不可欠であることを示す。 スタイル認識型エンコーダと、StyleGalleryと呼ばれるよく編成されたスタイルデータセットを構築することで、これを実現する。 当社のアプローチであるStyleShotは,テストタイムチューニングを必要とせずに,さまざまなスタイルを模倣する上で,シンプルかつ効果的なものです。
  論文  参考訳（メタデータ） (2024-07-01T16:05:18Z)
• Customizing Text-to-Image Models with a Single Image Pair [47.49970731632113]
  芸術再解釈(Art repretation)は、参照された作品のバリエーションを作成し、異なる芸術様式を示すペアアートを作るプラクティスである。 Pair Customizationは1つの画像対からスタイリスティックな違いを学習し、取得したスタイルを生成プロセスに適用する新しいカスタマイズ手法である。
  論文  参考訳（メタデータ） (2024-05-02T17:59:52Z)
• Style Aligned Image Generation via Shared Attention [61.121465570763085]
  本稿では,一連の生成画像間のスタイルアライメントを確立する技術であるStyleAlignedを紹介する。 拡散過程において、最小限の注意共有を生かして、T2Iモデル内の画像間のスタイル整合性を維持する。 本手法は,多種多様なスタイルやテキストのプロンプトにまたがって評価を行い,高品質で忠実であることを示す。
  論文  参考訳（メタデータ） (2023-12-04T18:55:35Z)
• MOSAIC: Multi-Object Segmented Arbitrary Stylization Using CLIP [0.0]
  テキストによって駆動されるスタイル転送は、実際のスタイルイメージを収集することなく、創造的に画像をスタイリングするための新しいパスを舗装した。 入力プロンプトから抽出したコンテキストに基づいて、画像内の異なるオブジェクトにスタイルを適用することができるCLIP(MOSAIC)を用いたマルチオブジェクト分割任意スティル化手法を提案する。 本手法は任意のオブジェクトやスタイルに拡張可能であり,最先端の手法と比較して高品質な画像を生成することができる。
  論文  参考訳（メタデータ） (2023-09-24T18:24:55Z)
• StyleAdapter: A Unified Stylized Image Generation Model [97.24936247688824]
  StyleAdapterは、様々なスタイリング画像を生成することができる統一型スタイリング画像生成モデルである。 T2I-adapter や ControlNet のような既存の制御可能な合成手法と統合することができる。
  論文  参考訳（メタデータ） (2023-09-04T19:16:46Z)
• Any-to-Any Style Transfer: Making Picasso and Da Vinci Collaborate [58.83278629019384]
  スタイル転送は、コンテンツ参照のために、ある画像のスタイルを他の画像へのスタイル参照にレンダリングすることを目的としている。 既存のアプローチでは、スタイルイメージの全体的スタイルをグローバルな方法で適用するか、あるいは、スタイルイメージのローカル色とテクスチャを、事前に定義された方法でコンテンツに移行するかのいずれかである。 本稿では,Any-to-Any Style Transferを提案する。Any-to-Any Style Transferは,スタイル画像中の領域のスタイルを対話的に選択し,所定のコンテンツ領域に適用することができる。
  論文  参考訳（メタデータ） (2023-04-19T15:15:36Z)
• Few-shot Font Generation by Learning Style Difference and Similarity [84.76381937516356]
  異なるスタイルの違いと同一スタイルの類似性(DS-Font)を学習する新しいフォント生成手法を提案する。 具体的には,提案するクラスタレベルコントラシブ・スタイル(CCS)の損失により,スタイルエンコーディングを実現する多層型プロジェクタを提案する。
  論文  参考訳（メタデータ） (2023-01-24T13:57:25Z)
• Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning [84.8813842101747]
  Contrastive Arbitrary Style Transfer (CAST) は、新しいスタイル表現学習法である。 本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。
  論文  参考訳（メタデータ） (2022-05-19T13:11:24Z)
• P$^2$-GAN: Efficient Style Transfer Using Single Style Image [2.703193151632043]
  スタイル転送は、与えられた画像を別の芸術的なスタイルに再レンダリングできる便利な画像合成技術である。 Generative Adversarial Network(GAN)は、ローカルスタイルパターンの表現能力を向上するために、このタスクに対して広く採用されているフレームワークである。 本稿では,ワンスタイル画像からストロークスタイルを効率的に学習できる新しいPatch Permutation GAN(P$2$-GAN)ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-01-21T12:08:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。