論文の概要: Sketch Your Own GAN

• arxiv url: http://arxiv.org/abs/2108.02774v1
• Date: Thu, 5 Aug 2021 17:59:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-06 15:31:21.459450
• Title: Sketch Your Own GAN
• Title（参考訳）: 自分のGANをスケッチする
• Authors: Sheng-Yu Wang, David Bau, Jun-Yan Zhu
• Abstract要約: 本稿では1つ以上のスケッチでGANを書き換える手法であるGAN Sketchingを提案する。 我々は、ドメイン間の敵対的損失を通じて、ユーザスケッチにマッチするようにモデルの出力を奨励する。 提案手法は,写実性や多様性を保ちながら,スケッチで指定した形状やポーズに適合するGANを成形できることを示した。
• 参考スコア（独自算出の注目度）: 36.77647431087615
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can a user create a deep generative model by sketching a single example? Traditionally, creating a GAN model has required the collection of a large-scale dataset of exemplars and specialized knowledge in deep learning. In contrast, sketching is possibly the most universally accessible way to convey a visual concept. In this work, we present a method, GAN Sketching, for rewriting GANs with one or more sketches, to make GANs training easier for novice users. In particular, we change the weights of an original GAN model according to user sketches. We encourage the model's output to match the user sketches through a cross-domain adversarial loss. Furthermore, we explore different regularization methods to preserve the original model's diversity and image quality. Experiments have shown that our method can mold GANs to match shapes and poses specified by sketches while maintaining realism and diversity. Finally, we demonstrate a few applications of the resulting GAN, including latent space interpolation and image editing.
• Abstract（参考訳）: ユーザは1つの例をスケッチすることで、深い生成モデルを作ることができるだろうか? 伝統的に、GANモデルを作成するには、ディープラーニングにおける経験と専門知識の大規模なデータセットの収集が必要である。 対照的に、スケッチはおそらく視覚概念を伝える最も普遍的な方法である。 本研究では,1つ以上のスケッチでGANを書き換える手法であるGAN Sketchingを提案する。 特に、ユーザスケッチに従って、元のGANモデルの重みを変更する。 我々は、ドメイン間の敵対的損失を通じて、ユーザスケッチにマッチするようにモデルの出力を奨励する。 さらに、原モデルの多様性と画質を維持するために、異なる正規化手法を検討する。 提案手法は,写実性や多様性を保ちながら,スケッチで指定した形状やポーズを一致させることができる。 最後に、遅延空間補間や画像編集など、得られたGANのいくつかの応用例を示す。

関連論文リスト

• It's All About Your Sketch: Democratising Sketch Control in Diffusion Models [114.73766136068357]
  本稿では,拡散モデルにおけるスケッチの可能性を明らかにするとともに,生成型AIにおける直接スケッチ制御の詐欺的可能性に対処する。 私たちはこのプロセスを民主化し、アマチュアのスケッチが正確なイメージを生成できるようにします。
  論文  参考訳（メタデータ） (2024-03-12T01:05:25Z)
• CustomSketching: Sketch Concept Extraction for Sketch-based Image Synthesis and Editing [21.12815542848095]
  大規模なテキスト・ツー・イメージ(T2I)モデルのパーソナライズ技術により、ユーザーは参照画像から新しい概念を組み込むことができる。 既存の手法は主にテキスト記述に依存しており、カスタマイズされた画像の制御が制限されている。 スケッチを直感的で汎用的な表現として識別し,このような制御を容易にする。
  論文  参考訳（メタデータ） (2024-02-27T15:52:59Z)
• Customize StyleGAN with One Hand Sketch [0.0]
  本稿では,単一のユーザスケッチでスタイルGAN画像を制御するフレームワークを提案する。 我々は、エネルギーベース学習により、事前学習したStyleGANモデルの潜在空間における条件分布を学習する。 我々のモデルは、入力スケッチにセマンティックに整合したマルチモーダル画像を生成することができる。
  論文  参考訳（メタデータ） (2023-10-29T09:32:33Z)
• SketchDreamer: Interactive Text-Augmented Creative Sketch Ideation [111.2195741547517]
  画像の画素表現に基づいて訓練されたテキスト条件付き拡散モデルを用いて,制御されたスケッチを生成する手法を提案する。 我々の目標は、プロでないユーザにスケッチを作成させ、一連の最適化プロセスを通じて物語をストーリーボードに変換することです。
  論文  参考訳（メタデータ） (2023-08-27T19:44:44Z)
• SENS: Part-Aware Sketch-based Implicit Neural Shape Modeling [124.3266213819203]
  SENSは手描きスケッチから3Dモデルを生成し編集するための新しい手法である。 SENSはスケッチを分析し、部品をViTパッチエンコーディングにエンコードする。 SENSは部分再構成による精細化をサポートし、微調整とアーティファクトの除去を可能にする。
  論文  参考訳（メタデータ） (2023-06-09T17:50:53Z)
• DiffSketching: Sketch Control Image Synthesis with Diffusion Models [10.172753521953386]
  スケッチ・ツー・イメージ合成のためのディープラーニングモデルは、視覚的な詳細なしに歪んだ入力スケッチを克服する必要がある。 我々のモデルは、クロスドメイン制約を通じてスケッチにマッチし、画像合成をより正確に導くために分類器を使用する。 我々のモデルは、生成品質と人的評価の点でGANベースの手法に勝ることができ、大規模なスケッチ画像データセットに依存しない。
  論文  参考訳（メタデータ） (2023-05-30T07:59:23Z)
• Reference-based Image Composition with Sketch via Structure-aware Diffusion Model [38.1193912666578]
  本稿では,参照画像とともに,スケッチを新しいモーダルとして組み込んだマルチインプット条件画像合成モデルを提案する。 スケッチを用いたエッジレベル制御により,画像サブパートの編集や編集が可能である。 筆者らのフレームワークは,スケッチ指導を維持しつつ,参照画像を用いて学習済み拡散モデルを微調整し,欠落した領域を完了させる。
  論文  参考訳（メタデータ） (2023-03-31T06:12:58Z)
• StyleMeUp: Towards Style-Agnostic Sketch-Based Image Retrieval [119.03470556503942]
  クロスモーダルマッチング問題は通常、写真とスケッチのモダリティ間で共有されるセマンティックコンテンツを保存する共同埋め込み空間を学習することによって解決される。 効果的なモデルには、このスタイルの多様性を明確に説明する必要がある。 我々のモデルは、モデム間で共有されるセマンティックコンテンツだけでなく、目に見えないユーザースタイルにも適応できるので、モデルは真に不可知的です。
  論文  参考訳（メタデータ） (2021-03-29T15:44:19Z)
• Deep Plastic Surgery: Robust and Controllable Image Editing with Human-Drawn Sketches [133.01690754567252]
  スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。 Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
  論文  参考訳（メタデータ） (2020-01-09T08:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。