論文の概要: Self-Supervised Sketch-to-Image Synthesis
- arxiv url: http://arxiv.org/abs/2012.09290v2
- Date: Tue, 22 Dec 2020 20:40:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-03 02:44:44.721920
- Title: Self-Supervised Sketch-to-Image Synthesis
- Title（参考訳）: 自己監督型スケッチ・トゥ・イメージ合成
- Authors: Bingchen Liu, Yizhe Zhu, Kunpeng Song, Ahmed Elgammal
- Abstract要約: 本研究では,s2i合成タスクを自己教師あり学習方式で検討する。
まず,一般RGBのみのデータセットに対して,ラインスケッチを効率的に合成する非監視手法を提案する。
次に,自己教師付きオートエンコーダ(ae)を提示し,スケッチやrgb画像からコンテンツ/スタイルの特徴を分離し,スケッチやrgb画像と一致したスタイルを合成する。
- 参考スコア（独自算出の注目度）: 21.40315235087551
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Imagining a colored realistic image from an arbitrarily drawn sketch is one
of the human capabilities that we eager machines to mimic. Unlike previous
methods that either requires the sketch-image pairs or utilize low-quantity
detected edges as sketches, we study the exemplar-based sketch-to-image (s2i)
synthesis task in a self-supervised learning manner, eliminating the necessity
of the paired sketch data. To this end, we first propose an unsupervised method
to efficiently synthesize line-sketches for general RGB-only datasets. With the
synthetic paired-data, we then present a self-supervised Auto-Encoder (AE) to
decouple the content/style features from sketches and RGB-images, and
synthesize images that are both content-faithful to the sketches and
style-consistent to the RGB-images. While prior works employ either the
cycle-consistence loss or dedicated attentional modules to enforce the
content/style fidelity, we show AE's superior performance with pure
self-supervisions. To further improve the synthesis quality in high resolution,
we also leverage an adversarial network to refine the details of synthetic
images. Extensive experiments on 1024*1024 resolution demonstrate a new
state-of-art-art performance of the proposed model on CelebA-HQ and Wiki-Art
datasets. Moreover, with the proposed sketch generator, the model shows a
promising performance on style mixing and style transfer, which require
synthesized images to be both style-consistent and semantically meaningful. Our
code is available on
https://github.com/odegeasslbc/Self-Supervised-Sketch-to-Image-Synthesis-PyTorch,
and please visit https://create.playform.io/my-projects?mode=sketch for an
online demo of our model.
- Abstract（参考訳）: 色とりどりのリアルなイメージを任意に描いたスケッチから想像することは、我々が模倣したい人間の能力の1つだ。
スケッチと画像のペアを必要とするか、あるいは低量で検出されたエッジをスケッチとして利用する以前の方法とは異なり、exemplar-based sketch-to-image(s2i)合成タスクを自己教師あり学習方式で研究し、ペアのスケッチデータの必要性を排除した。
そこで本研究では,rgbのみの汎用データセットを効率的に合成するための教師なし手法を提案する。
合成ペアデータを用いて、スケッチやRGB画像からコンテンツやスタイルの特徴を分離する自己教師型オートエンコーダ(AE)を提示し、スケッチに忠実な画像とRGB画像に忠実な画像の両方を合成する。
先行研究では,コンテンツ・スタイルの忠実性を強制するために,サイクル・コンシスタンス損失か注意モジュールのどちらかを採用するが,aeの優れた性能を純粋に自己スーパービジョンで示している。
また,高分解能の合成品質をさらに向上させるため,逆ネットワークを利用して合成画像の詳細を洗練する。
1024*1024解像度に関する大規模な実験は、CelebA-HQおよびWiki-Artデータセット上で提案されたモデルの最先端性能を示す。
さらに,提案したスケッチジェネレータでは,合成画像のスタイル一貫性と意味論的意味の両方を必要とするスタイルミキシングとスタイル転送に有望な性能を示す。
私たちのコードはhttps://github.com/odegeasslbc/Self-Supervised-Sketch-to-Image-Synthesis-PyTorchで利用可能です。
関連論文リスト
- Learning Vision from Models Rivals Learning Vision from Data [54.43596959598465]
合成画像と合成キャプションのみから視覚表現を学習するための新しいアプローチであるSynCLRを紹介する。
LLMを用いて画像キャプションの大規模なデータセットを合成し,既製のテキスト・ツー・イメージモデルを用いて合成キャプションに対応する複数の画像を生成する。
比較学習によって合成画像の視覚的表現学習を行い、同じ字幕を共有するイメージを正のペアとして扱う。
論文 参考訳（メタデータ） (2023-12-28T18:59:55Z) - DiffSketching: Sketch Control Image Synthesis with Diffusion Models [10.172753521953386]
スケッチ・ツー・イメージ合成のためのディープラーニングモデルは、視覚的な詳細なしに歪んだ入力スケッチを克服する必要がある。
我々のモデルは、クロスドメイン制約を通じてスケッチにマッチし、画像合成をより正確に導くために分類器を使用する。
我々のモデルは、生成品質と人的評価の点でGANベースの手法に勝ることができ、大規模なスケッチ画像データセットに依存しない。
論文 参考訳（メタデータ） (2023-05-30T07:59:23Z) - Text-Guided Scene Sketch-to-Photo Synthesis [5.431298869139175]
テキストガイダンスを用いたシーンレベルのスケッチ・ツー・フォト合成手法を提案する。
モデルのトレーニングには,写真の集合から自己教師付き学習を用いる。
実験により,カラー画像から抽出されていないオリジナルスケッチ画像を視覚的品質の高い写真に変換することを確認した。
論文 参考訳（メタデータ） (2023-02-14T08:13:36Z) - A Shared Representation for Photorealistic Driving Simulators [83.5985178314263]
本稿では、識別器アーキテクチャを再考することにより、生成画像の品質を向上させることを提案する。
シーンセグメンテーションマップや人体ポーズといったセマンティックインプットによって画像が生成されるという問題に焦点が当てられている。
我々は,意味的セグメンテーション,コンテンツ再構成,および粗い粒度の逆解析を行うのに十分な情報をエンコードする,共有潜在表現を学習することを目指している。
論文 参考訳（メタデータ） (2021-12-09T18:59:21Z) - SSH: A Self-Supervised Framework for Image Harmonization [97.16345684998788]
我々は、編集せずに「自由」な自然画像だけで訓練できる新しい自己改善調和フレームワーク(SSH)を提案する。
提案したSSHは,基準指標,視覚的品質,主観的ユーザスタディにおいて,従来の最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2021-08-15T19:51:33Z) - Sketch-Guided Scenery Image Outpainting [83.6612152173028]
本稿では,スケッチ誘導露光を行うエンコーダデコーダに基づくネットワークを提案する。
全体的アライメントモジュールを適用して、合成された部分をグローバルビューの実際のものと類似させる。
第2に, 合成した部分からスケッチを逆向きに生成し, 接地した部分との整合性を奨励する。
論文 参考訳（メタデータ） (2020-06-17T11:34:36Z) - Quality Guided Sketch-to-Photo Image Synthesis [12.617078020344618]
ヘアカラーやセックスなどの特徴を持つ複数の合成画像に1つのスケッチを合成する生成逆ネットワークを提案する。
本手法は,合成画像の同一性を損なうことなく,複数の属性割り当てをジェネレータに組み込むことにより,合成画像の視覚的魅力を向上させることを目的としている。
論文 参考訳（メタデータ） (2020-04-20T16:00:01Z) - SketchyCOCO: Image Generation from Freehand Scene Sketches [71.85577739612579]
本稿では,シーンレベルのフリーハンドスケッチから画像の自動生成手法を提案する。
主要なコントリビューションは、EdgeGANと呼ばれる属性ベクトルをブリッジしたGeneversarative Adrial Networkである。
我々はSketchyCOCOと呼ばれる大規模複合データセットを構築し、ソリューションをサポートし評価した。
論文 参考訳（メタデータ） (2020-03-05T14:54:10Z) - Deep Plastic Surgery: Robust and Controllable Image Editing with
Human-Drawn Sketches [133.01690754567252]
スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。
Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
論文 参考訳（メタデータ） (2020-01-09T08:57:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。