論文の概要: Unsupervised Scene Sketch to Photo Synthesis

• arxiv url: http://arxiv.org/abs/2209.02834v1
• Date: Tue, 6 Sep 2022 22:25:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-08 12:31:14.703604
• Title: Unsupervised Scene Sketch to Photo Synthesis
• Title（参考訳）: 教師なしシーンスケッチと光合成
• Authors: Jiayun Wang, Sangryul Jeon, Stella X. Yu, Xi Zhang, Himanshu Arora, Yu Lou
• Abstract要約: シーンスケッチからリアルな写真を合成する手法を提案する。 我々のフレームワークは、教師なしの方法で手軽に利用できる大規模写真データセットから学習する。 また、本フレームワークは、対応するスケッチのストロークを編集することで、写真合成の制御可能な操作を容易にすることを実証する。
• 参考スコア（独自算出の注目度）: 40.044690369936184
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sketches make an intuitive and powerful visual expression as they are fast executed freehand drawings. We present a method for synthesizing realistic photos from scene sketches. Without the need for sketch and photo pairs, our framework directly learns from readily available large-scale photo datasets in an unsupervised manner. To this end, we introduce a standardization module that provides pseudo sketch-photo pairs during training by converting photos and sketches to a standardized domain, i.e. the edge map. The reduced domain gap between sketch and photo also allows us to disentangle them into two components: holistic scene structures and low-level visual styles such as color and texture. Taking this advantage, we synthesize a photo-realistic image by combining the structure of a sketch and the visual style of a reference photo. Extensive experimental results on perceptual similarity metrics and human perceptual studies show the proposed method could generate realistic photos with high fidelity from scene sketches and outperform state-of-the-art photo synthesis baselines. We also demonstrate that our framework facilitates a controllable manipulation of photo synthesis by editing strokes of corresponding sketches, delivering more fine-grained details than previous approaches that rely on region-level editing.
• Abstract（参考訳）: スケッチは、フリーハンドで高速に実行されるため、直感的で強力な視覚的表現となる。 シーンスケッチからリアルな写真を合成する手法を提案する。 スケッチや写真ペアの不要なフレームワークでは,手軽に利用可能な大規模写真データセットから,教師なしの方法で直接学習する。 この目的のために,写真やスケッチを標準化された領域,すなわちエッジマップに変換することによって,トレーニング中に擬似スケッチフォトペアを提供する標準化モジュールを導入する。 また、スケッチと写真の間の領域ギャップを小さくすることで、全体像構造と、色やテクスチャといった低レベルの視覚スタイルの2つのコンポーネントに分割することができます。 この利点を活かし、スケッチの構造と参照写真の視覚的スタイルを組み合わせることで、写実的イメージを合成する。 知覚類似度指標と人間の知覚研究に関する広範囲な実験結果から,提案手法はシーンスケッチや最先端写真合成ベースラインよりも高い忠実度を持つ写実的写真を生成することができることがわかった。 また,我々のフレームワークは,対応するスケッチのストロークを編集することで,画像合成の制御可能な操作を容易にし,領域レベルの編集に依存する従来のアプローチよりも細部の詳細を提供する。

関連論文リスト

• CustomSketching: Sketch Concept Extraction for Sketch-based Image Synthesis and Editing [21.12815542848095]
  大規模なテキスト・ツー・イメージ(T2I)モデルのパーソナライズ技術により、ユーザーは参照画像から新しい概念を組み込むことができる。 既存の手法は主にテキスト記述に依存しており、カスタマイズされた画像の制御が制限されている。 スケッチを直感的で汎用的な表現として識別し,このような制御を容易にする。
  論文  参考訳（メタデータ） (2024-02-27T15:52:59Z)
• Picture that Sketch: Photorealistic Image Generation from Abstract Sketches [109.69076457732632]
  この論文は、あなたや私のような訓練を受けていないアマチュアの抽象的で変形した普通のスケッチから、それをフォトリアリスティックなイメージに変えます。 まず、エッジマップのようなスケッチを指示するのではなく、抽象的なフリーハンドな人間のスケッチで作業することを目指しています。 そうすることで、スケッチから写真までのパイプラインを民主化し、スケッチがどれだけよいかに関わらず、スケッチを"写真化"します。
  論文  参考訳（メタデータ） (2023-03-20T14:49:03Z)
• Text-Guided Scene Sketch-to-Photo Synthesis [5.431298869139175]
  テキストガイダンスを用いたシーンレベルのスケッチ・ツー・フォト合成手法を提案する。 モデルのトレーニングには,写真の集合から自己教師付き学習を用いる。 実験により,カラー画像から抽出されていないオリジナルスケッチ画像を視覚的品質の高い写真に変換することを確認した。
  論文  参考訳（メタデータ） (2023-02-14T08:13:36Z)
• Scene Designer: a Unified Model for Scene Search and Synthesis from Sketch [7.719705312172286]
  シーンデザイナ(Scene Designer)は、シーン構成の自由なスケッチを用いて画像の検索と生成を行う新しい方法である。 我々のコアコントリビューションは、画像に一致するスケッチされた合成のためのクロスモーダル検索埋め込みと、レイアウト合成のためのオブジェクト埋め込みの両方を学ぶための単一の統一モデルである。
  論文  参考訳（メタデータ） (2021-08-16T21:40:16Z)
• Adversarial Open Domain Adaption for Sketch-to-Photo Synthesis [42.83974176146334]
  自由自在なスケッチから写実的な写真をクラスラベルで合成することを目的とした,オープンドメインのスケッチから写真への翻訳について検討する。 トレーニング監督の欠如とフリーハンドスケッチとフォトドメイン間の大きな幾何学的歪みのため、これは困難である。 スケッチ・ツー・フォト・ツー・スケッチ生成を共同学習するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-12T17:58:46Z)
• DeepFacePencil: Creating Face Images from Freehand Sketches [77.00929179469559]
  既存の画像から画像への変換には、大規模なスケッチと画像のデータセットが必要である。 本稿では,手描きスケッチから写真リアルな顔画像を生成するための効果的なツールであるDeepFacePencilを提案する。
  論文  参考訳（メタデータ） (2020-08-31T03:35:21Z)
• Cross-Modal Hierarchical Modelling for Fine-Grained Sketch Based Image Retrieval [147.24102408745247]
  我々は、これまで見過ごされてきたスケッチのさらなる特性、すなわち、詳細レベルの階層性について研究する。 本稿では,スケッチ固有の階層を育成し,それを利用して,対応する階層レベルでのスケッチと写真とのマッチングを行う新しいネットワークを設計する。
  論文  参考訳（メタデータ） (2020-07-29T20:50:25Z)
• Sketch-Guided Scenery Image Outpainting [83.6612152173028]
  本稿では,スケッチ誘導露光を行うエンコーダデコーダに基づくネットワークを提案する。 全体的アライメントモジュールを適用して、合成された部分をグローバルビューの実際のものと類似させる。 第2に, 合成した部分からスケッチを逆向きに生成し, 接地した部分との整合性を奨励する。
  論文  参考訳（メタデータ） (2020-06-17T11:34:36Z)
• Deep Plastic Surgery: Robust and Controllable Image Editing with Human-Drawn Sketches [133.01690754567252]
  スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。 Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
  論文  参考訳（メタデータ） (2020-01-09T08:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。