論文の概要: Adversarial Open Domain Adaption for Sketch-to-Photo Synthesis

• arxiv url: http://arxiv.org/abs/2104.05703v1
• Date: Mon, 12 Apr 2021 17:58:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 17:05:21.644754
• Title: Adversarial Open Domain Adaption for Sketch-to-Photo Synthesis
• Title（参考訳）: スケッチから写真への合成における逆開領域適応
• Authors: Xiaoyu Xiang, Ding Liu, Xiao Yang, Yiheng Zhu, Xiaohui Shen, Jan P. Allebach
• Abstract要約: 自由自在なスケッチから写実的な写真をクラスラベルで合成することを目的とした,オープンドメインのスケッチから写真への翻訳について検討する。 トレーニング監督の欠如とフリーハンドスケッチとフォトドメイン間の大きな幾何学的歪みのため、これは困難である。 スケッチ・ツー・フォト・ツー・スケッチ生成を共同学習するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 42.83974176146334
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we explore the open-domain sketch-to-photo translation, which aims to synthesize a realistic photo from a freehand sketch with its class label, even if the sketches of that class are missing in the training data. It is challenging due to the lack of training supervision and the large geometry distortion between the freehand sketch and photo domains. To synthesize the absent freehand sketches from photos, we propose a framework that jointly learns sketch-to-photo and photo-to-sketch generation. However, the generator trained from fake sketches might lead to unsatisfying results when dealing with sketches of missing classes, due to the domain gap between synthesized sketches and real ones. To alleviate this issue, we further propose a simple yet effective open-domain sampling and optimization strategy to "fool" the generator into treating fake sketches as real ones. Our method takes advantage of the learned sketch-to-photo and photo-to-sketch mapping of in-domain data and generalizes them to the open-domain classes. We validate our method on the Scribble and SketchyCOCO datasets. Compared with the recent competing methods, our approach shows impressive results in synthesizing realistic color, texture, and maintaining the geometric composition for various categories of open-domain sketches.
• Abstract（参考訳）: 本稿では,学習データにそのクラスのスケッチが欠落している場合でも,フリーハンドスケッチからリアルな写真をクラスラベルで合成することを目的とした,オープンドメインのスケッチ・ツー・フォト翻訳について検討する。 トレーニング監督の欠如とフリーハンドスケッチとフォトドメイン間の大きな幾何学的歪みのため、これは困難である。 写真から欠落したフリーハンドスケッチを合成するために,スケッチ・ツー・フォトと写真・スケッチ生成を共同で学習するフレームワークを提案する。 しかし、偽のスケッチから訓練されたジェネレータは、合成されたスケッチと実際のスケッチのドメインギャップのため、欠落したクラスのスケッチを扱う際に不満足な結果をもたらす可能性がある。 この問題を軽減するために,我々は,ジェネレータを偽スケッチを現実のスケッチとして扱えるようにするための,シンプルで効果的なオープンドメインサンプリングと最適化戦略を提案する。 本手法は,インドメインデータのスケッチ・ツー・フォトおよびフォト・ツー・スケッチマッピングを活用し,それらをオープンドメインクラスに一般化する。 ScribbleとSketchyCOCOのデータセット上で本手法を検証する。 近年の競合手法と比較して,本手法はリアルな色やテクスチャを合成し,様々なカテゴリのオープンドメインスケッチの幾何学的構成を維持できることを示す。

関連論文リスト

• Adapt and Align to Improve Zero-Shot Sketch-Based Image Retrieval [85.39613457282107]
  スケッチに基づく画像検索のクロスドメイン性は困難である。 重要な課題に対処する効果的なAdaptとAlignのアプローチを提案する。 ゼロショットシナリオにおける画像テキスト基盤モデル(例えばCLIP)の最近の進歩に触発されて、学習したイメージの埋め込みを、より意味的なテキスト埋め込みと明確に整合させ、見知らぬクラスから見つからないクラスへの所望の知識伝達を実現する。
  論文  参考訳（メタデータ） (2023-05-09T03:10:15Z)
• Picture that Sketch: Photorealistic Image Generation from Abstract Sketches [109.69076457732632]
  この論文は、あなたや私のような訓練を受けていないアマチュアの抽象的で変形した普通のスケッチから、それをフォトリアリスティックなイメージに変えます。 まず、エッジマップのようなスケッチを指示するのではなく、抽象的なフリーハンドな人間のスケッチで作業することを目指しています。 そうすることで、スケッチから写真までのパイプラインを民主化し、スケッチがどれだけよいかに関わらず、スケッチを"写真化"します。
  論文  参考訳（メタデータ） (2023-03-20T14:49:03Z)
• Text-Guided Scene Sketch-to-Photo Synthesis [5.431298869139175]
  テキストガイダンスを用いたシーンレベルのスケッチ・ツー・フォト合成手法を提案する。 モデルのトレーニングには,写真の集合から自己教師付き学習を用いる。 実験により,カラー画像から抽出されていないオリジナルスケッチ画像を視覚的品質の高い写真に変換することを確認した。
  論文  参考訳（メタデータ） (2023-02-14T08:13:36Z)
• Unsupervised Scene Sketch to Photo Synthesis [40.044690369936184]
  シーンスケッチからリアルな写真を合成する手法を提案する。 我々のフレームワークは、教師なしの方法で手軽に利用できる大規模写真データセットから学習する。 また、本フレームワークは、対応するスケッチのストロークを編集することで、写真合成の制御可能な操作を容易にすることを実証する。
  論文  参考訳（メタデータ） (2022-09-06T22:25:06Z)
• I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches [74.63313641583602]
  そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。 私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
  論文  参考訳（メタデータ） (2022-05-09T04:23:36Z)
• Multi-granularity Association Learning Framework for on-the-fly Fine-Grained Sketch-based Image Retrieval [7.797006835701767]
  きめ細かいスケッチベース画像検索(FG-SBIR)は、与えられたクエリスケッチで特定の写真を取得する問題に対処する。 本研究では,最小のストローク数で対象写真を検索することを目的とした(不完全スケッチ)。 非完全スケッチの埋め込み空間をさらに最適化する多粒性関連学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-13T14:38:50Z)
• Adversarial Open Domain Adaption Framework (AODA): Sketch-to-Photo Synthesis [0.0]
  手描きのスケッチからリアルな写真を生成する、教師なしのオープンドメインは、難しい。 本稿では、スケッチ・ツー・フォトとフォト・ツー・スケッチの両方を学習し、画像から欠落したフリーハンド図面を合成するアプローチを提案する。
  論文  参考訳（メタデータ） (2021-07-28T18:21:20Z)
• DeepFacePencil: Creating Face Images from Freehand Sketches [77.00929179469559]
  既存の画像から画像への変換には、大規模なスケッチと画像のデータセットが必要である。 本稿では,手描きスケッチから写真リアルな顔画像を生成するための効果的なツールであるDeepFacePencilを提案する。
  論文  参考訳（メタデータ） (2020-08-31T03:35:21Z)
• Deep Plastic Surgery: Robust and Controllable Image Editing with Human-Drawn Sketches [133.01690754567252]
  スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。 Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
  論文  参考訳（メタデータ） (2020-01-09T08:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。