論文の概要: Multi-Density Sketch-to-Image Translation Network

• arxiv url: http://arxiv.org/abs/2006.10649v1
• Date: Thu, 18 Jun 2020 16:21:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 13:59:43.922558
• Title: Multi-Density Sketch-to-Image Translation Network
• Title（参考訳）: 多次元スケッチ画像翻訳ネットワーク
• Authors: Jialu Huang, Jing Liao, Zhifeng Tan, Sam Kwong
• Abstract要約: 入力スケッチは、粗い物体の輪郭からマイクロ構造まで幅広い範囲をカバーすることができる。 本手法は,顔の編集,マルチモーダルなスケッチ・ツー・フォト変換,アニメのカラー化など,様々な用途のデータセットで検証されている。
• 参考スコア（独自算出の注目度）: 65.4028451067947
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sketch-to-image (S2I) translation plays an important role in image synthesis and manipulation tasks, such as photo editing and colorization. Some specific S2I translation including sketch-to-photo and sketch-to-painting can be used as powerful tools in the art design industry. However, previous methods only support S2I translation with a single level of density, which gives less flexibility to users for controlling the input sketches. In this work, we propose the first multi-level density sketch-to-image translation framework, which allows the input sketch to cover a wide range from rough object outlines to micro structures. Moreover, to tackle the problem of noncontinuous representation of multi-level density input sketches, we project the density level into a continuous latent space, which can then be linearly controlled by a parameter. This allows users to conveniently control the densities of input sketches and generation of images. Moreover, our method has been successfully verified on various datasets for different applications including face editing, multi-modal sketch-to-photo translation, and anime colorization, providing coarse-to-fine levels of controls to these applications.
• Abstract（参考訳）: sketch-to-image(s2i)翻訳は、写真編集やカラー化といった画像合成や操作タスクにおいて重要な役割を果たす。 スケッチ・ツー・フォトやスケッチ・トゥ・ペイントを含む特定のS2I翻訳は、アートデザイン産業において強力なツールとして使用できる。 しかし、従来の手法ではS2I翻訳を単一の密度でしかサポートしていないため、ユーザは入力スケッチを制御できない。 そこで本研究では,入力スケッチが粗いオブジェクトのアウトラインからマイクロ構造まで幅広い範囲をカバーすることができる,最初のマルチレベル密度スケッチ画像変換フレームワークを提案する。 さらに,マルチレベル密度入力スケッチの不連続表現の問題に対処するために,密度レベルを連続潜在空間に投影し,パラメータによって線形に制御する。 これによりユーザは、入力スケッチの密度や画像の生成を便利に制御できる。 さらに,顔の編集,マルチモーダルなスケッチ・ツー・フォト変換,アニメのカラー化など,さまざまなアプリケーションを対象とした各種データセットの検証に成功した。

関連論文リスト

• Translatotron-V(ison): An End-to-End Model for In-Image Machine Translation [81.45400849638347]
  In-image Machine Translation (IIMT) は、ソース言語のテキストを含む画像をターゲット言語の翻訳を含む画像に変換することを目的としている。 本稿では,4つのモジュールからなるエンドツーエンドIIMTモデルを提案する。 本モデルでは,70.9%のパラメータしか持たないカスケードモデルと比較して競争性能が向上し,画素レベルのエンド・ツー・エンドIIMTモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-07-03T08:15:39Z)
• SketchTriplet: Self-Supervised Scenarized Sketch-Text-Image Triplet Generation [6.39528707908268]
  シーンスケッチ用の大規模なペアデータセットは引き続き欠如している。 本稿では,既存のシーンスケッチに依存しないシーンスケッチ生成のための自己教師型手法を提案する。 シーンスケッチを中心にした大規模なデータセットをコントリビュートし、セマンティックに一貫した「テキスト・スケッチ・イメージ」三つ子を含む。
  論文  参考訳（メタデータ） (2024-05-29T06:43:49Z)
• Sketch-guided Image Inpainting with Partial Discrete Diffusion Process [5.005162730122933]
  スケッチ誘導インペイントのための新しい部分離散拡散法(PDDP)を提案する。 PDDPは画像のマスキング領域を破損させ、手描きスケッチで条件付けられたこれらのマスキング領域を再構築する。 提案するトランスモジュールは,2つの入力を受信する。マスク領域を含む画像はインペイントされ,クエリスケッチは逆拡散過程をモデル化する。
  論文  参考訳（メタデータ） (2024-04-18T07:07:38Z)
• CustomSketching: Sketch Concept Extraction for Sketch-based Image Synthesis and Editing [21.12815542848095]
  大規模なテキスト・ツー・イメージ(T2I)モデルのパーソナライズ技術により、ユーザーは参照画像から新しい概念を組み込むことができる。 既存の手法は主にテキスト記述に依存しており、カスタマイズされた画像の制御が制限されている。 スケッチを直感的で汎用的な表現として識別し,このような制御を容易にする。
  論文  参考訳（メタデータ） (2024-02-27T15:52:59Z)
• Bridging the Gap: Sketch-Aware Interpolation Network for High-Quality Animation Sketch Inbetweening [58.09847349781176]
  我々は,新しい深層学習手法であるSketch-Aware Interpolation Network (SAIN)を提案する。 このアプローチには、領域レベルの対応、ストロークレベルの対応、ピクセルレベルのダイナミクスを定式化するマルチレベルガイダンスが組み込まれている。 マルチストリームのU-Transformerは、自己/クロスアテンション機構の統合により、これらのマルチレベルガイドを使用して、スケッチ間のインテンションパターンを特徴付けるように設計されている。
  論文  参考訳（メタデータ） (2023-08-25T09:51:03Z)
• SceneComposer: Any-Level Semantic Image Synthesis [80.55876413285587]
  任意の精度のセマンティックレイアウトから条件付き画像合成のための新しいフレームワークを提案する。 このフレームワークは、形状情報のない最低レベルのテキスト・トゥ・イメージ(T2I)に自然に還元され、最高レベルのセグメンテーション・トゥ・イメージ(S2I)となる。 本稿では,この新たなセットアップの課題に対処する,新しいテクニックをいくつか紹介する。
  論文  参考訳（メタデータ） (2022-11-21T18:59:05Z)
• FS-COCO: Towards Understanding of Freehand Sketches of Common Objects in Context [112.07988211268612]
  フリーハンドシーンスケッチの最初のデータセットであるFS-COCOを用いてスケッチ研究を進めた。 本データセットは,100名の非専門家による1点あたりの時空間情報付きフリーハンドシーンベクトルスケッチからなる。 フリーハンドシーンのスケッチやスケッチのキャプションからきめ細かい画像検索の問題が初めて研究された。
  論文  参考訳（メタデータ） (2022-03-04T03:00:51Z)
• Deep Plastic Surgery: Robust and Controllable Image Editing with Human-Drawn Sketches [133.01690754567252]
  スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。 Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
  論文  参考訳（メタデータ） (2020-01-09T08:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。