論文の概要、ライセンス

# (参考訳) ライン描画による顔写真とスケッチの橋渡し [全文訳有]

Bridging Unpaired Facial Photos And Sketches By Line-drawings ( http://arxiv.org/abs/2102.00635v1 )

ライセンス: CC BY 4.0
Fei Gao, Meimei Shang, Xiang Li, Jingjie Zhu, Lingna Dai(参考訳) 本論文では,不対データを用いて顔スケッチ合成モデルを学習する新しい手法を提案する。 私たちの主なアイデアは、写真ドメイン $\mathcal{X}$ とスケッチドメイン $Y$ を線引きドメイン $\mathcal{Z}$ を使ってブリッジすることです。 特に,画像とスケッチの両方を,ニューラルスタイルの転送手法を用いて線画にマッピングする。 F: \mathcal{X}/\mathcal{Y} \mapsto \mathcal{Z}$ である。 その結果、 \textit{pseudo paired data} $(\mathcal{z}, \mathcal{y})$ を得ることができ、マッピング $g:\mathcal{z} \mapsto \mathcal{y}$ を教師あり学習方法で学習することができる。 推論段階では、顔写真が与えられたら、まずラインドローイングに転送し、次に$G \circ F$でスケッチに転送できます。 さらに,異なるタイプのストロークを生成するための新しいストローク損失を提案する。 sRenderと呼ばれる私たちの方法は、人間のアーティストのレンダリングプロセスとよく一致します。 実験結果は、sRenderがマルチスタイルのスケッチを生成し、既存の不対画像から画像への変換方法を大幅に上回ることを実証した。

In this paper, we propose a novel method to learn face sketch synthesis models by using unpaired data. Our main idea is bridging the photo domain $\mathcal{X}$ and the sketch domain $Y$ by using the line-drawing domain $\mathcal{Z}$. Specially, we map both photos and sketches to line-drawings by using a neural style transfer method, i.e. $F: \mathcal{X}/\mathcal{Y} \mapsto \mathcal{Z}$. Consequently, we obtain \textit{pseudo paired data} $(\mathcal{Z}, \mathcal{Y})$, and can learn the mapping $G:\mathcal{Z} \mapsto \mathcal{Y}$ in a supervised learning manner. In the inference stage, given a facial photo, we can first transfer it to a line-drawing and then to a sketch by $G \circ F$. Additionally, we propose a novel stroke loss for generating different types of strokes. Our method, termed sRender, accords well with human artists' rendering process. Experimental results demonstrate that sRender can generate multi-style sketches, and significantly outperforms existing unpaired image-to-image translation methods.
公開日: Mon, 1 Feb 2021 04:51:46 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
BRIDGING UNPAIRED FACIAL PHOTOS AND SKETCHES BY LINE-DRAWINGS 線引きによる無縁顔写真とスケッチのブリッジ 0.46
Meimei Shang(cid:63) 明明昌(cid:63) 0.59
Fei Gao(cid:63) Fei Gao (cid:63) 0.88
Xiang Li(cid:63) Xiang Li (cid:63) 0.88
Jingjie Zhu† Jingjie Zhu。 0.77
Lingna Dai(cid:63) リンナダイ(cid:63) 0.65
(cid:63) School of Computer Science and Technology, Hangzhou Dianzi University, Hangzhou 310018, China. (cid:63) コンピュータ科学技術の学校、杭州Dianzi大学、杭州310018、中国。 0.72
† AiSketcher Technology, Hangzhou 311215, China. AiSketcherの技術、杭州311215、中国。 0.51
1 2 0 2 b e F 3 1 2 0 2 b e F 3 0.85
] V C . ] V C。 0.79
s c [ 2 v 5 3 6 0 0 sc [ 2 v 5 3 6 0 0 0.68
. 2 0 1 2 : v i X r a . 2 0 1 2 : v i X r a 0.85
ABSTRACT In this paper, we propose a novel method to learn face sketch synthesis models by using unpaired data. ABSTRACT 本論文では,不対データを用いて顔スケッチ合成モデルを学習する新しい手法を提案する。 0.86
Our main idea is bridging the photo domain X and the sketch domain Y by using the line-drawing domain Z. 私たちの主なアイデアは、線引領域Zを用いて写真領域Xとスケッチ領域Yを橋渡しすることです。 0.68
Specially, we map both photos and sketches to line-drawings by using a neural style transfer method, i.e. 特に,画像とスケッチの両方を,ニューラルスタイルの転送手法を用いて線画にマッピングする。 0.74
F : X /Y (cid:55)→ Z. Consequently, we obtain pseudo paired data (Z,Y), and can learn the mapping G : Z (cid:55)→ Y in a supervised learning manner. F : X/Y(cid:55)→Z。結果として、擬似対データ(Z,Y)を取得し、G : Z(cid:55)→Yを教師付き学習方法で学習することができる。 0.78
In the inference stage, given a facial photo, we can first transfer it to a line-drawing and then to a sketch by G ◦ F . 推論の段階では、顔写真が与えられたら、まず線引きに、次にG = F のスケッチに移すことができる。 0.63
Additionally, we propose a novel stroke loss for generating different types of strokes. さらに,異なるタイプのストロークを生成するための新しいストローク損失を提案する。 0.76
Our method, termed sRender, accords well with human artists’ rendering process. sRenderと呼ばれる私たちの方法は、人間のアーティストのレンダリングプロセスとよく一致します。 0.61
Experimental results demonstrate that sRender can generate multi-style sketches, and significantly outperforms existing unpaired image-toimage translation methods. 実験結果は、sRenderがマルチスタイルのスケッチを生成し、既存の不対画像と画像の翻訳方法を大幅に上回ることを実証した。 0.47
Index Terms— Face sketch synthesis, generative adversarial networks, deep learning, image-to-image translation, neural style transfer Index Terms – Face sketch synthesis, Generative Adversarial Network, Deep Learning, Image-to-image Translation, Neural Style Transfer 0.90
1. INTRODUCTION Face sketch synthesis (FSS) aims at generating a sketchy drawing conditioned on a given facial photo [1]. 1. 導入 顔スケッチ合成(FSS)は、所定の顔写真 [1] に条件付きスケッチの描画を生成することを目的としている。
訳抜け防止モード: 1. 導入 face sketch synthesis (fss) の目標 所定の顔写真[1]に条件付けされたスケッチな描画を生成する。
0.69
It has a wide range of applications in digital entertainments. それにデジタル催し物で適用の広い範囲があります。 0.68
Recently, great progresses have been made due to the success of Genearative Adversarial Networks (GANs) [2]. 近年,GAN(Genearative Adversarial Networks)[2]の成功により,大きな進歩を遂げている。 0.72
Specially, researcher pay tremendous efforts to improve the quality of sketches by developing post-processing techniques [3], modulating illumination variations [4], using ancillary information of facial composition [5], exploring sketch priors [6, 7], and using the cycle consistency loss [8–11]. 特に,後処理技術の開発,照明変化の調整 [4] ,顔組成の補助情報の利用 [5] ,スケッチ先行の探索 [6, 7] ,サイクル整合損失 [8-11] を用いて,スケッチの品質向上に多大な努力を払っている。 0.82
Existing works formualte FSS as a paired image-to-image (I2I) translation task [12]. 既存の作業は、FSSをペア画像対像(I2I)翻訳タスク [12] として形式化する。 0.59
They learn the mapping from the photo domain X to the sketch domain Y by using photosketch pairs in existing datasets [13]. 既存のデータセットでフォトエッチングペアを使用して、フォトドメインXからスケッチドメインYへのマッピングを学びます[13]。 0.68
It is significant to develop methods for learning FSS models by using unpaired 非ペア化を用いたfssモデル学習手法の開発は重要である 0.77
This work was supported in part by the National Natural Science Foundation of China under Grants 61971172 and 61971339, in part by the China Post-Doctoral Science Foundation under Grant 2019M653563, and in part by the Education of Zhejiang Province under Grant Y201942162. この研究は、中国の国家自然科学財団(national natural science foundation of china)が61971172と61971339を、中国後博士研究財団(china post-doctoral science foundation)が2019m653563を、そして、その一部がy201942162を主宰する江江省の教育によって支援された。 0.59
photos and sketches. Such algorithms will help us simulate the style of any human artist, if only we obtain a collection of his/her sketches. 写真とスケッチ このようなアルゴリズムは、スケッチのコレクションさえあれば、あらゆる人間のアーティストのスタイルをシミュレートするのに役立ちます。 0.61
Paired GANs cannot handle such unpaired I2I translation problem (Fig. ペア化GANは、そのようなペア化I2I翻訳問題に対処できない(図)。 0.51
1a). To combat this challenge, researchers have proposed various unpaired GANs, by using the cycle consistency loss [8, 14] or learning disentangled representations in latent spaces [15, 16]. 1a)。 この課題に対処するために、研究者はサイクル一貫性損失 [8, 14] や潜在空間 [15, 16] における不連続表現の学習を用いて、様々な非ペアリングganを提案した。 0.76
These methods simultaneously learn the mappings G : X (cid:55)→ Y and F : Y (cid:55)→ X (Fig. これらの手法は、写像 G : X (cid:55)→ Y と F : Y (cid:55)→ X を同時に学習する。 0.82
1b). Although unpaired GANs perform well in various I2I translation tasks, preliminary experiments show that they fail to generate structure-consistent and stroke-realistic sketches. 1b)。 未ペア GAN は様々な I2I 翻訳タスクでよく機能するが、予備実験では構造一貫性とストロークリアルなスケッチを生成できないことが示されている。 0.70
Neural style transfer (NST) [17] is another possible solution. ニューラルスタイル転送(NST)[17]は、別の可能なソリューションです。 0.79
NST aims at transferring a content image to a target style, without changing the semantic information [18, 19]. NSTは、セマンティック情報を変更することなく、コンテンツイメージをターゲットスタイルに転送することを目的としている[18,19]。 0.68
NST methods typically need no paired examples for training. NSTメソッドは通常、トレーニングにペアの例は必要ありません。 0.57
However, existing NST based FSS methods fail to generate realistic pencil-drawing strokes and textures [20, 21]. しかし,既存の NST ベースの FSS 法では, リアルな鉛筆描画ストロークやテクスチャを生成できない [20, 21]。 0.76
Fig. 1. Illustration of applying paired GANs, unpaired GANs, and our method to unpaired training samples. フィギュア。 1. ペアのGAN、アンペアのGAN、およびアンペアのトレーニングサンプルへの私たちの方法を適用することのイラストレーション。 0.60
To combat this challenge, この挑戦と戦うために 0.82
in this paper, we propose to bridge unpaired photos and sketches by line-drawings. 本稿では,線引きによる非ペア写真とスケッチの橋渡しを提案する。 0.81
Specially, we first map both the photo domain X and the sketch domain Y to a middle explicit domain Z, i.e. 特に、まず写真領域 X とスケッチ領域 Y を中間明示的領域 Z,すなわち、中間明示的領域 Z にマッピングする。 0.64
the line-drawings. ラインドローイング。 0.53
To this end, we adopt a NST method, termed AiSketcher [22], and denotes it by F : X /Y (cid:55)→ Z. この目的のために、AiSketcher [22] と呼ばれる NST 法を採用し、F : X /Y (cid:55) → Z で表す。 0.73
As a result, we obtain pseudo paired data (Z,Y), and can learn the mapping from the line-drawing domain to the sketch domain, i.e. その結果、擬似対データ(z,y)を得ることができ、線引き領域からスケッチ領域へのマッピングを学習することができる。
訳抜け防止モード: その結果、擬似対データ(Z, Y)を得る。 そして、ラインからマッピングを学ぶことができます。 スケッチドメインへの描画ドメイン、すなわち。
0.73
G : Z (cid:55)→ Y , in a supervised learning manner. G : Z(cid:55)→Y、教師付き学習方法で。 0.75
The mapping from the photo domain to the sketch domain therefore becomes G◦ F : X (cid:55)→ Z (cid:55)→ Y. したがって、写真領域からスケッチ領域への写像は G = F : X (cid:55) → Z (cid:55) → Y となる。 0.76
In other words, given a facial photo x, we can first transfer it to a line-drawing and then to a sketch by G(F (x)). 言い換えれば、顔写真xを与えられたら、まずラインドローイングに転送し、次にG(F(x))によるスケッチに移すことができます。 0.76
The process of our method accords well with the rendering procedure of human artists. この方法のプロセスは,人間のアーティストのレンダリング手順とよく一致している。 0.71
When human artists draw a sketch portrait, they first use long strokes/lines to repre- 人間アーティストがスケッチの肖像画を描くとき、彼らはまず長いストロークとラインを使ってリフレッシュする 0.58
(b) Unpaired GANs(a) Paired GANsFFGPaired GANsNSTNST(b) Unpaired GANs(c) Our method(a) Paired GANsYXZX(c) Our methodFGFFG(c) Our methodFGFexplicit space(b) Unpaired GANsFG(a) Paired GANsG b) 未ペア GANs(a) 未ペア GANsFFGPaired GANsNSTNST(b) 未ペア GANs(c) 我が法(a) 未ペア GANsYXZX(c) 我が法FGFFG(c) 我が法FGFexplicit space(b) 未ペア GANsFG(a) 未ペア GANsG(a) 未ペア GANsG 0.77
英語(論文から抽出)日本語訳スコア
sent the outline of a given face. 顔の輪郭を送りました 0.51
Afterwards, they draw small strokes and details to represent tone, space, stereoscopy, etc. その後、音色、空間、立体視などを表す小さなストロークや細部を描く。 0.68
Additionally, human artists represent diverse facial areas by using different types of strokes. さらに、人間のアーティストは様々な種類のストロークを用いて多様な顔領域を表現している。 0.66
We therefore propose a novel loss function to penalize the divergence between the generated and real sketches in terms of strokes. そこで本研究では,ストロークの観点で生成したスケッチと実際のスケッチの相違を罰する新しい損失関数を提案する。 0.67
We refer to our method as sRender. 私たちはメソッドをsRenderと呼びます。 0.80
We conduct extensive experiments on multiple styles of sketches and facial photos. 複数種類のスケッチや顔写真について広範な実験を行った。 0.71
Both qualitative and quantitative evaluations demonstrate that our method can generate different styles of sketches, with realistic strokes. 定性評価と定量的評価の両方で、リアルなストロークでスケッチの異なるスタイルを生成できることを示しています。 0.66
Besides, our method significantly outperforms unpaired I2I translation methods. また,本手法はI2I翻訳法を有意に上回る。 0.59
In summary, our contributions are mainly fourfold: 1) we propose a novel framework for learning sketch synthesizer from unpaired samples; 2) we propose a novel stroke loss to boost the realism of generated sketches; 3) our method accords well with human artists’ rendering process; and 4) our method can generate multi-style sketches and remarkably outperforms existing unpaired I2I translation methods. 要約すると, 筆者らのコントリビューションは主に4つある: 1) 未完成のサンプルからスケッチシンセサイザーを学習するための新しいフレームワーク, 2) 生成されたスケッチのリアリズムを高めるための新しいストロークロス, 3) 提案手法はヒトアーティストのレンダリングプロセスとよく一致し, 4) 提案手法はマルチスタイルのスケッチを生成でき, 既存の未完成のI2I翻訳手法を著しく上回っている。 0.78
2. METHOD In the task of face sketch synthesis, we have the photo domain X and the sketch domain Y, with unpaired photos {xi}m and sketches {yi}n i=1 i=1. 2. 方法 顔スケッチ合成のタスクでは、写真領域 X とスケッチ領域 Y があり、無対の写真 {xi}m とスケッチ {yi}n i=1 i=1 がある。
訳抜け防止モード: 2. 方法 顔のスケッチ合成のタスクでは、写真領域 X が成立する。 and the sketch domain Y, with unpaired photos { xi}m and sketches { yi}n i=1 i=1 .
0.76
The goal is to learn the mapping from domain X to domain Y. 目標は、ドメインXからドメインYへのマッピングを学ぶことです。 0.71
To handle this problem, we introduce a middle explicit domain Z, i.e. この問題に対処するため、中間明示的領域 Z を導入する。 0.61
the line-drawings. ラインドローイング。 0.53
The pipeline of our method is illustrated in Fig. この方法のパイプラインは図に示されています。 0.65
2. First, we map both facial photos and sketches to line-drawings by using AiSketcher [22]: F : X /Y (cid:55)→ Z. 2. まず、AiSketcher [22]: F : X /Y (cid:55) → Z を用いて、顔写真とスケッチの両方を線画にマッピングする。 0.83
In this way, we obtain pseudo paired samples: {(zi, yi)}n i=1 with zi = F (yi). このようにして、擬似対のサンプルを得る: {(zi, yi)}n i=1 with zi = F (yi)。 0.87
Afterwards, we learn the mapping from the line-drawing domain to the sketch domain, i.e. その後、ライン描画ドメインからスケッチドメインへのマッピングを学びます。 0.61
G : Z (cid:55)→ Y, by using a paired GAN and such pseudo paired data. G : Z (cid:55) → Y, by using a paired GAN and such pseudo paired data。 0.86
Finally, the mapping from the photo domain to the sketch domain becomes: G ◦ F : X (cid:55)→ Z (cid:55)→ Y. 最後に、写真領域からスケッチ領域への写像は、 G > F : X (cid:55) → Z (cid:55) → Y となる。 0.79
Details will be introduced below. 詳細は以下の通りです。 0.68
2.1. Line-drawing Synthesis 2.1. 線引き合成 0.71
First, we use AiSketcher [22] as our line-drawing synthesizer, due to its remarkable performance for transferring multimodal images to line-drawings. まず、AiSketcher [22]をラインドローイングシンセサイザーとして使用しました。
訳抜け防止モード: まず、AiSketcher [22]をライン-ドローイングシンセサイザーとして使用します。 ライン-デッサンにマルチモーダルイメージを移すための顕著な性能が原因で。
0.56
AiSketcher is an extension of AdaIN [19] with a self-consistency loss and compositional sparse loss. AiSketcher は AdaIN [19] の拡張であり、自己整合性損失と合成スパース損失がある。 0.74
We reimplement AiSketcher exactly following [22], and use no paired data for training. AiSketcherを[22]に従うように再実装し、トレーニングにペアデータを使用しません。 0.67
In the testing stage, we apply the learned AiSketcher model F to facial photos or sketches, and obtain the corresponding line-drawings. テスト段階では、学習したAiSketcherモデルFを顔写真やスケッチに適用し、対応するラインドローイングを取得します。 0.75
Due to the space limitation, we don’t introduce AiSketcher in this paper. スペース制限のため、本論文ではAiSketcherについて紹介しません。 0.76
Please refer to [22] for details. 詳細は[22]を参照してください。 0.82
2.2. Sketch Synthesis Afterwards, we learn the mapping G : Z (cid:55)→ Y, by using a paired GAN and the pseudo paired data {(zi, yi)}n i=1, with zi = F (yi). 2.2. スケッチ合成後、対 GAN と擬似対データ {(zi, yi)}n i=1, with zi = F (yi) を用いて、写像 G : Z (cid:55)→Y を学習する。 0.75
Network Architectures. ネットワークアーキテクチャ。 0.70
Our paired GAN includes one generator, G, and two discriminators, Dk, k = 1, 2. 我々のペアGANには1つのジェネレータ、Gと2つの識別器、Dk, k = 1, 2が含まれている。 0.63
The generator contains 5 Covolutional layers, 9 residual blocks, and 5 Transposed Convolutional layers. ジェネレータは5つの畳み込み層、9つの残留ブロック、5つの転置畳み込み層を含む。 0.61
The discriminators share the same architecture, i.e. 差別者は、同じアーキテクチャを共有します。 0.69
including 5 Convolutional layers, but are fed with different scales of images. 5つの畳み込み層を含むが、異なるスケールの画像が供給される。 0.72
Specially, the original real and synthesized images are input into D1. 特に、元の実画像及び合成画像がD1に入力される。 0.68
We downsample these images by a factor of 2 and input them into D2. これらの画像を2の係数でダウンサンプリングし、D2に入力します。 0.67
Such multi-scale discriminators constrain G producing realistic strokes at different scales [23]. このようなマルチスケール識別器は、異なるスケールで現実的なストロークを生成するGを制限[23]。 0.49
We use ReLU and leaky ReLU in the generator and discriminators, respectively. 生成器と識別器にそれぞれReLUとリークReLUを使用します。 0.70
Instance normalization is used in all networks. インスタンス正規化はすべてのネットワークで使用される。 0.61
Adversarial Loss. In the training stage, Dk tries to classify the pair (zi, yi) as positive and (zi, G(zi)) as negative. 敵対的損失。 トレーニング段階では、Dkはペア(zi, yi)を正、(zi, G(zi))を負に分類しようとする。
訳抜け防止モード: 敵対的損失。 トレーニング段階では、Dk はペア (zi, yi ) を正に分類しようとする and ( zi , G(zi ) ) as negative 。
0.59
While G aims to make (zi, G(zi)) classified as positive by Dk. G は Dk によって正に分類される (zi, G(zi)) を作ることを目指している。 0.71
The corresponding adversarial loss Ladv is expressed as: 対応する対向損失 Ladv は次のように表現される。 0.62
i=1 k=1 Ladv = i=1 k=1 ladv = 0.67
log Dk(zi, yi) + log(1 − Dk(zi, G(zi))). log Dk(zi, yi) + log(1 − Dk(zi, G(zi))) である。 0.91
(1) Feature Matching Loss. 1) 特徴一致の損失。 0.62
Following [23], we additionally use the feature matching loss to stabilize training. また,[23]に続いて, 特徴マッチング損失をトレーニングの安定化に利用した。 0.76
It is formulated as the L2 distance between the activations of yi and G(zi) in discriminators: 判別器におけるyiとG(zi)の活性化のL2距離として定式化される。 0.60
2(cid:88) n(cid:88) 2(cid:88) n(cid:88) 0.84
2(cid:88) 5(cid:88) 2(cid:88) 5(cid:88) 0.84
n(cid:88) k=1 n(cid:88) k=1 0.71
l=1 i=1 LFM = l=1 i=1 LFM = 0.68
(cid:107)Dl (cid:107)Dl 0.84
k(yi) − Dl k(yi) − Dl 0.85
k(G(zi))(cid:107)2, k(G(zi))(cid:107)2, 0.98
(2) where Dl the corresponding input. (2) ここでDlは対応する入力です。 0.68
k(·) denotes the activations on the l-th layer in Dk of Pixel Loss. k(·)は、Pixel LossのDkのl層上の活性化を表す。 0.76
In our settings, given an input zi, we have a real sketch yi as the target. 私たちの設定では、入力ziが与えられたら、ターゲットに本物のスケッチyiがあります。 0.67
We thus use the L1 distance between G(zi) and yi as the pixel-wise reconstruction loss: 従って、G(zi) と yi の間のL1 距離を画素単位の再構成損失として用いる。 0.68
n(cid:88) i=1 n(cid:88) i=1 0.71
Fig. 2. Pipeline of the proposed method. フィギュア。 2. 提案手法のパイプライン。 0.60
L1 = (cid:107)yi − G(zi))(cid:107)1. L1 = (cid:107)yi − G(zi))(cid:107)1。 0.89
(3) ReconstructedSketche sPseudo Paired DataGeneratedLine-dr awingsPhotosSketches FFAiSketcher(shared) GGPaired GANs (shared)TrainingTest ingSynthesizedSketch esYYXZZY(Unpaired)tr ain (3) ReconstructedSketche sPseudo Paired DataGeneratedLine-dr awingsPhotosSketches FFAiSketcher(shared) GGPaired GANs(shared)Training TestingSynthesizeSke tchesYXZZY(unpaired) train 0.65
英語(論文から抽出)日本語訳スコア
Stroke Loss. When human artists draw a sketch, they present different facial areas by using diverse strokes. 脳卒中障害。 人間アーティストがスケッチを描くと、多様なストロークを用いて異なる顔領域を提示する。 0.61
For example, they typically use long strokes to represent hairs, small strokes to represent eyebrows, stacked and light strokes to represent gradients, etc. 例えば、髪を表すのに長いストローク、まつげを表す小さなストローク、グラデーションを表すために積み重ねられた軽いストロークなどです。
訳抜け防止モード: 例えば、彼らは通常長いストロークを使い 毛髪を表すために、まぶたを表す小さなストローク、勾配を表すために積み重ねられた光ストロークなど。
0.75
To achieve this effect, we empirically classify strokes into 7 types according to facial areas: skin, hair, boundary, eye brow, eye, clips, and ear. この効果を達成するために, 皮膚, 髪, 境界, まぶた, 目, クリップ, 耳など, 顔面領域に応じた7種類の脳卒中を経験的に分類した。 0.70
Correspondingly, we train a CNN to correctly classify the stroke type of a given patch. それに応じて、特定のパッチのストロークタイプを正しく分類するためにCNNを訓練します。
訳抜け防止モード: それに応じて cnnを訓練し 所定のパッチのストロークタイプを正確に分類する。
0.67
Afterwards, we fix the learned network and denote it as ψ. その後、学習したネットワークを修正し、それを ? と表す。 0.68
The stroke loss is then expressed as: 次に、ストローク損失を次のように表現する。 0.50
n(cid:88) (cid:88) n(cid:88) (cid:88) 0.81
Lstr = (cid:107)ψj(yi) − ψj(G(zi))(cid:107)2, Lstr = (cid:107) ^j(yi) − ^j(G(zi))(cid:107)2 0.87
(4) i=1 j where ψj(·) denotes the activations at the j-th layer of the network ψ for the input. (4) i=1 j ここで ψj(·) は入力のネットワーク ψ の j-層における活性化を表す。 0.78
In the implementation, ψ contains an input Convolutional layer, a dense block, and an ouput Convolutional layer [24]. 実装では、入力の畳み込み層、密ブロック、および出力の畳み込み層[24]を含む。
訳抜け防止モード: 実装では、s は入力の畳み込み層、濃密なブロックを含む。 そして ouput Convolutional Layer [24 ] です。
0.63
Besides, we predict semantic masks of sketches by using BiSeNet [25], and extract patches of the aforementioned facial areas for training ψ. さらに,BiSeNet[25]を用いてスケッチのセマンティックマスクを予測し,前述の顔領域のパッチを抽出して訓練する。 0.72
Training. In the training stage, we combine all the aforementioned loss functions, and optimize the generator and discriminators in an alternative manner by: (G∗, D∗ 訓練。 トレーニング段階では、上記の損失関数を全て組み合わせ、(G∗, D∗)により生成器と識別器を別の方法で最適化する。 0.72
Ladv + λ1LFM + λ2L1 + λ3Lstr. Ladv + λ1LFM + λ2L1 + λ3Lstr 0.66
(5) k) = min G (5) k) = min G 0.85
max Dk Inference. In the inference stage, the learned generator works as G : Z (cid:55)→ Y. 最大Dk 推論。 推論段階では、学習された生成元は G : Z (cid:55) → Y として機能する。 0.64
Recall that we have AiSketcher as F : X /Y (cid:55)→ Z. AiSketcher が F : X /Y (cid:55) → Z であるということを思い出してください。 0.69
Given a facial photo x, we can generate the corresponding sketch by first transferring it to a line-drawing F (x) and then to a pencil-drawing by G(F (x)). 顔写真xを与えられたら、まずライン描画F(x)に、次にG(F(x))で鉛筆描画に転送して対応するスケッチを生成することができます。 0.83
Besides, given a real sketch y, we can reconstruct it by G(F (y)). さらに、実スケッチ y が与えられたとき、G(F (y)) でそれを再構成することができる。 0.68
3. EXPERIMENTS We conduct a series of experiments to analyse the performance of our method. 3. 実験 本手法の性能を解析するための一連の実験を実施します。 0.70
Details will be given below. 詳細は以下の通りです。 0.69
3.1. Settings For AiSketcher, we exactly follow the settings presented in [22]. 3.1. 設定 aisketcher氏にとって、[22]で示される設定を正確に従います。 0.70
Due to space limitation, we will briefly introduce the settings about the sketch synthesis stage. スペース制限のため、スケッチ合成の段階に関する設定を簡単に紹介します。 0.69
Our code and results have been released at: aiart.live/sRender. コードと結果は aiart.live/sRender.c om で公開されました。 0.60
Facial Sketches. We collect two styles of real sketches. 顔のスケッチ。 私たちは本物のスケッチのスタイルを2つ集める。 0.66
Specially, we download (I) 366 croquis sketches drawn by artist @HYEJUNG from Instagram; and (II) 505 charcoal sketches drawn by different artists from Web (Fig. 特に、(i)instagramのアーティスト@hyejungが描いた366のcroquisのスケッチ、(ii)web上の異なるアーティストによって描かれた505の炭のスケッチをダウンロードします(図)。 0.71
3). For each style, we randomly split the corresponding sketches for training and testing in a ratio of 8 : 2. 3). 各スタイルでは、トレーニングとテストのための対応するスケッチを8 : 2の比率でランダムに分割します。 0.83
Facial photos. We need no facial photos for training the sketch generator. 顔写真。 スケッチジェネレーターのトレーニングには顔写真は必要ありません。 0.69
In the testing stage, we randomly select 505 photos from the CelebA-HQ dataset [27], and obtain the corresponding sketches by sequentially feeding them into AiSketcher F and the learned sketch generator G. テスト段階では、celeba-hqデータセット[27]から505枚の写真をランダムに選択し、それに対応するスケッチをaisketcher fおよび学習済みスケッチ生成器gに順次送り込む。 0.75
Fig. 3. Illustration of reconstructed sketches by sRender. フィギュア。 3. sRenderによる復元スケッチのイラストレーション。 0.68
(a) Real croquis sketch, (b) synthesised line-drawing, (c) reconstructed sketch; (d) real charcoal sketch, (e) synthesised linedrawing, and (f) reconstructed charcoal sketch. (a)リアルクロキススケッチ、(b)合成ラインドローイング、(c)再構成スケッチ、(d)本物の木炭スケッチ、(e)合成ラインドローイング、(f)再構成木炭スケッチ。 0.70
Fig. 4. Sketches generated by sRender. フィギュア。 4. sRender が生成するスケッチ。 0.70
(a) Input photo, (b) synthesised line-drawing, (c) generated croquis sketch, and (d) generated charcoal sketch. (a) 入力写真,(b) ラインドローイング合成,(c) クロキススケッチ生成,(d) 炭スケッチ生成
訳抜け防止モード: (a)入力写真、(b)合成線-描画 (c) クロキスのスケッチを生成し, (d) 炭のスケッチを生成した。
0.78
Preprocessing. All images are geometrically aligned relying on two eye centers and cropped to size of 512 × 512. 前処理。 すべての画像は2つの目の中心に依存し、サイズは512×512である。 0.71
Here, we use face++ api for landmark detection. ここでは、ランドマーク検出に Face++ api を使用します。 0.63
Training details. During training, each input image is rescaled to 542 × 542, and then a crop of size 512 × 512 is randomly extracted. 訓練の詳細。 トレーニング中、各入力画像は 542 × 542 にリスケールされ、それから大きさ 512 × 512 の作物がランダムに抽出される。 0.79
We also use horizontal flip for data augmentation. データ拡張には水平フリップも使用しています。 0.59
We use the Adam solver with β1 = 0.5, β2 = 0.999, and batch size of 1. 我々は、Adam solver with β1 = 0.5, β2 = 0.999, and batch size of 1 を使用する。 0.78
The learning rate is initially 2e− 4 for the first 100 epoch, and then linearly deceases to zero over the next 100 epochs. 学習速度は最初の100エポックでは2e−4であり、その後100エポックでは線形にゼロに減少する。 0.70
Besides, we set λ1 = 100, λ2 = 10, and λ3 = 0.002. さらに、λ1 = 100, λ2 = 10, λ3 = 0.002 とする。 0.87
Criteria. To quantitatively evaluate the quality of generated sketches, we adopt the Fr´echet Inception Distance (FID) metric. 基準。 生成したスケッチの品質を定量的に評価するために、Fr ́echet Inception Distance(FID)メトリクスを採用する。 0.65
To alleviate the effect of facial identity, we randomly extract about 10,000 patches of size 256 × 256 from real and generated sketches, respectively, for calculating FIDs. 顔認証の効果を緩和するため、実写と生成されたスケッチから256×256の約10,000個のパッチをランダムに抽出し、FIDを計算する。 0.71
In addition, we use the Scoot metric [28] to measure the similarity between real and synthesised sketches. さらに,実際のスケッチと合成スケッチの類似度を測定するために,スクート計量 [28] を用いる。 0.81
We also use the Fisherface method for face sketch recognition [7]. また、顔のスケッチ認識にはFisherfaceメソッドを使用します[7]。 0.71
In the following, we report the FID values for both the testing sketches and the photos. 以下では,テストスケッチと写真の両方についてfid値について報告する。 0.68
While we only report the Scoot and face recognition accuracy (Acc.) Scoot と Face Recognition の精度 (Acc) についてのみ報告する。 0.80
on the testing sketches, because there is no real sketches for testing photos. 写真をテストするための実際のスケッチがないので、テストのスケッチで。 0.70
Lower FID values, but higher Scoot and Acc. FID値は低いが、ScootとAccは高い。 0.72
values, denote better quality of synthesised sketches. 値、合成スケッチのより良い品質を示します。 0.69
3.2. Results Multi-style Sketch Synthesis. 3.2. 結果 マルチスタイルスケッチ合成。 0.74
In this section, we evaluate the capacity of sRender on generating multi-style sketches. 本稿では,マルチスタイルスケッチ生成におけるsRenderの能力を評価する。 0.73
First, we apply sRender to reconstruct real testing sketches. まず、実際のテストスケッチの再構築にsrenderを適用する。 0.61
(a)(d)(c)(b)(e)(f)(a )(d)(c)(b)(a)(d)(c)( b) (a)(d)(c)(b)(e)(f)(a )(d)(c)(b)(a)(d)(c)( b)) 0.86
英語(論文から抽出)日本語訳スコア
err 翻訳エラー 0.00
英語(論文から抽出)日本語訳スコア
References [1] N. Wang, D. Tao, X. Gao, X. Li, and J. Li, “Transductive face sketch-photo synthesis,” IEEE TNNLS, vol. 参考文献 [1] N. Wang, D. Tao, X. Gao, X. Li, J. Li, “Transductive face sketch- photo synthesis”, IEEE TNNLS, vol。 0.79
24, no. 9, pp. 24時24分 9, pp。 0.61
1364–1376, 2013. 1364–1376, 2013. 0.84
[2] I. J. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio, “Generative adversarial nets,” in NIPS, 2014, pp. [2] I.J. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, Y. Bengio, “Generative adversarial nets” in NIPS, 2014 pp。 0.92
2672– 2680. 2672– 2680. 0.94
[3] N. Wang, W. Zha, J. Li, and X. Gao, “Back projection: An effective postprocessing method for gan-based face sketch synthesis,” Pattern Recognition Letters, vol. [3] n. wang, w. zha, j. li, and x. gao, “back projection: an effective post processing method for gan-based face sketch synthesis”. パターン認識文字, vol. 0.85
107, pp. 59–65, 2017. 107, pp。 59–65, 2017. 0.82
[4] S. Zhang, R. Ji, J. Hu, Y. Gao, and Lin C.-W., “Robust face sketch synthesis via generative adversarial fusion of priors and parametric sigmoid,” in IJCAI-18, 2018, pp. S. Zhang, R. Ji, J. Hu, Y. Gao, Lin C.-W., “Robust face sketch synthesis via Generative adversarial fusion of priors and parametric sigmoid” in IJCAI-18, 2018, pp. 0.85
1163–1169. 1163–1169. 0.71
[5] J. Yu, X. Xu, F. Gao, S. Shi, M. Wang, D. Tao, and Q. Huang, “Towards realistic face photo-sketch synthesis via composition-aided GANs,” IEEE TCYB, pp. J. Yu, X. Xu, F. Gao, S. Shi, M. Wang, D. Tao, Q. Huang, “Towards real face photo-sketch synthesis via composition-ided GANs”, IEEE TCYB, pp。 0.88
1– 13, 2020. 1– 13, 2020. 0.99
[6] C Chen, W Liu, X Tan, and KKY Wong, [6]C Chen、W Liu、X Tan、KKY Wong 0.64
“Semisupervised learning for face sketch synthesis in the wild,” in ACCV, 2018. 2018年、accvで"semisupervised learning for face sketch synthesis in the wild"と題された。 0.70
[7] M. Zhang, N. Wang, Y. Li, and X. Gao, “Bionic face sketch generator,” IEEE TCYB., vol. 7] M. Zhang, N. Wang, Y. Li, X. Gao, “Bionic face sketch generator”, IEEE TCYB., vol。 0.83
50, no. 6, pp. 50だ 6, pp。 0.60
2701– 2714, 2019. 2701– 2714, 2019. 0.99
[8] J. Zhu, T. Park, P. Isola, and A. 8] J. Zhu、T. Park、P. Isola、A。 0.77
A Efros, “Unpaired image-to-image translation using cycle-consistent adversarial networks,” in ICCV, 2017, pp. ICCV, 2017 pp. A Efros, “Unpaired image-to-image translation using cycle-consistent adversarial network” (英語) 0.85
2242–2251. 2242–2251. 0.71
[14] J. Kim, M. Kim, H. Kang, and K. H. Lee, J. Kim, M. Kim, H. Kang, K. H. Lee. 0.78
“UGAT-IT: Unsupervised generative attentional networks with adaptive layer-instance normalization for image-toimage translation,” in ICLR, 2020. UGAT-IT: イメージ・トイメージ・トランスフォーメーションのための適応レイヤ・インスタンス正規化を施した非教師型生成注意ネットワーク。
訳抜け防止モード: “ugat - it: unsupervised generative attentional networks with adaptive layer - instance normalization for image - toimage translation” iclr、2020年。
0.78
[15] X. Huang, M. Liu, S. Belongie, and J. Kautz, “Multimodal unsupervised image-to-image translation,” in ECCV, 2018, pp. 15] X. Huang, M. Liu, S. Belongie, J. Kautz, “Multimodal unsupervised image-to-image translation” が ECCV, 2018 pp。 0.88
172–189. [16] H. Lee, H. Tseng, J. Huang, M. Singh, and M. Yang, “Diverse image-to-image translation via disentangled representations,” in ECCV, 2018, pp. 172–189. H. Lee, H. Tseng, J. Huang, M. Singh, M. Yang, “Diverse image-to-image translation via disentangled representations” in ECCV, 2018, pp。 0.79
35–51. [17] Y. Jing, Y. Yang, Z. Feng, J. Ye, Y. Yu, and M. Song, “Neural style transfer: A review,” IEEE TVCG, pp. 35–51. 17] Y. Jing, Y. Yang, Z. Feng, J. Ye, Y. Yu, M. Song, "Neural style transfer: A review", IEEE TVCG, pp。 0.79
1–1, 2019. 1–1, 2019. 0.84
[18] Leon A. Gatys, Alexander S. Ecker, and Matthias Bethge, “A neural algorithm of artistic style,” Computer Science, 2015. 18] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge, “A neural algorithm of art style”, Computer Science, 2015年。 0.81
[19] X. Huang and S. Belongie, [19]X. HuangとS. Belongie 0.88
“Arbitrary style transfer in real-time with adaptive instance normalization,” in ICCV, oct 2017, pp. ICCV, oct 2017 pp. “Arbitrary style transfer in real-time with Adaptive instance normalization” に収録。 0.82
1510–1519. 1510–1519. 0.71
[20] C. Peng, N. Wang, J. Li, and X. Gao, “Universal face photo-sketch style transfer via multiview domain translation,” IEEE TIP, vol. 20] C. Peng, N. Wang, J. Li, and X. Gao, “Universal face photo-sketch style transfer via multiview domain translation”, IEEE TIP, vol. 日本語版。 0.92
29, pp. 8519–8534, 2020. 29, pp。 8519–8534, 2020. 0.82
[21] C Chen, X Tax, and Kky Wong, “Face sketch synthesis with style transfer using pyramid column feature,” 2018. 21] C Chen、X Tax、Kky Wong、2018年「ピラミッド柱機能を用いたスタイル転送による顔スケッチ合成」。 0.70
[22] F. Gao, J. Zhu, Z. Yu, P. Li, and T. Wang, 22] F. Gao、J. Zhu、Z. Yu、P. Li、T. Wang。 0.86
ing robots draw a vivid portrait in two minutes,” IEEE/RSJ IROS 2020, Oct. 2020. とIEEE/RSJ IROS 2020、2020年10月。 0.38
“Makin [23] T. Wang, M. Liu, J. Zhu, A. Tao, J. Kautz, and B. Catanzaro, “High-resolution image synthesis and semantic manipulation with conditional GANs,” in CVPR, 2018, pp. 『マキン』 CVPR, 2018 pp. [23] T. Wang, M. Liu, J. Zhu, A. Tao, J. Kautz, B. Catanzaro, “条件付きGANによる高解像度画像合成とセマンティック操作”。 0.68
8798–8807. 8798–8807. 0.71
[9] L. Wang, V. A. Sindagi, and V. M. Patel, “High-quality facial photo-sketch synthesis using multi-adversarial networks,” IEEE FG, pp. 9] L. Wang, V. A. Sindagi, V. M. Patel, “ハイクオリティな顔写真スケッチ合成を多元的ネットワークで行う”、とIEEE FG, pp。 0.76
83–90, 2018. 83–90, 2018. 0.84
[24] G. Huang, Z. Liu, L. Van D. M., and K. Q Weinberger, “Densely connected convolutional networks,” in CVPR, 2017, pp. CVPR, 2017 pp. [24] G. Huang, Z. Liu, L. Van D.M., K. Q Weinberger, “Densely Connected Convolutional Network”。 0.80
4700–4708. 4700–4708. 0.71
[10] M. Zhu, J. Li, N. Wang, and X. Gao, “A deep collaborative framework for face photo–sketch synthesis,” IEEE TNNLS, vol. 10] M. Zhu, J. Li, N. Wang, X. Gao, “顔写真-スケッチ合成のための深いコラボレーションフレームワーク”, IEEE TNNLS, vol。 0.85
30, no. 10, pp. 30だ 10, pp。 0.59
3096–3108, Oct 2019. 3096-3108, 2019年10月。 0.56
[11] S. Zhang, R. Ji, J. Hu, X. Lu, and X. Li, “Face sketch synthesis by multidomain adversarial learning,” IEEE TNNLS, vol. [11] S. Zhang, R. Ji, J. Hu, X. Lu, X. Li, “Face sketch synthesis by multi domain adversarial learning”, IEEE TNNLS, vol。 0.89
30, no. 5, pp. 30だ 5, pp。 0.59
1419–1428, 2019. 1419–1428, 2019. 0.84
[12] P. Isola, J. Zhu, T. Zhou, and A. [12]P. Isola, J. Zhu, T. Zhou, A 0.83
A. Efros, “Imageto-image translation with conditional adversarial networks,” in CVPR, 2017, pp. A.エフロス。 cvpr, 2017 pp. ^ “imageto-image translation with conditional adversarial networks” (英語) 0.74
1125–1134. 1125–1134. 0.71
[25] C. Yu, J. Wang, C. Peng, C. Gao, G. Yu, and N. Sang, “Bisenet: Bilateral segmentation network for real-time semantic segmentation,” in ECCV, 2018, pp. [25] c. yu, j. wang, c. peng, c. gao, g. yu, n. sang, “bisenet: bilateral segmentation network for real-time semantic segmentation” in eccv, 2018, pp. 0.84
325–341. [26] R. Chen, W. Huang, B. Huang, F. Sun, and B. Fang, “Reusing discriminators for encoding: Towards unsupervised image-to-image translation,” in CVPR, 2020, pp. 325–341. R. Chen, W. Huang, B. Huang, F. Sun, B. Fang, “Reusing discriminators for encoding: towardss unsupervised image-to-image translation” in CVPR, 2020, pp. 0.80
8168–8177. 8168–8177. 0.71
[27] C. Lee, Z. Liu, L. Wu, and P. Luo, “Maskgan: Towards diverse and interactive facial image manipulation,” in CVPR, 2020, pp. 27] C. Lee, Z. Liu, L. Wu, and P. Luo, “Maskgan: Towards diverse and Interactive facial image manipulation” CVPR, 2020, pp。 0.84
5549–5558. 5549–5558. 0.71
[13] X. Wang and X. Tang, “Face photo-sketch synthesis and recognition,” IEEE TPAMI, vol. IEEE TPAMI, vol.[13] X. Wang, X. Tang, “Face Photo-Sketch synthesis and recognition, IEEE TPAMI, vol. 0.82
31, no. 11, pp. 31, No. 11, pp。 0.82
1955– 1967, 2009. 1955– 1967, 2009. 0.99
[28] D. Fan, S. Zhang, Y. Wu, Y. Liu, M. Cheng, B. Ren, P. L Rosin, and R. Ji, “Scoot: A perceptual metric for facial sketches,” in ICCV, 2019, pp. [28] D. Fan, S. Zhang, Y. Wu, Y. Liu, M. Cheng, B. Ren, P.L Rosin, R. Ji, “Scoot: A Perceptual metric for facial sketches” in ICCV, 2019, pp。 0.91
5612–5622. 5612–5622. 0.71
           ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。