論文の概要、ライセンス

# (参考訳) 参照型画像超解像のための変分オートエンコーダ [全文訳有]

Variational AutoEncoder for Reference based Image Super-Resolution ( http://arxiv.org/abs/2106.04090v1 )

ライセンス: CC BY 4.0
Zhi-Song Liu and Wan-Chi Siu and Li-Wen Wang(参考訳) 本稿では,可変オートエンコーダ(RefVAE)を用いた参照ベース画像超解像手法を提案する。 既存の最先端の手法は、主に8$\times$のような大きなアップサンプリング要因ではうまく機能しない単一画像の超解像に焦点を当てている。 我々は,任意の画像が超解像の基準として機能する参照ベース画像スーパーレゾリューションを提案する。 ランダムマップや低解像度画像自体を使っても、提案したRefVAEは超解像への参照から知識を伝達することができる。 異なる参照によって、提案手法は隠れた超解像空間から異なるバージョンの超解像を生成することができる。 psnrとssimの標準評価に異なるデータセットを使用するとともに、ntire2021 srスペースチャレンジにも参加し、このアプローチのランダム性評価の結果を提供した。 他の最先端手法と比較して,本手法はより多様なスコアを得られる。

In this paper, we propose a novel reference based image super-resolution approach via Variational AutoEncoder (RefVAE). Existing state-of-the-art methods mainly focus on single image super-resolution which cannot perform well on large upsampling factors, e.g., 8$\times$. We propose a reference based image super-resolution, for which any arbitrary image can act as a reference for super-resolution. Even using random map or low-resolution image itself, the proposed RefVAE can transfer the knowledge from the reference to the super-resolved images. Depending upon different references, the proposed method can generate different versions of super-resolved images from a hidden super-resolution space. Besides using different datasets for some standard evaluations with PSNR and SSIM, we also took part in the NTIRE2021 SR Space challenge and have provided results of the randomness evaluation of our approach. Compared to other state-of-the-art methods, our approach achieves higher diverse scores.
公開日: Tue, 8 Jun 2021 04:12:38 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
Variational AutoEncoder for Reference based Image Super-Resolution 参照型画像超解像のための変分オートエンコーダ 0.57
1Caritas Institute of Higher Education 1カリタス高等教育研究所 0.84
Zhi-Song Liu1 Zhi-Song Liu1 0.59
Wan-Chi Siu1,2 Li-Wen Wang 2 ワンチシウ1,2 Li-Wen Wang 2 0.65
1,2The Hong Kong Polytechnic University zsliu@cihe.edu.hk 1,2香港工科大学 zsliu@cihe.edu.hk 0.70
enwcsiu@polyu.edu.hk , liwen.wang@connect.p olyu.hk enwcsiu@polyu.edu.hk , liwen.wang@connect.p olyu.hk 0.52
1 2 0 2 n u J 1 2 0 2 n u J 0.85
8 ] V C . 8 ] 略称はC。 0.73
s c [ 1 v 0 9 0 4 0 sc [ 1 v 0 9 0 4 0 0.68
. 6 0 1 2 : v i X r a . 6 0 1 2 : v i X r a 0.85
Abstract In this paper, we propose a novel reference based image super-resolution approach via Variational AutoEncoder (RefVAE). 概要 本稿では,可変オートエンコーダ(RefVAE)を用いた参照ベース画像超解像手法を提案する。 0.59
Existing state-of-the-art methods mainly focus on single image super-resolution which cannot perform well on large upsampling factors, e g , 8×. 既存の最先端手法は主に単一画像の超解像に焦点を合わせており、大きなアップサンプリング因子、例えば8×ではうまく機能しない。 0.65
We propose a reference based image super-resolution, for which any arbitrary image can act as a reference for super-resolution. 我々は,任意の画像が超解像の基準として機能する参照ベース画像スーパーレゾリューションを提案する。 0.73
Even using random map or low-resolution image itself, the proposed RefVAE can transfer the knowledge from the reference to the super-resolved images. ランダムマップや低解像度画像自体を使っても、提案したRefVAEは超解像への参照から知識を伝達することができる。 0.69
Depending upon different references, the proposed method can generate different versions of super-resolved images from a hidden superresolution space. 異なる参照によって、提案手法は隠れた超解像空間から異なるバージョンの超解像を生成することができる。 0.69
Besides using different datasets for some standard evaluations with PSNR and SSIM, we also took part in the NTIRE2021 SR Space challenge [28] and have provided results of the randomness evaluation of our approach. psnrとssimの標準評価に異なるデータセットを使用すると同時に、ntire2021 sr space challenge [28]にも参加し、このアプローチのランダム性評価の結果を提供した。 0.66
Compared to other state-of-the-art methods, our approach achieves higher diverse scores. 他の最先端手法と比較して,本手法はより多様なスコアを得られる。 0.55
1. Introduction Image Super-Resolution (SR) is a fundamental problem in image processing. 1. はじめに Image Super-Resolution (SR) は画像処理の基本的な問題である。 0.72
Given a low-resolution (LR) image, the objective is to upsample the LR image by 𝛼× to obtain the SR image. 低解像度(LR)画像が与えられた場合、SR画像を得るために、LR画像をα×でアップサンプリングすることが目的である。 0.65
In other words, each LR pixel is used for predicting 𝛼× 𝛼 HR pixels. 言い換えれば、各LR画素はα×αHR画素の予測に使用される。 0.74
In real applications, super-resolution is useful for images/videos display, storage, broadcasting and transmission. 実際のアプリケーションでは、超解像度は画像/ビデオの表示、ストレージ、放送、送信に有用である。 0.58
In particular, it can provide better visual experience for watching movies and playing video games. 特に、映画やビデオゲームの視聴に優れたビジュアル体験を提供することができる。 0.80
[2, 3] Most works for image super-resolution are limited as they focus on single image super-resolution by optimizing the mean squared errors (MSE) between HR and SR pixels. 2, 3] イメージスーパーレゾリューションでは,hr と sr ピクセル間の平均二乗誤差 (mse) を最適化することにより,単一画像のスーパーレゾリューションに焦点を合わせることがほとんどである。 0.63
Due to the ill-posed nature of super-resolution, using MSE usually leads to the blurry effect on edges [6, 19]. 超解像の性質の悪さから、MSEの使用は通常、エッジ [6, 19] にぼやけた効果をもたらす。 0.70
One solution is to use Generative Adversarial Network to implicitly align the distribution between SR and HR images. 1つの解決策は、ジェネレーティブ・アドバイサル・ネットワークを使用して、SRとHR画像間の分布を暗黙的に整列させることである。 0.55
Despite recent development on GAN based image SR [19, 38, 32], they usually focus on smaller upsampling factors, like 4× [38]. GANベースの画像SR [19, 38, 32] は近年開発されているが、通常は4×[38]のような小さなアップサンプリング因子に焦点を当てている。 0.66
For larger upsampling factors, like 16× SR, researchers ei- 16×SRのような大きなアップサンプリング因子の場合、研究者はE- 0.67
Figure 1: Visualization of 8× SR using our proposed RefVAE. 図1:提案するrefvaeを用いた8×srの可視化 0.76
The visualization of the SR images given different references (right upper corner of the SR images), like random noise, random images or LR image itself. SR画像の可視化には、ランダムノイズ、ランダム画像、LR画像など、異なる参照(SR画像の右上隅)が与えられた。 0.67
ther use 4× SR model twice, or use simple interpolation to upsample the LR image by 4× first and then use SR model for another 4× upsampling [20]. Ther は 4 × SR モデルを 2 回使うか、あるいは単純な補間を使って LR 画像を 4 × 1 でアップサンプリングし、次に SR モデルを 4 × のアップサンプリング [20] に使用する。 0.69
Our concern is that the single image super-resolution has reached its limit on large upsampling factors even with most advanced deep learning techniques. 我々の懸念は、ほとんどの高度なディープラーニング技術でさえ、単一画像の超解像が大きなアップサンプリング要因の限界に達していることである。 0.57
Hence, we propose a reference based image super-resolution (RefVAE), which can search similar patterns from the reference to guide the super-resolution. そこで本研究では,参照から類似したパターンを探索し,その超解像を導く参照ベース画像スーパーレゾリューション(refvae)を提案する。 0.73
It is an online searching but fast processing because of the propsoed Conditional Variational Inference (CVAE). これはオンライン検索であるが、条件変分推論(CVAE)が提案されているため高速な処理である。 0.61
It is not an uncommon procedure in image SR using online approach to search similar patches from external [45] or internal [44] datasets for SR. 画像SRでは、外部[45]または内部[44]データセットから同様のパッチを検索するために、オンラインアプローチを使用するのが一般的ではない。
訳抜け防止モード: オンラインアプローチを用いた画像SRでは珍しい手順ではない SR用の外部 [45 ] または内部 [44 ] データセットから、同様のパッチを検索する。
0.81
The difference is that we compress various reference images into a compact hidden space by CVAE. 差は、CVAEにより様々な参照画像をコンパクトな隠れ空間に圧縮することである。 0.73
Instead of learning complex regression models [14], we propose to use CVAE to learn explicit distribution from reference images, then we sample the patterns from the dis- 複雑な回帰モデル [14] を学習する代わりに,CVAE を用いて参照画像から明示的な分布を学習し,解像からパターンをサンプリングする手法を提案する。 0.83
LR imageFour 8SR images by using arbitrary references LR画像 任意の参照を用いた8つのSR画像 0.67
英語(論文から抽出)日本語訳スコア
tribution as a condition or prior to super-resolve LR image. 超解像lr画像の前または条件としての帰属。 0.58
Different from reference based image super-resolution,hen ce it is fast for real-time applications. 参照ベースの画像スーパーレゾリューションとは異なり、リアルタイムアプリケーションでは高速である。 0.68
Our proposed method is also different from single image SR. Once the training is done, we can use different “references” to generate different SR candidates, hence, we can expand the SR space to allow users to pick one of the SR candidates for applications. 提案手法は,単一画像SRと異なり,訓練が完了すると,異なる「参照」を用いて異なるSR候補を生成することができるため,SR領域を拡張して,アプリケーション用のSR候補の1つを選択することができる。 0.81
As shown in Figure 1, the “reference” (right-hand upper subimages) can be any images, even a random Gaussian map or the LR image itself. 図1に示すように、"参照"(右上の部分像)は任意の画像であり、ランダムなガウス写像やLR像自体であっても構わない。 0.77
Our approach can generate a SR image with good visual quality but with different perceptual details around the edges and textures (The differences are marked in boxes with different colors). われわれのアプローチでは、視覚的品質のよいSR画像を生成することができるが、エッジやテクスチャに関する知覚的詳細は異なる(違いは異なる色のボックスでマークされる)。 0.73
To sum up, our contributions include: • We propose RefVAE to explicitly discover image distribution using the proposed Conditional Variational AutoEncoder for image super-resolution. 我々は,超解像のための条件付き変分オートエンコーダを用いて画像分布を明示的に発見するrefvaeを提案する。 0.59
• Instead of learning directly the data distribution, we introduce references as a condition to guide superresolution. •データ分布を直接学習する代わりに、スーパーレゾリューションを導く条件として参照を導入する。 0.71
To transfer the features from style images, we propose to combine both pixel loss and style loss for training. スタイル画像から特徴を伝達するために,学習用画素損失とスタイル損失を併用することを提案する。 0.82
(See Section ) • We provide experimental results on different datasets and show analysis and comparison on both single image SR and reference based image SR results. (項参照) • 異なるデータセットに対する実験結果を提供し、単一画像SRと参照ベース画像SRの双方の分析と比較を行った。 0.77
2. Related work In this section, we give a brief review on related previous works on single image super-resolution. 2. 関連作品 本稿では,単一画像の超高解像度化に関する先行研究について概説する。 0.71
To introduce our proposed RefVAE method, we also revisit some representative works on generative learning approaches for image SR. 提案するrefvae法を紹介するために,画像srのための生成学習手法に関する代表的な研究についても検討する。 0.65
Finally, we also introduce related works on reference based image super-resolution. 最後に,参照ベース画像の超解像に関する関連研究についても紹介する。 0.54
2.1. Single image super-resolution 2.1. 単一画像超解像 0.71
Single image super-resolution uses one single LR image to produce the corresponding SR image. 単一画像超解像は、1つのLR画像を用いて対応するSR画像を生成する。 0.62
It is a classic topic in image processing and a lot of works have been proposed to resolve it. 画像処理における古典的なトピックであり、それを解決するために多くの研究が提案されている。 0.66
With the development of learning approaches, learning based image SR dominates this field. 学習アプローチの発展に伴い、学習ベースの画像SRがこの分野を支配している。 0.65
We can categorize learning based SR into two groups: conventional learning based approaches [35, 22, 21] and deep learning based approaches [27, 42, 20, 26, 17]. 学習ベースSRは,従来の学習ベースアプローチ[35,22,21]とディープラーニングベースアプローチ[27,42,20,26,17]の2つのグループに分類される。 0.81
Let us focus on some representative deep learning based approaches. 代表的なディープラーニングベースのアプローチに注目しよう。 0.51
Dong et al [9] proposed the first CNN based image SR using only three layers of convolutions to learn the mapping relations between LR and HR images. Dong et al [9] は、LR と HR 画像のマッピング関係を学習するために、畳み込みの3層のみを使用して、最初の CNN ベースの画像 SR を提案した。
訳抜け防止モード: Dong et al [9 ] は3層の畳み込みのみを用いた最初の CNN ベースの画像SR を提案した LR画像とHR画像のマッピング関係を学習する。
0.82
Later on, VDSR [17], LapSRN [18], SRResNet [19], EDSR [20] and many other works [42, 43] use a deeper and wider (number of filters) CNN model to learn the mapping functions for superresolution. その後、vdsr [17], lapsrn [18], srresnet [19], edsr [20] など多くの作品[42, 43]は、より深くより広い(フィルターの数)cnnモデルを使用して、超解像のためのマッピング関数を学ぶ。 0.76
Back projection in CNN [12, 26] also sets a new CNN[12, 26]のバックプロジェクションも新たに設定される 0.84
path for image SR for which iterative residual update can minimize the feature distance for super-resolution. 反復的残差更新が超解像度の特徴距離を最小化できる画像SRのためのパス。 0.77
Recent studies [27, 8, 30] show that attention can learn non-local features for super-resolution, especially useful for larger images. 最近の[27, 8, 30]研究では、特に大きな画像において、高解像度の非局所的な特徴を学習できることが示されている。 0.57
Liu et al [27] proposed an attention based back projection network for large-scale super-resolution. Liu et al [27] は大規模超解像のための注目ベースのバックプロジェクションネットワークを提案した。 0.66
Dai et al [8] proposed higher-order attention using channel and spatial attention for image. Dai et al [8] は,画像のチャネルと空間的注意を用いた高次注意を提案する。 0.69
To fully explore the correlations in the channel dimension, Niu et al [30] proposed a holistic attention network for image super-resolution. チャネル次元の相関関係を解明するために、Nuらは画像超解像のための全体的注意ネットワークを提案した。 0.63
The above mentioned approaches train different convolutional neural network end-to-end to optimize mean squared errors between SR and HR pixels. 上記のアプローチは、SRとHRピクセル間の平均2乗誤差を最適化するために、さまざまな畳み込みニューラルネットワークのエンドツーエンドを訓練する。
訳抜け防止モード: 上記のアプローチは、異なる畳み込みニューラルネットワークの終端を訓練する SR と HR ピクセル間の平均2乗誤差を最適化する。
0.66
The problem is that using MSE to give equal weights to different pixels can cause blurry effect. 問題は、MSEを使って異なるピクセルに等しく重みを与えると、ぼやけた効果が生じることである。
訳抜け防止モード: 問題は MSEを使って異なるピクセルに等しい重みを与えると、ぼやけた効果が生じる。
0.78
To address this problem, many researchers have proposed generative learning approaches for image SR. この問題に対処するために、多くの研究者が画像SRのための生成学習アプローチを提案している。 0.59
2.2. Generative learning approaches for SR 2.2. SRのための生成学習アプローチ 0.75
Using generative learning approaches for image SR is a popular topic. 画像SRに生成学習アプローチを用いることが一般的なトピックである。 0.71
We can consider using a single CNN model for SR as discriminative learning that does not explore the data distribution for modelling. モデリングのためのデータ分布を探索しない識別学習として、srのための単一のcnnモデルを使うことを検討することができる。 0.65
On the other hand, generative learning approaches explicitly or implicitly study the data distribution for modelling. 一方、生成学習アプローチは、モデリングのためのデータ分布を明示的にまたは暗黙的に研究する。 0.74
Generative Adversarial Network [11] is one of the popular implicit generative approaches. Generative Adversarial Network [11]は、暗黙的な生成アプローチの1つだ。 0.78
It is also used in image SR. For example, SRGAN [19] uses GAN to train 4× SR. 例えば、SRGAN [19] は GAN を使って 4× SR の訓練を行っている。
訳抜け防止モード: 画像 SR にも使用されている。 例えば、SRGAN [19 ] は GAN を使って 4× SR を訓練する。
0.75
In order to generate more photo-realistic features, VGG based feature loss is used to minimize the deep feature distances between SR and HR images. より写真リアリスティックな特徴を生成するために、VGGに基づく特徴損失は、SR画像とHR画像の深い特徴距離を最小化するために用いられる。 0.73
ESRGAN [38] proposes to use relativistic GAN [16] to let the discriminator predict relative realness instead of the absolute value. ESRGAN[38]は、相対論的GAN[16]を用いて、識別者が絶対値ではなく相対現実性を予測することを提案する。
訳抜け防止モード: ESRGAN [38 ] の提案 相対論的 GAN [16 ] を用いて、判別器は絶対値ではなく相対現実性を予測する。
0.73
ESRGAN+ [32] further improves ESRGAN by introducing noise for to explore stochastic variations. ESRGAN+[32]は、確率的変動を探索するためのノイズを導入することでESRGANをさらに改善する。 0.58
Vartiaonal AutoEncoder is another choice for SR. vartiaonal autoencoderもsrの選択肢だ。 0.66
Different from GAN, VAE explicitly explores the data distribution for modelling. GANとは異なり、VAEはモデリングのためのデータ分散を明示的に探求する。 0.61
Liu et al [24] first proposed VAE for image super-resolution that achieves comparable performance as CNN based approaches. Liu et al [24]は、CNNベースのアプローチと同等のパフォーマンスを実現する画像超解像のためのVAEを最初に提案した。 0.59
Furthermore, [23] introduces a reference based face SR that uses the conditional VAE to achieve domain-specific super-resolution. さらに[23]は、条件付きVAEを用いてドメイン固有の超解像を実現する参照ベースの顔SRを導入する。 0.67
A sampling generator is proposed to constraint the choice of samples for better face reconstruction. 顔再建のためのサンプルの選択を制限するためにサンプリングジェネレータが提案されている。
訳抜け防止モード: サンプリングジェネレータの提案 顔の再現性を高めるために サンプルの選択を制限します
0.76
To avoid the blurry effect [10] caused by the sampling process in VAE, [25] uses VAE for both image super-resolution and denoising by combining GAN and VAE together so that it can use adversarial loss to encourage photo-realistic feature reconstruction. vaeにおけるサンプリング過程によるぼやけ効果[10]を避けるために、[25]は、ganとvaeを組み合わせることで、画像の超分解能とノイズ除去の両方にvaeを使用し、逆損失を利用してフォトリアリスティックな特徴の再構築を促進することができる。 0.60
Most recently, Lugmayr et al [29] proposed to use conditional normalizing flow to model image distribution for super-resolution and achieved good performance in both quantitative and qualitative results. 最近では、Lugmayrら[29]は、条件付き正規化フローを用いて超高分解能の画像分布をモデル化し、定量および定性的な結果の両方において優れた性能を達成することを提案した。 0.58
Normalizing flow based approaches can also be extended to image manipulation [4, 7]. フローベースアプローチの標準化は、画像操作にも拡張できる[4, 7]。 0.68
However, the whole normalizing flow structure is over-complex (approx. しかし, 正規化流動構造は概ね複雑である(約0。 0.77
50,000,000 parameters) which could 50,000,000のパラメータが 0.62
英語(論文から抽出)日本語訳スコア
be difficult for training. 2.3. 訓練は困難です 2.3. 0.63
Reference based Super-Resolution (RefSR) 参照ベーススーパーレゾリューション(refsr) 0.79
The development of reference based image superresolution (RefSR) is not a surprise to researchers. 開発 参照ベース画像超解像(RefSR)は研究者にとって驚きではない。 0.54
Originally, it comes from the non-local filtering. 元々は非局所的なフィルタリングに由来する。 0.74
The conventional learning based approaches are patch based process. 従来の学習ベースのアプローチはパッチベースのプロセスである。 0.73
In other words, the LR patches can be reconstructed by learning the mapping models from images/videos with similar contents [45, 46, 34, 44, 14]. 言い換えれば、LRパッチは、類似した内容の映像/映像からマッピングモデルを学習することにより再構成することができる[45,46,34,44,14]。 0.75
For example, k Nearest Neighbor (kNN) [14] can be used for online search so it limits the big data search. 例えば、k near neighbor (knn) [14] はオンライン検索に使用できるため、ビッグデータ検索を制限することができる。 0.80
Random Forests [21] is a fast algorithm that can classify training patches into different groups for diverse regression modelling. Random Forests [21]は、さまざまな回帰モデリングのために、トレーニングパッチを異なるグループに分類できる高速アルゴリズムである。 0.77
Reference based SR can also be achieved by using deep learning. 参照ベースSRはディープラーニングを使用することで実現できる。 0.66
[45] proposes to use an extra HR reference to guide SR. 45] ガイド sr に余分な hr 参照を使用することを提案する。 0.73
The idea is to use CNN to extract multi-scale HR features to fill the missing information for LR images. CNNを使ってマルチスケールのHR機能を抽出し、LR画像の不足情報を埋めることが目的だ。 0.74
Similarly, Zheng et al [46, 34] proposed a similar reference based SR approach using CNN. 同様に、Zheng et al [46, 34] はCNNを用いた類似の参照ベースSRアプローチを提案した。 0.72
The difference is that it uses flow warping operation to align LR and reference features for super-resolution. 違いは、LRと参照機能を超高解像度に調整するためにフローワープ操作を使用する点である。
訳抜け防止モード: 違いは フローワープ操作を使用して、LRとスーパー解像度の参照機能を調整します。
0.68
However, it still requires a pre-aligned reference for SR, or the warping operation cannot well match the feature maps. しかし、srの事前調整された参照が必要であるため、ウォーピング操作は機能マップとうまく一致しない。 0.56
Most recently, Tan et al [34] proposed a reference pool to expand the searching region for multireference based super-resolution. 最近ではTan et al [34] がマルチ参照に基づく超解像探索領域の拡張のための参照プールを提案している。 0.70
Not only CNN can be used for RefSR, Liu et al [23] proposed a face SR that uses an image from the same identity as reference. CNNはRefSRに利用できるだけでなく、Liu氏ら[23]は参照と同じIDのイメージを使用するフェイスSRを提案した。 0.74
The idea is to train a conditional Variational AutoEncoder to learn conditional distribution between the reference and LR image. 条件付き変分オートエンコーダを訓練し、基準画像とLR画像の間の条件分布を学習する。 0.69
The limitation is that it only investigates the facial image SR and the reference image has to be the face with the same identity. 制限は、顔画像SRのみを検査し、参照画像は同一の同一性を持つ顔である必要があることである。 0.78
It is not suitable for general image SR. 一般画像 SR には適さない。 0.62
The study of RefSR also reveals the ill-posed nature of SR that more than one SR image can be formed from a LR image. RefSRの研究は、複数のSR画像がLR画像から生成されるというSRの不正な性質も明らかにしている。 0.76
Depending on different external or internal images as reference, we can transfer reference features to fill out the missing information for LR image enlargement. 参照として外部または内部の異なる画像に依存するため、LR画像拡大のための不足情報を埋める参照特徴を転送することができる。 0.75
As described in the Learning the Super-Resolution Space Challenge [28], we can formulate the SR problem as learning a stochastic mapping, capable of sampling from the space of plausible high-resolution images given a low-resolution image. 超解像空間チャレンジ[28]の学習で説明されているように、低解像を与えられた可算高解像の空間からサンプリングできる確率写像の学習としてsr問題を定式化することができる。 0.66
By using an arbitrary reference image to expand data diversity, RefSR is one way to resolve SR space. データ多様性を拡大するために任意の参照画像を使用することで、RefSRはSR空間を解決する1つの方法である。
訳抜け防止モード: 任意の参照画像を使用してデータの多様性を拡大する。 RefSR は SR 空間を解く一つの方法である。
0.70
The advantage is that 1) multiple predictions can be generated and compared and 2) we allow users to choose references with desired patterns for interactive SR. 3. アドバンテージは,1)複数の予測を生成,比較し,2)対話型SR3.3の望ましいパターンで参照を選択できる点である。
訳抜け防止モード: 利点は 1)複数の予測を生成・比較でき、2 ) 対話型sr.3では,所望のパターンによる参照をユーザが選択できる。
0.83
Method In this section, we will give detailed introduction on the proposed Reference based image super-resolution approach via Variational AutoEncoder (RefVAE). 方法 本稿では、可変オートエンコーダ(RefVAE)を用いて、提案した参照ベース画像超解像手法の詳細を紹介する。 0.75
Let us formally define the image SR. 画像 SR を正式に定義します。 0.78
Mathematically, given a LR image X ∈ Rm×n×3 which has been down-sampled from the corresponding HR image Y ∈ R𝛼m×𝛼n×3, where (m, n) is the dimension the image and 𝛼 is the up-sampling factor. 数学的に、LR画像 X ∈ Rm×n×3 は対応する HR 像 Y ∈ Rαm×αn×3 から逆サンプリングされ、(m, n) は像の次元、α はアップサンプリング因子である。 0.74
They are related by the following degradation model, それらは、以下の分解モデルによって関連づけられる。 0.55
X = D ⊗ Y + 𝜇 X = D > Y + μ 0.81
(1) where ⊗ represents the down-sampling convolution, 𝜇 is the additive white Gaussian noise and D denotes the downsampling kernel. 1) がダウンサンプリング畳み込みを表す場合、μ は付加的な白色ガウス雑音であり、D はダウンサンプリング核を表す。 0.74
The goal of image SR is to resolve Equation 1 as the Maximum A Posterior (MAP) problem as, 画像SRの目標は、Equation 1 を最大 A Posterior (MAP) 問題として解決することである。 0.84
Y ˆY = arg max Y Y = arg max 0.77
𝑙𝑜𝑔𝑃(X|Y) + 𝑙𝑜𝑔𝑃(Y) logP(X|Y) + logP(Y) 0.98
(2) log𝑃(X|Y) reprewhere ˆY is the predicted SR image. 2) logP(X|Y) では、予測された SR 画像である。 0.77
sents the log-likelihood of LR images given HR images and log𝑃(Y) is the prior of HR images that is used for model optimization. logP(Y) は HR 画像の先行であり、モデル最適化に使用される。 0.48
Note that Equation 2 generally describes the optimization process that multiple SR ˆY can be found. 方程式 2 は一般に、複数のsr:y を見つけることができる最適化過程を記述する。 0.63
We can rewrite Equation 2 as Reference based SR, 𝑙𝑜𝑔𝑃(X, R𝑖|Y) + 𝑙𝑜𝑔𝑃(Y) Equation 2 を参照ベース SR, logP(X, Ri|Y) + logP(Y) として書き直すことができる。 0.79
ˆYi = arg max 𝑤ℎ𝑒𝑟𝑒 R𝑖 ∈ SR 𝑎𝑛𝑑 ˆYi ∈ SY y = arg max ここで Ri ∈ SR と yYi ∈ SY 0.85
Y (3) and we define the SR space as SY and the reference space as SR. Y (3) そして SR 空間を SY と定義し、参照空間を SR と定義する。 0.84
The desired SR image can be randomly sampled from SR space given arbitrary reference image. 所望のSR画像は任意の参照画像が与えられたSR空間からランダムにサンプリングすることができる。 0.67
The complete architecture of the proposed RefVAE is shown in Figure 2, which includes the training (upper half of the figure) and testing (lower half of the figure) stages. 提案されたrefvaeの完全なアーキテクチャは、図2に示され、トレーニング(図の半分以上)とテスト(図の半分以下)のステージが含まれています。 0.79
Our proposed RefVAE takes arbitrary references R𝑖 and LR images X for training and testing. 提案するRefVAEは、任意の参照RiとLR画像Xをトレーニングとテストのために利用する。 0.64
It includes three components: 1) VGG Encoder, 2) CVAE (in the pink box), and 3) Image Decoder. 1) VGG Encoder、2) CVAE(ピンクのボックス)、3) Image Decoderの3つのコンポーネントが含まれている。 0.80
The VGG Encoder is used to extract feature maps from LR and reference images. VGGエンコーダはLRと参照画像から特徴マップを抽出するために使用される。 0.78
CVAE is used to transfer reference features to a hidden space for conditional feature sampling. CVAEは、条件付き特徴サンプリングのために、参照機能を隠れた空間に転送するために使用される。 0.60
In other words, CVAE generates a candidate feature pool where random feature vectors can be sampled as conditional features. 言い換えれば、CVAEは、ランダムな特徴ベクトルを条件付き特徴としてサンプリングできる候補特徴プールを生成する。 0.79
The LR feature maps are split into mean and variance maps, then they compute with the conditional features to obtain the estimated features. LR特徴写像は平均と分散マップに分割され、条件付き特徴を用いて計算され、推定された特徴を得る。 0.74
Finally, the Image Decoder takes the estimated features for image reconstruction. 最後に、イメージデコーダは、画像再構成の見積機能を取ります。 0.66
3.1. VGG Encoder 3.1. VGGエンコーダ 0.72
The VGG Encoder follows the structure of VGG-19 by keeping all convolution layers and discarding the fully connection layers. VGGエンコーダは、すべての畳み込み層を保持し、完全な接続層を捨てることでVGG-19の構造に従う。
訳抜け防止モード: VGGエンコーダはVGG-19の構造に従う すべての畳み込み層を維持し 完全な接続層を捨てます
0.87
We directly use pre-trained VGG19 [33] to extract feature maps from references (𝐹R = 𝐺(R)) and the bicubic upsampled LR images (𝐹X = 𝐺(X)), where G stands for the process of VGG feature extraction. 我々は、VGG特徴抽出のプロセスにおいて、参照(FR = G(R))とバイコビックアップサンプリングされたLR画像(FX = G(X))から特徴写像を抽出するために、事前訓練されたVGG19[33]を直接使用する。 0.76
Inside the VGG Encoder, there are three maxpooling layers to downsample the input image by 8×. VGGエンコーダ内には、入力画像を8×ダウンサンプリングする最大層が3つある。 0.75
Note that we resize arbitrary reference images to 256 × 256 before passing it through the 任意の参照イメージを256 × 256にリサイズして、それを渡すことに注意してください。 0.69
英語(論文から抽出)日本語訳スコア
Figure 2: The training and testing processes of the proposed RefVAE. 図2: 提案されたRefVAEのトレーニングとテストプロセス。 0.74
It consists of 1) VGG Encoder (the green box), 2) Conditional Variational Variational AutoEncoder (CVAE) (the pink box), 3) Image Decoder (the dark green box), and Discriminator (Discrim.) 1)vggエンコーダ(グリーンボックス)、2)条件付き変動変動オートエンコーダ(cvae)(ピンクボックス)、3)画像デコーダ(ダークグリーンボックス)、および判別器(判別器)からなる。 0.66
for loss computation. Detailed structures of the Image Decoder and Feature Encoder/Decoder are also shown on the right bottom corner. 損失計算のために Image DecoderとFeature Encoder/Decoderの詳細な構造も右下隅に表示される。 0.79
VGG Encoder. Hence we have fixed reference feature maps as 𝐹R ∈ R32×32×512. VGGエンコーダ。 したがって、固定参照特徴写像は FR ∈ R32×32×512 である。 0.66
For LR images, we initially upsample them by Bicubic interpolation to the desired size. LR画像の場合、まずバイコビック補間によりそれらを所望の大きさにアップサンプリングする。 0.57
The reason of using pre-trained VGG Encoder is that: 1) VGG was trained for general image classification that the extracted feature maps are generalized to images with different contents and 2) we want to project the LR and reference images to a same feature domain such that we can fuse their features together for super-resolution. 事前学習したVGGエンコーダを使用する理由は,1) 抽出した特徴写像が異なる内容の画像に一般化されるような一般画像分類のためにVGGを訓練し,2) LRと参照画像を同じ特徴領域に投影し,それらの特徴を融合して超高分解能を実現するためである。 0.81
3.2. Conditional Variational AutoEncoder 3.2. 条件変動オートエンコーダ 0.73
We have the Conditional Variational AutoEncoder (CVAE) that projects the reference feature maps to a latent space to learn the hidden distribution via Feature Encoder. 条件付き変分オートエンコーダ(CVAE)があり、参照特徴写像を潜在空間に投影し、特徴エンコーダを介して隠れ分布を学習する。 0.69
The Feature Decoder learns to transfer the reference features as conditions 𝐶𝑅 for LR feature maps. 特徴デコーダは、LR特徴写像の条件CRとして参照特徴を転送することを学ぶ。 0.73
The combination of Feature Encoder and Decoder (for detailed structures: see the right of Figure 2) forms the Variational Inference process. 特徴エンコーダとデコーダ(詳細構造:図2の右を参照)の組み合わせは、変分推論プロセスを形成します。 0.75
The idea of Variational Inference is to learn the generative model for the reference images that can be represented by a Gaussian model as 𝑃(𝑧|R) = 𝑁 ∼ (𝑧; 𝜇(R), Σ(R)), where 𝜇 and Σ = 𝑑𝑖𝑎𝑔(𝜎2 𝑛) are the mean and variance of 1 the learned Gaussian model. 変分推論の考え方は、ガウスモデルで表現できる参照画像の生成モデルを P(z|R) = N > (z; μ(R), Σ(R)) として学習することであり、μ と Σ = diag(σ2 n) はガウスモデルの平均と分散である。
訳抜け防止モード: 変分推論の考え方は、ガウスモデルで表現できる参照画像の生成モデルを P(z|R ) = N > ( z ; μ(R ) として学習することである。 Σ(R ) ) ここで μ と Σ = diag(σ2 n ) は学習されたガウスモデルの 1 の平均と分散である。
0.83
In other words, we learn the pixel inter-correlations and represent them as a probability model. 言い換えれば、画素間の相関を学習し、確率モデルとして表現する。 0.71
We introduce randomness by the sampling process. サンプリングプロセスによりランダム性を導入する。 0.75
As the Gaussian curve shown in Figure 2, we use a normal distribution 𝑄(𝑧) = 𝑁 ∼ (0, 𝐼) to sample from the reference model as 𝑧 = 𝜇 + 𝜖 · 𝜎. 図2で示されるガウス曲線として、基準モデルからz = μ + ε · σ としてサンプルするために正規分布 q(z) = n (0, i) を用いる。 0.81
To ensure the learned probability model close to a normal distribution, we use KL divergence to optimize the model as, 学習確率モデルを正規分布に近いものにするために、KL分散を用いてモデルを最適化する。 0.84
, ..., 𝜎2 𝐷𝐾 𝐿(𝑃(𝑧|R)||𝑄(𝑧)) = 𝐸[𝑙𝑜𝑔𝑃(𝑧|R) − 𝑄(𝑧)] , ..., 𝜎2 DK L(P(z|R)||Q(z)) = E[logP(z|R) − Q(z)] 0.92
(cid:32) −∑︁ (cid:32) −∑︁ 0.78
= 1 2 (𝑙𝑜𝑔𝜎2 = 1 2 (𝑙𝑜𝑔𝜎2 0.86
𝑖 + 1) +∑︁ 𝑖 + 1) +∑︁ 0.99
𝑖 +∑︁ 𝜎2 (cid:33) 𝑖 +∑︁ 𝜎2 (cid:33) 0.82
𝜇2 𝑖 (4) 𝑖 𝜇2 𝑖 (4) 𝑖 0.86
𝑖 𝑖 During the testing, we can discard the Feature Encoder as many existing VAE based image reconstruction [31, 15]. 𝑖 𝑖 テスト中、既存のVAEベースの画像再構成[31, 15]のようにFeature Encoderを捨てることができます。 0.82
We can use vectors sampled from the normal distribution as conditional priors for super-resolution. 超解像の条件付き先行値として正規分布からサンプリングしたベクトルを用いることができる。 0.58
We can also keep the Feature Encoder to allow user to define their own reference image for customized super-resolution. また、スーパーレゾリューションをカスタマイズするために、ユーザーが自身の参照イメージを定義できるようにFeature Encoderを維持できます。 0.61
That is, we keep the Feature Encoder to extract specific prior distribution 𝑃(𝑧|R) = 𝑁 ∼ (𝑧; 𝜇(R), Σ(R)) as prior conditions for super-resolution. すなわち、特徴エンコーダは特定の事前分布 P(z|R) = N > (z; μ(R), Σ(R)) を超分解能の先行条件として抽出する。 0.74
Next, to obtain the conditional feature maps 𝐶R, we use one convolution block to project the learned distribution back to the spacial domain (we also resize it to the same size as the LR feature map via simple interpolation). 次に、条件付き特徴写像CRを得るために、学習した分布を空間領域に投影するために1つの畳み込みブロックを用いる(簡単な補間によりLR特徴写像と同じ大きさに再分類する)。 0.69
In order to transfer the conditional features to the LR feature map, we use a convolution block to learn the mean and variance (note that the mean and variance are the spatial statistics of the feature maps, rather than the variables of the Gaussian distribution) for the LR feature maps as 𝐹𝜇 and 𝐹Σ. LR特徴写像に条件付き特徴を移すために、FμおよびFΣとしてLR特徴写像の平均と分散(平均と分散はガウス分布の変数ではなく特徴写像の空間統計であることに注意)を学ぶために畳み込みブロックを用いる。
訳抜け防止モード: 条件付き特徴をLR特徴マップに転送する。 平均と分散を学習するために、畳み込みブロックを使用します(平均と分散が特徴写像の空間統計であることに注意してください)。 LR特徴量のガウス分布 ) の変数ではなく、Fμ と FΣ として写像される。
0.79
We then have the fused features as 𝐹𝑋 |𝑅 = 𝐶𝑅·(1+ 𝐹Σ)+ 𝐹𝜇. FX |R = CR·(1+ FΣ)+ Fμ である。 0.64
3.3. Image Decoder 3.3. 画像デコーダ 0.73
Finally, the Image Decoder learns to reconstruct the SR image from the fused feature maps ˆY. 最後に、画像デコーダは、融合した特徴写像からSR画像の再構成を学習する。 0.75
The structure of Image Decoder (dark green boxes in Figure 2) has a similar Image Decoder(図2のダークグリーンボックス)の構造は類似している 0.84
VGG EncoderFeature EncoderFeature Decoderconvresizecon vBic upconvImage DecoderSRDiscrim.KL{N(z|, ), N(0, I)}~N(0, I)Style lossGAN lossContent lossVGG EncoderFeature EncoderFeature Decoderconvresizecon vBic upconvImage DecoderSRKL{N(z|, ), N(0, I)}~N(0, I)References R LR image X LR image X References R (optional) Training processTesting processconvConvoluti on + Leaky ReLUBicubic upsamplingBic upFeature mapsElement-wise multiplicationCVAECV AE𝐹(cid:3019)𝐹(cid:3025)𝐶(cid:3019)𝐹(cid:3091)𝐹𝐹(cid:3025)|(cid:3019)𝐹(cid:3025)|(cid:3019)𝐹(cid:3019)𝐹(cid:3025)𝐶(cid:3019)𝐹(cid:3091)𝐹SR image Y’ HR image YSR image Y’ convconvBic upconvBic upconvBic upReshape to 1dFC (16384512)256256256FC (25616384)16384Reshape to 2dImage DecoderFeatureEncode rFeatureDecoderResiz e to 256256Resize to 256256Structures of Image Decoder and Feature Encoder/DecoderVGG Encoder VGG EncoderFeature EncoderFeature Decoderconvresizecon vBic upconvImage DecoderSRDiscrim.KL{N(z|, ), N(0, I)}~N(0, I)Style lossGAN lossContent lossVGG EncoderFeature EncoderFeature Decoderconvresizecon vBic upconvImage DecoderSRKL{N(z|, ), N(0, I)}~N(0, I)References R LR image X LR image X References R (optional) Training processTesting processconvConvoluti on + Leaky ReLUBicubic upsamplingBic upFeature mapsElement-wise multiplicationCVAECV AE𝐹(cid:3019)𝐹(cid:3025)𝐶(cid:3019)𝐹(cid:3091)𝐹𝐹(cid:3025)|(cid:3019)𝐹(cid:3025)|(cid:3019)𝐹(cid:3019)𝐹(cid:3025)𝐶(cid:3019)𝐹(cid:3091)𝐹SR image Y’ HR image YSR image Y’ convconvBic upconvBic upconvBic upReshape to 1dFC (16384512)256256256FC (25616384)16384Reshape to 2dImage DecoderFeatureEncode rFeatureDecoderResiz e to 256256Resize to 256256Structures of Image Decoder and Feature Encoder/DecoderVGG Encoder 0.83
英語(論文から抽出)日本語訳スコア
structure as the VGG Encoder stacking three convolution layers followed by a simple bilinear interpolation. 3つの畳み込み層を積み重ねたVGGエンコーダとしての構造を持ち、続いて単純な双線形補間を行う。 0.58
3.4. Training losses To train the proposed RefVAE to generate SR results with photo-realistic visual quality, we suggest to use a discriminator to reduce the perceptual distance between SR and ground truth images. 3.4. 訓練損失 提案したRefVAEを用いて、写真リアルな視覚的品質でSR結果を生成するために、SRと地上の真理画像の知覚距離を減らすために判別器を使用することを提案する。 0.70
We design the same discriminator as PatchGAN [37] and the adversarial loss is defined as, 我々はPatchGAN[37]と同じ判別器を設計し、対角損失を次のように定義する。 0.69
𝐿𝑎𝑑𝑣 = 𝑙𝑜𝑔[1 − 𝐷( ˆY)] 𝐿𝑎𝑑𝑣 = 𝑙𝑜𝑔[1 − 𝐷( ˆY)] 0.85
(5) The idea of using style and content losses for style transfer [31, 15] is an efficient approach to transfer the reference style to the target image while preserving the content information. (5) スタイル伝達 [31, 15] にスタイルとコンテンツ損失を用いるという考え方は、コンテンツ情報を保持しながら、対象画像に参照スタイルを転送する効率的な手法である。 0.90
It is also suitable for reference based SR. We not only want the SR image close to the ground truth, but we also want it close to the reference image in terms of style similarity. また, 参照ベースSRにも適しており, SRイメージを真実に近いものにしたいだけでなく, スタイルの類似性の観点からも参照画像に近いものにしたい。 0.82
In other words, we want to ensure the reference features to be transferred to the LR images. 言い換えれば、レファレンス機能がLR画像に転送されることを確実にしたいのです。 0.68
Content loss For content loss, we extract features for the HR image Y and the SR ˆY using VGG-19 [33] (we take the feature map at relu4_1 layer). コンテンツ損失 VGG-19 [33] を用いて, HR画像Y と SR >Y の特徴を抽出する(relu4_1 層で特徴写像をとる)。 0.80
We refer these features to as 𝑊Y and 𝑊 ˆY, respectively. これらの特徴をそれぞれ WY と W に言及する。 0.63
For pixel-wised difference, we also have the 𝐿1 loss between SR and HR and their down-sampled versions. ピクセルワイズの違いとして、SRとHRのL1ロスと、そのダウンサンプリングバージョンがある。 0.66
Totally, we have the content loss as, 完全に、コンテンツの損失は次のとおりです。 0.64
(cid:13)(cid:13)1+(cid:13)(cid:13)Y − ˆY(cid:13)(cid:13)1+(cid:13)(cid:13)𝐷𝑜𝑤𝑛(Y) − 𝐷𝑜𝑤𝑛( ˆY)(cid:13)(cid:13)1 . (cid:13)(cid:13)1+(cid:13)(cid:13)Y − sY(cid:13)(cid:13)1+(cid:13)(cid:13)Down (Y) − Down( sY)(cid:13)(cid:13)1 0.80
𝐿content =(cid:13)(cid:13)𝑊Y − 𝑊 ˆY Lcontent = (cid:13)(cid:13)WY − W >Y 0.80
where Down is the 𝛼× bicubic down-sampling operator. ダウンは α×bicubicdown-sampling operator である。 0.75
Style loss. To measure the style similarity, we use VGG-19 to extract feature maps (relu1_2, relu2_2, relu3_4, relu4_1) for the reference image R and the SR image ˆY as 𝑉R and 𝑉 ˆY. スタイルの喪失。 スタイルの類似性を測定するために、VGG-19を用いて、参照画像RとSR画像SRYとをVRとV/Yとして特徴マップ(relu1_2,relu2_2,rel u3_4,relu4_1)を抽出する。 0.73
Similar to [31], we measure their mean and variance to align the SR features close to the reference features as: 31]と同様、それらの平均と分散を測定して、参照特徴に近いSR特徴を次のように整列する。 0.73
(6) 𝐿style = (6) Lstyle = 0.85
(cid:107)𝑚𝑒𝑎𝑛(𝑉 𝑖 (cid:107)mean(V i) 0.83
Y − 𝑉 𝑖 y − v i である。 0.58
ˆY)(cid:107)1 + (cid:107)𝑣𝑎𝑟(𝑉 𝑖 (cid:107)1 + (cid:107)var(v i) 0.88
Y − 𝑉 𝑖 y − v i である。 0.58
ˆY)(cid:107)1 . 背番号:107)1。 0.44
(7) where mean and std are the operations for calculating the mean and variance of the feature maps. (7) ここで、平均とstdは特徴写像の平均と分散を計算する演算である。 0.73
In order to have SR images visually close to the HR image, the LPIPS loss [41] is used to measure perceptual differences as 𝐿 𝐿 𝑃𝐼 𝑃𝑆( ˆY, Y). LPIPS損失[41]は、HR画像にSR画像を視覚的に近接させるために、LLPI PS( ~Y,Y)として知覚差を測定するために用いられる。 0.79
The Total Variation loss 𝐿𝑇 𝑉 ( ˆY) is used to encourage smooth quality, for which we calculate the first-order horizontal and vertical pixel gradients as トータル変分損失LTV(LTY)はスムーズな品質を促進するために用いられ、これにより1次水平および垂直画素勾配を計算できる。 0.75
(cid:16)( ˆY𝑖, 𝑗−1 − ˆY𝑖, 𝑗)2 + ( ˆY𝑖−1, 𝑗 − ˆY𝑖, 𝑗)2(cid:17) 𝛽 (cid:16)(j−1 − syi, j)2 + ( syi−1, j − syi, j)2(cid:17) β) 0.85
∑︁ 𝑖 ∑︁ 𝑖, 𝑗 ∑︁ 𝑖 ∑︁ 𝑖, 𝑗 0.82
Figure 3: Training Losses in the proposed RefVAE. 図3: 提案されたRefVAEでのトレーニング損失。 0.68
It consists of 1) Content loss, 2) Style loss, 3) KL loss, 4) TV loss, 5) LPIPS loss and 6) Adversarial loss. 1) コンテンツロス, 2) スタイルロス, 3) klロス, 4) tvロス, 5) lpipsロス, 6) 逆損失である。 0.57
where 𝜆𝑐𝑜𝑛𝑡𝑒𝑛𝑡, 𝜆𝑠𝑡 𝑦𝑙𝑒, 𝜆𝐿 𝑃𝐼 𝑃𝑆, 𝜆𝑇 𝑉 and 𝜆𝐾 𝐿 are the weighting parameters for content loss, style loss, LPIPS loss, TV loss and KL loss. ここで、λcontent, λst yle, λL PI PS, λT V, λK Lは、コンテンツ損失、スタイル損失、LPIPS損失、TV損失、KL損失の重み付けパラメータである。 0.80
Figure 3 shows a summary of all the loss terms for readers’ reference. 図3は、読者の参照に対する損失条件の要約を示しています。 0.76
4. Experiments 4.1. Data Preparation and Network Details 4. 実験4.1。 データ作成とネットワークの詳細 0.79
We trained our model on DIV2K [36] and Flickr2K [20] datasets. DIV2K [36]とFlickr2K [20]データセットでモデルをトレーニングしました。 0.62
They both contain images with resolution larger than 1000×1000. どちらも1000×1000以上の解像度の画像を含んでいる。 0.65
We extracted LR and HR patches from the training dataset with the size of 32×32 and 32𝛼×32𝛼, respectively, where 𝛼=8 is the upsampling factor. トレーニングデータセットから,それぞれ32×32と32α×32αのlrとhrのパッチを抽出し,α=8をアップサンプリング因子とした。
訳抜け防止モード: トレーニングデータセットからLRおよびHRパッチを32×32と32α×32αで抽出した。 α=8がアップサンプリング因子である。
0.80
The downsampling process is done by bicubic interpolation. ダウンサンプリングプロセスは、bicubic interpolationによって行われる。 0.60
For the reference image, we used Wikiart [1] that is widely used in style transfer. 参照画像には、スタイル転送で広く使われているWikiart [1]を使用しました。 0.78
The testing datasets included Set5 [5], Set14 [40], Urban100 [13] and DIV2K validation [36]. テストデータセットには、set5 [5]、set14 [40]、urban100 [13]、div2k validation [36]が含まれる。 0.70
We conducted our experiments using Pytorch 1.7 on a PC with one NVIDIA GTX1080Ti GPU. NVIDIA GTX1080Ti GPUを用いたPC上でPytorch 1.7を用いた実験を行った。 0.72
During the training, we set the learning rate to 0.0001 for all layers. トレーニング中は、すべてのレイヤで0.0001に学習率を設定しました。 0.64
The batch size was set to 16 and we trained it for 5×104 iterations. バッチサイズは16に設定され、5×104イテレーションでトレーニングしました。 0.71
For optimization, we used Adam with the momentum equal to 0.9 and the weight decay of 0.0001. 最適化では、モーメントが0.9、重量減衰が0.0001であるAdamを用いた。 0.71
During the training, we set 𝜆𝑐𝑜𝑛𝑡𝑒𝑛𝑡 = 1, 𝜆𝑠𝑡 𝑦𝑙𝑒 = 10, 𝜆𝐿 𝑃𝐼 𝑃𝑆 = 1, 𝜆𝑇 𝑉 = 1 and 𝜆𝐾 𝐿 = 1, which are the weighting parameters for content loss, style loss, LPIPS loss, TV loss and KL loss. 学習中、λcontent = 1, λst yle = 10 λl pi ps = 1, λt v = 1 および λk l = 1 を、コンテンツ損失、スタイル損失、lpips損失、tv損失、kl損失の重み付けパラメータとして設定する。 0.77
The executive codes and more experimental results can be found in: https://github.com/H olmes-Alan/RefVAE エグゼクティブコードとより実験的な結果は、https://github.com/H olmes-Alan/RefVAEで確認できる。 0.54
Metrics. For evaluation, we have used several metrics: PSNR measures the average pixel differences between ground truth and estimation. メトリクス。 評価にはいくつかの指標を用いた: PSNRは、地上の真実と推定の間の平均画素差を測定する。 0.64
SSIM [39] measures the structural similarity between ground truth and estimation. ssim [39] は基底真理と推定の間の構造的類似性を測定する。 0.68
1 LPIPS [41] measures the perceptual similarity between ground truth and estimation. 1lpips [41] は基底真理と推定の知覚的類似性を測定する。 0.66
Diverse score measures the 𝐿𝑇 𝑉 = 多様なスコアは 𝐿𝑇 𝑉 = 0.68
. (8) Total loss. . (8) 総損失。 0.79
We have the total loss as, 総損失は以下のとおりである。 0.55
𝐿style =𝜆𝑐𝑜𝑛𝑡𝑒𝑛𝑡 𝐿content + 𝜆𝑠𝑡 𝑦𝑙𝑒 𝐿style + 𝜆𝐿 𝑃𝐼 𝑃𝑆 𝐿LPIPS Lstyle =λcontent Lcontent + λst yle Lstyle + λL PI PS LLPIPS 0.90
+ 𝜆𝑇 𝑉 𝐿TV + 𝜆𝐾 𝐿 𝐿KL . λT V LTV + λK L LKL 。 0.81
(9) 1To calculate PSNR and SSIM, we first convert the SR and ground truth (9) 1PSNRとSSIMを計算するためには、まずSRと基底真理を変換する。 0.77
images from RGB to YCbCr and take the Y channel for computation. RGBからYCbCrへのイメージをYチャネルで計算します。 0.76
RX𝒀(cid:3553)Yrelu1_1re lu2_1relu3_1relu4_1S tyle lossContent lossDiscriminator01A dversarial lossKL lossTV lossAlexNetVGG16LPIP S lossReferenceLR imageSR imageHR image rxy(cid:3553)yrelu1_ 1relu2_1relu3_1relu4 _1style losscontent lossriminator01adver sarial losskl losstv lossalexnetvgg16lpip s lossreferencelr imagehr imager 0.43
英語(論文から抽出)日本語訳スコア
Figure 4: Visualization of 8× SR on different datasets using different SR methods. 図4: 異なるSRメソッドを使用して、異なるデータセット上の8×SRの可視化。 0.68
(a) is from Set14, (b) is from Urban100, (c) and (d) are from DIV2K validation. a) は Set14, (b) は Urban100, (c) と (d) は DIV2K の検証である。 0.83
Table 1: Comparison with state-of-the-art methods. 表1:最先端の方法との比較。 0.65
We compare with SRNTT and SRFlow on 8× super-resolution on PSNR (dB), SSIM and LPIPS. 我々は,PSNR (dB), SSIM, LPIPSの8倍超解像におけるSRNTTとSRFlowとの比較を行った。 0.70
Methods Bicubic SRNTT(HR) SRNTT(LR) バイコビック法 SRNTT(HR) SRNTT(LR) 0.63
SRFlow Our(LR) Our(HR) SRFlow Our(LR) Our(HR) 0.85
Our(random) 私たちの(ランダム) 0.74
PSNR ↑ 24.39 24.69 24.36 24.18 25.87 25.92 25.94 PSNR ↑ 24.39 24.69 24.36 24.18 25.87 25.92 25.94 0.49
Set5 SSIM ↑ 0.657 0.674 0.655 0.650 0.723 0.724 0.721 Set5 SSIM: 0.657 0.674 0.655 0.650 0.723 0.724 0.721 0.46
LPIPS ↓ 0.537 0.492 0.522 0.237 0.214 0.218 0.224 LPIPS ↓ 0.537 0.492 0.522 0.237 0.214 0.218 0.224 0.49
PSNR ↑ 23.19 23.16 23.16 22.13 24.15 24.20 24.28 PSNR ↑ 23.19 23.16 23.16 22.13 24.15 24.20 24.28 0.49
Set14 SSIM ↑ 0.568 0.564 0.564 0.513 0.598 0.601 0.601 Set14 SSIM > 0.568 0.564 0.564 0.513 0.598 0.601 0.601 0.45
LPIPS ↓ 0.630 0.613 0.613 0.331 0.323 0.327 0.328 LPIPS ↓ 0.630 0.613 0.613 0.331 0.323 0.327 0.328 0.49
PSNR ↑ 23.67 23.63 23.65 22.96 24.15 24.18 24.25 PSNR ↑ 23.67 23.63 23.65 22.96 24.15 24.18 24.25 0.49
BSD100 SSIM ↑ 0.547 0.542 0.543 0.499 0.558 0.561 0.561 BSD100 0.547 0.542 0.543 0.499 0.558 0.561 0.561 0.50
LPIPS ↓ 0.713 0.687 0.691 0.425 0.376 0.386 0.384 LPIPS ↓ 0.713 0.687 0.691 0.425 0.376 0.386 0.384 0.49
PSNR ↑ 21.24 Urban100 SSIM ↑ 0.516 国鉄21.24 urban100 シム0.516 0.57
LPIPS ↓ 0.686 LPIPS~0.686 0.53
PSNR ↑ 25.17 PSNR 25.17 0.82
DIV2K validation SSIM ↑ 0.664 DIV2K検証 SSIMは0.664。 0.52
LPIPS ↓ 0.584 LPIPS~0.584 0.55
- 24.53 24.75 24.94 25.00 - 24.53 24.75 24.94 25.00 0.65
- 0.616 0.641 0.650 0.650 - 0.616 0.641 0.650 0.650 0.65
- 0.272 0.232 0.201 0.202 - 0.272 0.232 0.201 0.202 0.65
- 20.676 21.74 21.80 21.85 - 20.676 21.74 21.80 21.85 0.65
- 0.531 0.575 0.575 0.576 - 0.531 0.575 0.575 0.576 0.65
- 0.300 0.334 0.332 0.358 - 0.300 0.334 0.332 0.358 0.65
spanning of the SR space. SR空間に広がっています 0.73
We follow the same measurement defined by NTIRE2021 SR space challenge [28]. NTIRE2021 SR空間チャレンジ[28]で定義されるのと同じ測定結果に従う。 0.71
We sampled 10 images, and densely calculated a metric between the samples and the ground truth. 10枚の画像をサンプリングし,サンプルと地上の真実の計量を密に算出した。 0.69
To obtain the local best we pixel-wisely selected the best score out of the 10 samples and took the full image’s average. ローカルのベストを得るために、私たちは10のサンプルの中からベストスコアを選び、画像全体の平均値を取りました。 0.65
The global best was obtained by averaging the whole image’s score and selecting the best. グローバルベストは、画像全体のスコアを平均化し、ベストを選択することで得られる。 0.77
Finally, we calculated the score as: (global bestlocal best)/(global best) × 100. 最後に,スコアを次のように算出した。 (グローバルベスト)/(グローバルベスト)×100。 0.78
4.2. Compare with state-of-the-art methods 4.2. 最先端技術との比較 0.61
Our proposed RefVAE is for diverse image superresolution that is able to generate many SR results. 提案するrefvaeは、多数のsr結果を生成することができる多彩な画像超解像用である。 0.54
We consider two types of related SR methods for comparison: reference based image SR and generative model based image SR. 本稿では,参照ベース画像SRと生成モデルベース画像SRの2種類の関連SR手法を比較した。 0.80
The SR approaches we compare with are: SRNTT [44], reference based SR using similar image as reference for online warping, and SRFlow [29], normalizing flow based SR 私たちが比較したsrアプローチは、srntt [44]、同様のイメージをオンラインワーピングの基準として使用するリファレンスベースsr、フローベースsrを正規化するsrflow [29]である。 0.61
(a). ppt3(b). (a) ppt3(b)。 0.73
img076(c). img076(c) である。 0.69
0816(d). 0897LRSRNTTSRFlowOur (LR)Ground truthLRSRFlowOur (noise)Our (LR)Ground truthLRSRFlowOur (noise)Our (LR)Ground truthLRSRFlowOur (noise)Our (LR)Ground truth 0816(d)。 0897LRSRNTTSR FlowOur (LR)Ground truthLRSRFlowOur (noise)Our (LR)Ground truthLRSRFlowOur (noise)Our (LR)Ground truthLRFlowOur (noise)Our (LR)Ground truth 0.84
英語(論文から抽出)日本語訳スコア
Figure 5: Visualization of 8× SR on using different reference images. 図5: 異なる参照画像を用いた8×SRの可視化。 0.86
To visualize the differences, we subtract the SR to the ground truth HR image to obtain the residual map. 差分を可視化するため, SRを地上の真理HR画像に抽出し, 残差マップを得る。 0.73
Then we multiple the residual map by 5 to enhance the differences. 次に残差写像を5倍に重ねて差を増大させる。 0.65
We also show two examples of using LR and HR images as references for SR. また、SRの基準としてLRとHRの2つの例を示す。 0.76
The significant differences are marked in yellow circles. 重要な違いは黄色の円で示される。 0.75
that predicts multiple SR results. 複数のSR結果を予測する。 0.69
2 In Table 1, we show the overall comparison with SRNTT and SRFlow on 8× image super-resolution on Set5, Set14, BSD100, Urban100 and DIV2K validation datasets. 2表1では,SRNTTとSRFlowをSet5,Set14,BSD100,Ur ban100,DIV2Kの8倍の解像度で比較した。 0.71
It is seen that our proposed RefVAE can achieve the best PSNR, SSIM and LPIPS by about 2 dB, 0.1 and 0.01, respectively. 提案したRefVAEは,それぞれ約2dB,0.1,0.01で最高のPSNR,SSIM,LPIPSを実現することができる。 0.71
Note that SRNTT [44] was originally trained and tested on specific CUFED5 dataset [44] for which each image has five images with similar contents. SRNTT[44]は、まず、CUFED5データセット[44]で訓練され、テストされた。
訳抜け防止モード: SRNTT [44 ] は元々、CUFED5データセット [44 ] でトレーニングされ、テストされた。 それぞれの画像には 似た内容の5つの画像があります
0.63
For a fair comparison, we tested SRNTT by using LR and HR images as reference for SR, which are SRNTT(LR) and SRNTT(HR). 比較として,SRNTT(LR)とSRNTT(HR)をSRの基準として,LRおよびHR画像を用いてSRNTTを試験した。 0.90
3 Similarly, we also tested our proposed RefVAE by using LR and HR images as Our(LR) and Our(HR), respectively. 同様に、提案したRefVAEについても、LRとHRの画像をOur(LR)とOur(HR)として使用することで検証した。 0.69
Visually, we show four examples in Figure 4. 図4に示すのは4つの例です。 0.77
It can be seen that our proposed method can restore the details better than others. 提案手法は他の手法よりも詳細を復元できることを示すことができる。 0.80
Especially, it is seen that SRFlow collapses on several cases. 特にSRFlowはいくつかのケースで崩壊する。 0.67
2Note that since most of state-of-the-art SR approaches are dedicated for producing one prediction with high PSNR and do not consider the possibility of multiple SR results, it is not our intention to compete with those approaches in terms of PSNR and SSIM. 2 最先端のSRアプローチの多くは、高いPSNRで1つの予測を生成し、複数のSR結果の可能性を考慮していないため、PSNRとSSIMの観点からこれらのアプローチと競合する意図はない。 0.80
3Note also that SRNTT requires a lot of memory for online warping. 3注意: SRNTTはオンラインワープに大量のメモリを必要とする。 0.64
Larger image SR cannot be done on one GPU, hence we did not have the results for Urban100 and DIV2K. より大きな画像SRは1つのGPUでは実行できないため、Urban100とDIV2Kの結果は得られなかった。 0.74
For example, SRFlow generated a large black region on ppt3. 例えば、SRFlow は ppt3 上で大きな黒領域を生成した。 0.75
It also produces holes on img076, 0816 and 0897 with noises. img076、0816、0897のノイズに穴をあける。 0.53
For SRNTT, it generated blurry results without restoring sharp edges. SRNTTでは、シャープエッジを復元することなくぼやけた結果を生成する。 0.55
On the other hand, our proposed RefVAE can generate plausible SR results with sharp edges and textures. 一方,提案するrefvaeは鋭いエッジとテクスチャでsr結果を生成することができる。 0.62
More importantly, we are interested in the ability of expansion of SR space. さらに重要なことに、我々はSR空間の拡張能力に興味を持っている。 0.74
Since our proposed RefVAE can take arbitrary references for super-resolution, we can measure the diversity by using Diverse score defined in NTIRE2021 SR space challenge [28]. 提案したRefVAEは,超解像のための任意の参照を取ることができるため,NTIRE2021 SR空間チャレンジ[28]で定義されたDiverseスコアを用いて多様性を測定することができる。 0.62
As discussed in Section III, our proposed RefVAE can take random noise or external images as references. 第3節で論じたように、提案したRefVAEはランダムノイズや外部画像を参照することができる。 0.64
In Table 2, we randomly chose 10 images from WikiArt as references for SR. We also use LR image itself and HR image as references. 表2では、SRの参照としてWikiArtからランダムに10の画像を選択しました。また、LR画像自体とHR画像も参照として使用しています。 0.62
We list the results on SR estimation as SR PSNR, SR SSIM and SR LPIPS. SR推定結果について,SRPSNR,SRSSIM,SRLPI PSとしてリストアップする。 0.74
It can be seen that the proposed RefVAE can generate different SR images (different PSNR and SSIM) given different references. 提案したRefVAEは、異なる参照に対して異なるSR画像(異なるPSNRとSSIM)を生成することができる。 0.85
It demonstrates that the proposed RefVAE can expand the SR space by a large margin. 提案されたRefVAEは、SR空間を大きなマージンで拡張できることを示す。 0.82
In the meantime, we do not want to distort SR images to be far away from the ground truth LR images. 一方、SR画像が地上の真理LR画像から遠く離れるように歪めたくない。
訳抜け防止モード: その間、私たちは望んでいません 地上の真理LR画像から遠く離れるようにSR画像を歪ませる。
0.78
Hence, we down- そのため、我々は下降する。 0.44
SR resultsReferences Residual mapSR resultsReferences Residual map(a) (b) (c) (d) (e) (f) (g) (h) (i) (j) LR HR SR resultsReferences Residual mapSR resultsReferences Residual map(a) (b) (c) (d) (e) (f) (g) (h) (i) (j) LR HR 0.85
英語(論文から抽出)日本語訳スコア
Table 2: Analysis on SR space of RefVAE on DIV2K dataset. 表2:DIV2Kデータセット上のRefVAEのSR空間の解析 0.80
The PSNR, SSIM and LPIPS on SR estimation are indicated as SR PSNR, SR SSIM and SR LPIPS, while for LR estimation they are respectively indicated as LR PSNR and LR SSIM. SR推定におけるPSNR、SSIM、LPIPSはそれぞれSR PSNR、SR SSIM、SR LPIPSと表され、LR推定ではLR PSNR、LR SSIMと表される。 0.71
The overall estimation using SRFlow and our methods are shown in the 2nd half of the table. SRFlowと我々の手法を用いた全体推定は,表の後半に示す。 0.66
Reference Ref. 1 Ref. 参照 Ref 1レヴュー。 0.60
2 Ref. 3 Ref. 2回。 3レヴュー。 0.55
4 Ref. 5 Ref. 6 Ref. 4回。 5回。 6回。 0.53
7 Ref. 8 Ref. 7レヴュー。 8回。 0.58
9 Ref. 10 LR HR 9回。 10 LR HR 0.75
SR PSNR ↑ 24.27 25.18 25.03 24.76 25.28 25.17 24.62 25.04 24.27 24.42 25.31 25.40 SR PSNR! 24.27 25.18 25.03 24.76 25.28 25.17 24.62 25.04 24.27 24.42 25.31 25.40 0.54
SR SSIM ↑ 0.616 0.661 0.654 0.644 0.664 0.662 0.627 0.659 0.611 0.615 0.664 0.665 SR SSIM! 0.616 0.661 0.654 0.644 0.664 0.662 0.627 0.659 0.611 0.615 0.664 0.665 0.52
SR LPIPS ↓ 0.310 0.306 0.304 0.302 0.314 0.306 0.298 0.307 0.320 0.310 0.306 0.308 SRLPIPS! 0.310 0.306 0.304 0.302 0.314 0.306 0.298 0.307 0.320 0.310 0.306 0.308 0.36
LR PSNR ↑ 42.90 44.55 44.37 43.93 44.80 44.81 43.43 44.26 42.86 42.30 46.21 45.63 LR PSNR! 42.90 44.55 44.37 43.93 44.80 44.81 43.43 44.26 42.86 42.30 46.21 45.63 0.55
LR SSIM ↑ 0.996 0.997 0.997 0.997 0.997 0.997 0.996 0.997 0.996 0.996 0.997 0.997 LR SSIM! 0.996 0.997 0.997 0.997 0.997 0.997 0.996 0.997 0.996 0.996 0.997 0.997 0.51
Overall Estimation SRFlow 総合評価 SRFlow 0.69
24.46 24.89 24.46 24.89 0.59
Div. score: 10.07 Our (Reference) Div. div。 スコア: 10.07 我々の (参照) Div。 0.71
score: 14.80 Our (Random) Div. スコア:14.80 our (random) div。 0.72
score: 14.91 Table 3: Ablation study of RefVAE on DIV2K dataset on 8× super-resolution. スコア: 14.91 Table 3: 8倍超解像度のDIV2Kデータセット上のRefVAEのアブレーション研究。 0.55
We report the average across datasets. データセットの平均を報告します。 0.66
0.308 24.91 0.308 24.91 0.59
0.997 0.321 0.997 0.321 0.59
0.615 0.641 0.615 0.641 0.59
0.642 51.18 0.642 51.18 0.59
44.17 44.77 44.17 44.77 0.59
0.996 0.997 0.996 0.997 0.59
0.328 Model Our 0.328 モデル 我々の 0.69
Final Components CVAE 最終 構成 CVAE 0.67
(cid:88) (cid:88) (cid:88) (cid:88)(cid:88) 0.91
SC Dicri. (cid:88) (cid:88) scディクリ (cid:88)(cid:88) 0.62
(cid:88) Eval. (cid:88) Eval 0.64
PSNR ↑ 25.23 24.82 24.84 24.75 PSNR ↑ 25.23 24.82 24.84 24.75 0.55
SSIM ↑ 0.650 0.641 0.643 0.640 SSIM ↑ 0.650 0.641 0.643 0.640 0.55
LPIPS ↓ 0.412 0.338 0.400 0.272 LPIPS ↓ 0.412 0.338 0.400 0.272 0.55
Div. ↑ 0 12.326 14.142 14.992 div。 ↑ 0 12.326 14.142 14.992 0.70
sample SR images by bicubic to estimate PSNR and SSIM on the LR space as LR PSNR and LR SSIM, respectively. LR空間上のPSNRとSSIMをそれぞれLRPSNRとLRSSIMと推定する。 0.48
It can be seen that different SR estimation can well preserve LR information with PSNR over 40 dB. 異なるSR推定は、PSNRが40dBを超えるLR情報をよく保存できる。
訳抜け防止モード: そう見える。 異なるSR推定は、40dB以上のPSNRでLR情報をよく保存することができる。
0.74
Overall, we have calculated the Diverse score of SRFlow and our approach in Table 2. 全体として、SRFlowのディバーススコアと我々のアプローチを表2で計算した。 0.74
Given different references, we have two results as entitled Our(Reference) and Our(Random). 異なる参照が与えられると、 our(reference) と our(random) の2つの結果が得られる。 0.78
It can be seen that our approach can outperform SRFlow in terms of PSNR, SSIM and Diverse score. 提案手法はPSNR, SSIM, DiverseスコアでSRFlowより優れている。
訳抜け防止モード: そう見える。 提案手法はPSNR, SSIM, DiverseスコアでSRFlowより優れている。
0.53
We also show SR results of using 12 different references in Figure 5. また、図5で12の異なる参照を使用するSR結果を示す。 0.78
To visualize the differences among multiple SR images, we subtracted the SR by the ground truth HR images to obtain the residual maps, then we multiplied the residual values by 5 to show the differences. 複数の SR 画像の違いを可視化するため,地上の真理HR 画像により SR を減算して残差マップを得るとともに,残差を 5 乗算して差分を示した。 0.83
We can observe the differences around the edge and texture regions from the residual maps (marked in yellow circles), e g , the patterns of the T-shirt and the roof of the building. 残余地図(黄色い円で示される)、eg、Tシャツの模様、建物の屋根から、エッジとテクスチャ領域の相違を観察できる。 0.52
In the meantime, we also visualize the SR results using LR and HR images. また、LRおよびHR画像を用いて、SR結果の可視化を行う。 0.76
It can be seen that using LR or HR as references can better reduce the residues. LRまたはHRを参照として使用すると、残基をより少なくすることができる。 0.73
4.3. Ablation study 4.3. アブレーション研究 0.70
Let us evaluate various key components of the RefVAE: (1) the Conditional Variational AutoEncoder (CVAE), (2) RefVAEの様々なキーコンポーネントを評価しましょう:(1)条件変分オートエンコーダ(CVAE)、(2) 0.74
Figure 6: Weak cases of using proposed RefVAE. 図6: 提案されたrefvaeを使用する弱いケース。 0.63
We show two 8× SR examples from BSD100 dataset. BSD100データセットから8×SRの2つの例を示す。 0.66
It can be found that the facial details cannot be preserved. 顔の詳細は保存できない。 0.36
the use of style and content losses (SC loss), (3) the use of discriminator (Discri. スタイル及び内容損失(SC損失)の使用,(3)識別器の使用(ディスク) 0.64
), To examine their impact, we started with a simple network structure consisting Image Encoder and Decoder only, and we progressively added all components. イメージエンコーダとデコーダのみで構成された単純なネットワーク構造から始めて,すべてのコンポーネントを段階的に追加しました。 0.73
Table 3 reports the results of 8× SR on DIV2K validation datasets. 表3は、DIV2K検証データセット上の8×SRの結果を報告する。 0.59
We have included PSNR, SSIM, LPIPS and Div. その中にはPSNR、SSIM、LPIPS、Divが含まれています。 0.53
(Diverse score) in the table. (得点)は表にある。 0.64
From the values of Div., we can find that using CVAE module can introduce randomness into the network to generate multiple SR results. Div.の値から、CVAEモジュールを使うことで、ネットワークにランダム性を導入し、複数のSR結果を生成することができる。 0.71
When the style and content losses were used for training, we can further maximize the Diverse score to expand the SR space. スタイルと内容の損失がトレーニングに使われた場合、ディバーススコアをさらに最大化し、SR空間を拡張することができる。 0.71
From the values of PSNR, SSIM and LPIPS, using CVAE, SC loss and Discri can reduce the PSNR and SSIM, but they can improve the LPIPS value, which indicates better quality. PSNR, SSIM, LPIPSの値から, CVAE, SC損失, Discri はPSNR, SSIM を低減できるが, LPIPS の値を改善することができる。 0.68
4.4. Weak cases In terms of perceptual quality, our proposed method does not perform too well on images with smaller size. 4.4. 弱症例 知覚品質の面では,提案手法はサイズが小さい画像ではあまりうまく動作しない。 0.63
We show two examples in Figure 6. 図6に2つの例を挙げる。 0.79
It can be seen that the fine facial expression cannot be ideally restored by our approach. 我々のアプローチでは, 顔の微細な表情を理想的に復元することはできない。 0.66
To resolve this problem, we could further study in depth of the latent representation of the Variational AUtoEncoder. この問題を解決するために、変分オートエンコーダの潜在表現についてさらに深く研究することができる。 0.66
One other solution is to use hierarchical latent space manipulation. もう1つの解決策は階層的潜在空間操作を使用することである。 0.56
This is really a fruitful direction for research. これは研究にとって本当に実りある方向です。 0.71
5. Conclusion In this paper, we introduce a novel approach for reference based image super-resolution RefVAE. 5. 結論 本稿では,参照ベース画像の超分解能refvaeに対する新しいアプローチを提案する。 0.76
Unlike other reference based SR approaches, our proposed method can take any image with arbitrary content or even random noise as reference for image super-resolution. 他の参照ベースのsrアプローチとは異なり、提案手法では任意のコンテンツやランダムノイズを画像超解像の基準として取り出すことができる。 0.72
It is also unlike other generative model based SR approaches, RefVAE can expand the SR space, so that multiple unique SR images can be generated. また、他の生成モデルベースのSRアプローチとは異なり、RefVAEはSR空間を拡張し、複数のユニークなSR画像を生成することができる。 0.75
Furthermore, RefVAE does not suffer from the model collapse or generate bizarre patterns like other generative model based approaches (examples are shown in Figure 4). さらに、RefVAEはモデル崩壊に悩まされず、他の生成モデルベースのアプローチのような奇妙なパターンを生成する(図4に示す)。 0.80
Our analysis shows that RefVAE can better preserve the LR information and generate SR image with better perceptual quality. 解析により、RefVAEはLR情報を保存し、より知覚品質の高いSR画像を生成することができることが示された。
訳抜け防止モード: 私たちの分析は RefVAEはLR情報を保存し、より知覚品質の高いSR画像を生成する。
0.77
Possible future work includes the superresolution space exploration by probing the latent vector or by image quantization. 将来の研究には、潜在ベクトルの探索や画像量子化による超解像空間探索が含まれる。 0.65
LROurresultsHRLROurr esultsHR lrourresultshrlrourr esultshr 0.34
英語(論文から抽出)日本語訳スコア
References [1] K. nichol. 参照 [1] k. nichol。 0.82
painter by numbers, wikiart. 数字による画家、ウィキアート。 0.72
https://www. https://www.twitter. com 0.39
kaggle.com/c/painter -by-numbers, 2016. kaggle.com/c/painter -by numbers, 2016 0.41
5 [2] Nvidia dlss 2.0: A big leap in ai rendering. 5 [2] nvidia dlss 2.0: aiレンダリングの大きな飛躍。 0.81
https://www. https://www.twitter. com 0.39
nvidia.com/en- gb/geforce/news/nvid ia- dlss- 20-a-big-leap-in-ai- rendering/, March, 2020. nvidia.com/en-gb/gef orce/news/nvidia-dls s - 20-a-big-leap-in-ai- rendering/, 2020年3月 0.32
1 [3] Amd fidelityfx. 1 [3] amd fidelityfx である。 0.82
https : / / www . https : / / www である。 0.82
amd . com / en / technologies/radeon- software- fidelityfx, October, 2020. amd所属。 ソフトウェア-fidelityfx, October 2020.com / en / technology/radeon-ソフトウェア-fidelityfx。 0.62
1 [4] Yuval Bahat and Tomer Michaeli. 1 [4]Yuval BahatとTomer Michaeli。 0.79
Explorable super resolu- 探索可能なスーパーレゾル- 0.47
tion. In CVPR, pages 2713–2722. ティメント CVPR』2713-2722頁。 0.47
IEEE, 2020. IEEE、2020年。 0.90
2 [5] Marco Bevilacqua, Aline Roumy, Christine Guillemot, and Marie line Alberi Morel. 2 5]Marco Bevilacqua、Aline Roumy、Christine Guillemot、Marie line Alberi Morel。 0.76
Low-complexity single-image super-resolution based on nonnegative neighbor embedding. 非負近傍埋め込みに基づく低複雑度単一画像超解像 0.59
In Proceedings of the British Machine Vision Conference, pages 135.1–135.10. The Proceedings of the British Machine Vision Conference, page 135.1–135.10。 0.75
BMVA Press, 2012. 2012年、BMVAプレス。 0.79
5 [6] Y. Blau and T. Michaeli. 5 Y. Blau と T. Michaeli 0.69
The perception-distortio n tradeoff. 知覚歪曲トレードオフ。 0.62
In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 6228–6237, 2018. 2018年、IEEE/CVF Conference on Computer Vision and Pattern Recognition, page 6228–6237, 2018。 0.84
1 [7] Marcel C. Bühler, Andrés Romero, and Radu Timofte. 1 Marcel C. Bühler, Andrés Romero, Radu Timofte 0.67
Deepsee: Deep disentangled semantic explorative extreme super-resolution. Deepsee: 深い混乱したセマンティック爆発性超解像。 0.67
In ACCV, volume 12625 of Lecture Notes in Computer Science, pages 624–642. ACCV, Volume 12625 of Lecture Notes in Computer Science, pages 624–642. 0.87
Springer, 2020. スプリンガー、2020年。 0.59
2 [8] Tao Dai, Jianrui Cai, Yongbing Zhang, Shu-Tao Xia, and Lei Zhang. 2 [8]道大、Jianrui Cai、Yongbing Zhang、Shu-Tao Xia、Lei Zhang。 0.76
Second-order attention network for single image In Proceedings of the IEEE Conference super-resolution. ieeeコンファレンススーパーレゾリューションにおけるシングルイメージのための2次アテンションネットワーク 0.60
on Computer Vision and Pattern Recognition, pages 11065– 11074, 2019. コンピュータビジョンとパターン認識について、11065-11074, 2019ページ。 0.81
2 [9] C. Dong, C. C. Loy, K. He, and X. Tang. 2 9] c. dong, c. c. loy, k. he, x. tang。 0.81
Image IEEE super-resolution using deep convolutional networks. 深部畳み込みネットワークを用いた画像IEEE超解像 0.69
Transactions on Pattern Analysis and Machine Intelligence, 38(2):295–307, Feb 2016. パターン分析とマシンインテリジェンスに関するトランザクション 38(2):295–307, February 2016 0.84
2 [10] Jesse Engel, Matthew Hoffman, and Adam Roberts. 2 Jesse Engel氏、Matthew Hoffman氏、Adam Roberts氏。 0.74
Latent constraints: Learning to generate conditionally from unconditional generative models. 潜在制約:無条件生成モデルから条件付きで生成する学習。 0.81
CoRR, abs/1711.05772, 2017. CoRR, abs/1711.05772, 2017。 0.68
2 [11] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. 2 Ian Goodfellow氏、Jean Pouget-Abadie氏、Mehdi Mirza氏、Bing Xu氏、David Warde-Farley氏、Sherjil Ozair氏、Aaron Courville氏、Yoshua Bengio氏。
訳抜け防止モード: 2 Ian Goodfellow, Jean Pouget - Abadie, Mehdi Mirza, Bing Xu, David Warde - Farley, Sherjil Ozair, Aaron Courville ヨシュア・ベンジオ(Yoshua Bengio)。
0.84
Generative adversarial nets. In Z. Ghahramani, M. Welling, C. Cortes, N. D. Lawrence, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems 27, pages 2672–2680. 敵ネットの生成。 Z. Ghahramani, M. Welling, C. Cortes, N. D. Lawrence, K. Q. Weinberger, editors, Advances in Neural Information Processing Systems 27 pages 2672–2680。 0.80
Curran Associates, Inc., 2014. curran associates, inc., 2014年。 0.64
2 [12] M. Haris, G. Shakhnarovich, and N. Ukita. 2 M. Haris, G. Shakhnarovich, N. Ukita. 0.76
Deep backprojection networks for single image super-resolution. 単一画像超解像のためのディープバックプロジェクションネットワーク 0.62
IEEE Transactions on Pattern Analysis and Machine Intelligence, pages 1–1, 2020. IEEE Transactions on Pattern Analysis and Machine Intelligence, page 1–1, 2020 0.87
2 [13] J. Huang, A. Singh, and N. Ahuja. 2 [13]J. Huang、A. Singh、N. Ahuja。 0.85
Single image superresolution from transformed self-exemplars. トランスフォーメーション型自己表現による単一画像の超解像 0.48
In 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 5197–5206, June 2015. IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2015年6月、5197-5206頁。 0.74
5 [14] Kwok-Wai Hung and Wan-Chi Siu. 5 14]kwok-wai、wan-chi-siu。 0.71
Robust soft-decision interpolation using weighted least squares. 重み付き最小正方形を用いたロバストソフトデシジョン補間 0.64
IEEE Transactions on Image Processing, 21(3):1061–1069, 2012. IEEE Transactions on Image Processing, 21(3):1061–1069, 2012 0.93
1, 3 [15] Justin Johnson, Alexandre Alahi, and Li Fei-Fei. 1, 3 ジャスティン・ジョンソン、アレクサンドル・アラヒ、Li Fei-Fei。 0.70
Perceptual losses for real-time style transfer and super-resolution. リアルタイム型転送と超解像における知覚的損失 0.56
In Eur. Conf. Comput. Eur! Conf Comput 0.45
Vis., 2016. 4, 5 2016年、退団。 4, 5 0.72
[16] Alexia Jolicoeur-Martineau. アレクサンドリア・ジョリコー=マルティノー(Alexia Jolicoeur-Martineau) 。 0.39
The relativistic discriminator: a key element missing from standard gan. relativistic discriminator: 標準 gan に欠けているキー要素。 0.72
arXiv preprint arXiv:1807.00734, 2018. arXiv preprint arXiv:1807.00734, 2018 0.80
2 [17] Jiwon Kim, Jung Kwon Lee, and Kyoung Mu Lee. 2 [17]Jewon Kim、Jung Kwon Lee、Kyoung Mu Lee。 0.77
Accurate image super-resolution using very deep convolutional networks. 深部畳み込みネットワークを用いた高精度画像超解像 0.70
CoRR, abs/1511.04587, 2015. CoRR, abs/1511.04587, 2015。 0.70
2 [18] Wei-Sheng Lai, Jia-Bin Huang, Narendra Ahuja, and MingHsuan Yang. 2 18]wei-sheng lai、jia-bin huang、narendra ahuja、minghsuan yang。 0.72
Deep laplacian pyramid networks for fast and accurate super-resolution. 高速かつ正確な超解像のための深層ラプラシアピラミッドネットワーク。 0.75
CoRR, abs/1704.03915, 2017. CoRR, abs/1704.03915, 2017 0.75
2 [19] C. Ledig, L. Theis, F. Huszár, J. Caballero, A. Cunningham, A. Acosta, A. Aitken, A. Tejani, J. Totz, Z. Wang, and W. Shi. 2[19]C. Ledig, L. Theis, F. Huszár, J. Caballero, A. Cunningham, A. Acosta, A. Aitken, A. Tejani, J. Totz, Z. Wang, W. Shi。 0.92
Photo-realistic single image super-resolution using a In 2017 IEEE Conference generative adversarial network. In 2017 IEEE Conference Generative Adversarial Network を用いたフォトリアリスティック単一画像超解像 0.76
on Computer Vision and Pattern Recognition (CVPR), pages 105–114, 2017. コンピュータビジョンとパターン認識(CVPR)、2017年105-114頁。 0.74
1, 2 [20] B. Lim, S. Son, H. Kim, S. Nah, and K. M. Lee. 1, 2 B. Lim, S. Son, H. Kim, S. Nah, K. M. Lee. 0.85
Enhanced deep residual networks for single image super-resolution. 単一画像超解像のための深層残差ネットワークの拡張 0.69
In 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), pages 1132–1140, 2017. 2017年、IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW) 1132–1140, 2017。 0.79
1, 2, 5 [21] Zhi-Song Liu and Wan-Chi Siu. 1, 2, 5 [21]Zhi-Song LiuとWan-Chi Siu。 0.80
Cascaded random forests for fast image super-resolution. 高速画像超解像のためのカスケードランダム森林 0.67
In 2018 25th IEEE International Conference on Image Processing (ICIP), pages 2531–2535, Oct 2018. 2018年の第25回IEEE International Conference on Image Processing (ICIP)、2531–2535頁、2018年10月。 0.72
2, 3 [22] Zhi-Song Liu, Wan-Chi Siu, and Yui-Lam Chan. 2, 3 [22]Zhi-Song Liu、Wan-Chi Siu、Yui-Lam Chan。 0.77
Fast image super-resolution via randomized multi-split forests. ランダム化マルチスプリット森林による高速画像超解像 0.66
In 2017 IEEE International Symposium on Circuits and Systems (ISCAS), pages 1–4, May 2017. 2017年、IEEE International Symposium on Circuits and Systems (ISCAS)、ページ1-4、2017年5月。 0.80
2 [23] Zhi-Song Liu, Wan-Chi Siu, and Yui-Lam Chan. 2 [23]Zhi-Song Liu、Wan-Chi Siu、Yui-Lam Chan。 0.77
Reference based face super-resolution. 参照ベース顔超解像。 0.57
IEEE Access, 7:129112–129126, 2019. IEEE Access, 7:129112–129126, 2019。 0.76
2, 3 [24] Zhi-Song Liu, Wan-Chi Siu, and Yui-Lam Chan. 2, 3 [24]Zhi-Song Liu、Wan-Chi Siu、Yui-Lam Chan。 0.77
Photorealistic image super-resolution via variational autoencoders. 可変オートエンコーダによるフォトリアリスティック画像超解像 0.49
IEEE Transactions on Circuits and Systems for Video Technology, pages 1–1, 2020. IEEE Transactions on Circuits and Systems for Video Technology, page 1–1, 2020 0.85
2 [25] Zhi-Song Liu, Wan-Chi Siu, Wang Li-Wen, Li Chu-Tak, Marie-Paule Cani, and Yui-Lam Chan. 2 [25]Zhi-Song Liu、Wan-Chi Siu、Wang Li-Wen、Li Chu-Tak、Marie-Paule Cani、Yui-Lam Chan。 0.74
Unsupervised real image super-resolution via generative variational autoencoder. 生成変分オートエンコーダによる教師なし実像超解像 0.61
In IEEE International Conference on Computer Vision and Pattern Recognition Workshop(CVPRW), June 2020. IEEE International Conference on Computer Vision and Pattern Recognition Workshop (CVPRW) にて、2020年6月。 0.83
2 [26] Zhi-Song Liu, Li-Wen Wang, Chu-Tak Li, and Wan-Chi Siu. 2 [26]Zhi-Song Liu、Li-Wen Wang、Chu-Tak Li、Wan-Chi Siu。 0.75
Hierarchical back projection network for image superresolution. 画像超解像のための階層型バックプロジェクションネットワーク 0.69
In 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), pages 2041–2050, 2019. 2019年、IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)、2041–2050, 2019。 0.89
2 [27] Zhi-Song Liu, Li-Wen Wang, Chu-Tak Li, Wan-Chi Siu, and Yui-Lam Chan. 2 [27]Zhi-Song Liu、Li-Wen Wang、Chu-Tak Li、Wan-Chi Siu、Yui-Lam Chan。 0.75
Image super-resolution via attention based back projection networks. 注意に基づくバックプロジェクションネットワークによる画像超解像 0.74
In 2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW), pages 3517–3525, 2019. 2019年、IEEE/CVF International Conference on Computer Vision Workshop (ICCVW)、3517-3525, 2019。 0.84
2 [28] Andreas Lugmayr, Martin Danelljan, and et al Radu Timofte. 2 [28]Andreas Lugmayr, Martin Danelljan, et al Radu Timofte。 0.78
Ntire 2021 learning the super-resolution space challenge. ntire 2021 超高解像度宇宙チャレンジを学習する。 0.66
In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2021. IEEE Conference on Computer Vision and Pattern Recognition, 2021に参加して 0.73
1, 3, 6, 7 1, 3, 6, 7 0.85
[29] Andreas Lugmayr, Martin Danelljan, Luc Van Gool, and Radu Timofte. Andreas Lugmayr氏、Martin Danelljan氏、Luc Van Gool氏、Radu Timofte氏。 0.65
Srflow: Learning the super-resolution space with normalizing flow. Srflow: 正規化フローで超解像空間を学ぶこと。 0.70
In ECCV, pages 715–732. ECCV 715–732頁。 0.69
Springer, 2020. スプリンガー、2020年。 0.59
2, 6 2, 6 0.85
英語(論文から抽出)日本語訳スコア
[43] Yulun Zhang, Yapeng Tian, Yu Kong, Bineng Zhong, and Yun Fu. [43]Yulun Zhang、Yapeng Tian、Yu Kong、Bineng Zhong、Yun Fu。 0.64
Residual dense network for image super-resolution. 画像超解像のための残留密度ネットワーク 0.74
CoRR, abs/1802.08797, 2018. CoRR, abs/1802.08797, 2018。 0.67
2 [44] Z. Zhang, Z. Wang, Z. Lin, and H. Qi. 2 [44]Z.Zhang、Z.Wang、Z.Lin、H.Qi。 0.78
Image super-resolution In 2019 IEEE/CVF Conference by neural texture transfer. 画像 超解像 2019 IEEE/CVF Conference by Neural texture Transfer 0.76
on Computer Vision and Pattern Recognition (CVPR), pages 7974–7983, 2019. コンピュータビジョンとパターン認識 (cvpr) に関するページ7974-7983, 2019。 0.82
1, 3, 6, 7 1, 3, 6, 7 0.85
[45] Haitian Zheng, Mengqi Ji, Lei Han, Ziwei Xu, Haoqian Wang, Yebin Liu, and Lu Fang. [45]Haitian Zheng, Mengqi Ji, Lei Han, Ziwei Xu, Haoqian Wang, Yebin Liu, Lu Fang 0.67
Learning cross-scale correspondence and patch-based synthesis for reference-based super-resolution. 参照ベーススーパーレゾリューションのためのクロススケール対応とパッチベース合成の学習 0.58
In Gabriel Brostow Tae-Kyun Kim, Stefanos Zafeiriou and Krystian Mikolajczyk, editors, Proceedings of the British Machine Vision Conference (BMVC), pages 138.1–138.13. Gabriel Brostow Tae-Kyun Kim, Stefanos Zafeiriou and Krystian Mikolajczyk, editors, Proceedings of the British Machine Vision Conference (BMVC), page 138.1–138.13。 0.93
BMVA Press, September 2017. 2017年9月、BMVAプレス。 0.70
1, 3 [46] Haitian Zheng, Mengqi Ji, Haoqian Wang, Yebin Liu, and Lu Fang. 1, 3 [46]Haitian Zheng, Mengqi Ji, Haoqian Wang, Yebin Liu, Lu Fang 0.74
Crossnet: An end-to-end reference-based super resolution network using cross-scale warping. crossnet: エンドツーエンドの参照ベースのスーパーレゾリューションネットワーク。 0.62
In Proceedings of the European Conference on Computer Vision (ECCV), pages 88–104, 2018. Proceedings of the European Conference on Computer Vision (ECCV) 2018年、88-104頁。 0.78
3 [30] Ben Niu, Weilei Wen, Wenqi Ren, Xiangde Zhang, Lianping Yang, Shuzhen Wang, Kaihao Zhang, Xiaochun Cao, and Haifeng Shen. 3 [30]Ben Niu、Weilei Wen、Wenqi Ren、Xiangde Zhang、Lianping Yang、Shuzhen Wang、Kaihao Zhang、Xiaochun Cao、Haifeng Shen。 0.77
Single image super-resolution via a holistic attention network. 全体的注意ネットワークによる単一画像超解像 0.70
In Andrea Vedaldi, Horst Bischof, Thomas Brox, and Jan-Michael Frahm, editors, Computer Vision – ECCV 2020, pages 191–207, Cham, 2020. Andrea Vedaldi, Horst Bischof, Thomas Brox, Jan-Michael Frahm, editors, Computer Vision – ECCV 2020, page 191–207, Cham, 2020 0.83
Springer International Publishing. Springer International Publishing(英語) 0.71
2 [31] Dae Young Park and Kwang Hee Lee. 2 [31]デ・ヤング・パークとクワン・ヘ・リー。 0.71
Arbitrary style transfer with style-attentional networks. スタイルアテンショナルネットワークを用いた任意スタイル転送 0.65
In IEEE Conf. IEEE Confに登場。 0.83
Comput. Vis. Comput Vis 0.50
Pattern Recog., 2019. パターン・リコーグ、2019年。 0.60
4, 5 [32] N. C. Rakotonirina and A. Rasoanaivo. 4, 5 32] n. c. rakotonirinaとa. rasoanaivo。 0.82
Esrgan+ : Further improving enhanced super-resolution generative adversarial network. Esrgan+ : 改良された超高分解能生成対向ネットワーク 0.70
In ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pages 3637–3641, 2020. ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pages 3637–3641, 2020
訳抜け防止モード: ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech に参加して and Signal Processing (ICASSP ), pages 3637–3641, 2020
0.91
1, 2 [33] Karen Simonyan and Andrew Zisserman. 1, 2 Karen Simonyan氏とAndrew Zisserman氏。 0.75
Very deep convolutional networks for large-scale image recognition. 大規模画像認識のための深層畳み込みネットワーク 0.78
In Int. Conf. int所属。 Conf 0.49
Learn. Represent., 2015. 学ぶ。 2015年、代表。 0.73
3, 5 [34] Y. Tan, H. Zheng, Y. Zhu, X. Yuan, X. Lin, D. Brady, and L. Fang. 3, 5 [34]Tan,H.Zheng,Y.Zhu,X. Yuan,X.Lin,D.Brady,L .Fang。
訳抜け防止モード: 3, 5 [34 ]Tan,H.Zheng,Y.Zhu, X. Yuan, X. Lin, D. Brady, L. Fang
0.85
Crossnet++: Cross-scale large-parallax warping for reference-based super-resolution. Crossnet++: 参照ベースの超解像のための大規模大規模並列処理。 0.39
IEEE Transactions on Pattern Analysis and Machine Intelligence, pages 1–1, 2020. IEEE Transactions on Pattern Analysis and Machine Intelligence, page 1–1, 2020 0.87
3 [35] Radu Timofte, Vincent De Smet, and Luc Van Gool. 3 Radu Timofte氏、Vincent De Smet氏、Luc Van Gool氏。 0.72
A+: Adjusted anchored neighborhood regression for fast superresolution. A+: 高速超解像のための調整アンカー近傍回帰 0.64
volume 9006, pages 111–126, 04 2015. 巻 9006, page 111–126, 04 2015 0.74
2 [36] Radu Timofte and et al Ntire 2017 challenge on single image super-resolution: Methods and results. 2 36] radu timofte氏と et al ntire 2017 challenge on single image super- resolution: methods and results (英語) 0.81
In Proceedings - 30th IEEE Conference on Computer Vision and Pattern Recognition Workshops, CVPRW 2017, IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, pages 1110–1121. In Proceedings - 30th IEEE Conference on Computer Vision and Pattern Recognition Workshops, CVPRW 2017 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, page 1110–1121 0.85
IEEE Computer Society, 8 2017. IEEE Computer Society 2017年8月8日閲覧。 0.67
5 [37] Ting-Chun Wang, Ming-Yu Liu, Jun-Yan Zhu, Andrew Tao, Jan Kautz, and Bryan Catanzaro. 5 [37]Ting-Chun Wang、Ming-Yu Liu、Jun-Yan Zhu、Andrew Tao、Jan Kautz、Bryan Catanzaro。 0.81
High-resolution image synthesis and semantic manipulation with conditional gans. 条件付きganを用いた高分解能画像合成と意味操作 0.64
In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018 0.77
5 [38] Xintao Wang, Ke Yu, Shixiang Wu, Jinjin Gu, Yihao Liu, Chao Dong, Chen Change Loy, Yu Qiao, and Xiaoou Tang. 5 [38]新潮王、華友、紫海王、晋神愚、李陽、茶王東、陳チェン・ロイ、遊海王、西王唐。
訳抜け防止モード: 5 [38]新田王、華友、四川武、 じんじんぐー、yihao liu、chao dong、chen change loy、 キヤオ・タン(xiaoou tang)とキヤオ・タン(xiaoou tang)。
0.75
ESRGAN: enhanced super-resolution generative adversarial networks. ESRGAN:超高解像度生成対向ネットワーク。 0.74
CoRR, abs/1809.00219, 2018. CoRR, abs/1809.00219, 2018。 0.67
1, 2 [39] Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli. 1, 2 39] Z. Wang, A. C. Bovik, H. R. Sheikh, E. P. Simoncelli 0.89
from error visibility to strucIEEE Transactions on Image Processing, エラー可視性からstrucIEEE Transactions on Image Processingまで。 0.84
Image quality assessment: tural similarity. 画像品質評価: tural similarity。 0.69
13(4):600–612, April 2004. 13(4):600-612, 2004年4月 0.73
5 [40] Roman Zeyde, Michael Elad, and Matan Protter. 5 40] Roman Zeyde, Michael Elad, Matan Protter。 0.74
On single image scale-up using sparse-representatio ns. スパース表現を用いた単一画像のスケールアップ。 0.57
volume 6920, pages 711–730, 06 2010. 6920頁、711-730頁、06頁。 0.67
5 [41] Richard Zhang, Phillip Isola, Alexei A Efros, Eli Shechtman, and Oliver Wang. 5 [41]Richard Zhang, Phillip Isola, Alexei A Efros, Eli Shechtman, Oliver Wang。 0.80
The unreasonable effectiveness of deep features as a perceptual metric. 深い特徴を知覚的計量として不合理な有効性を持つ。 0.57
In CVPR, 2018. 2018年、CVPR。 0.65
5 [42] Yulun Zhang, Kunpeng Li, Kai Li, Lichen Wang, Bineng Zhong, and Yun Fu. 5 [42]ユルン・チャン、クンペン・リー、カイ・リー、リチェン・ワン、ビン・ジョン、ユン・フー。 0.69
Image super-resolution using very deep residual channel attention networks. 超深チャネルアテンションネットワークを用いた超高分解能画像 0.65
CoRR, abs/1807.02758, 2018. CoRR, abs/1807.02758, 2018。 0.68
2 2 0.85
                     ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。