論文の概要、ライセンス

# (参考訳) 教師が教えるよりも、画像と画像のモデルを圧縮する [全文訳有]

Teachers Do More Than Teach: Compressing Image-to-Image Models ( http://arxiv.org/abs/2103.03467v1 )

ライセンス: CC BY 4.0
Qing Jin, Jian Ren, Oliver J. Woodford, Jiazhuo Wang, Geng Yuan, Yanzhi Wang, Sergey Tulyakov(参考訳) generative adversarial networks (gans) は高忠実度画像の生成に多大な成功を収めているが、膨大な計算コストとかさばるメモリ使用により効率が低下している。 圧縮GANの最近の取り組みは、画像品質を犠牲にしたり、時間のかかる探索プロセスを含むことで、小型発電機の獲得の顕著な進歩を示しています。 本研究では,知識蒸留に加えて,効率的なネットワークアーキテクチャの発見が可能な検索空間を提供する教師ネットワークを導入することで,これらの課題に対処することを目的とする。 まず,生成モデルの探索空間を再検討し,インセプションに基づく残差ブロックを生成器に導入する。 第2に,目標計算コストを達成するために,教師モデルから学生のアーキテクチャを検索し,検索コストを大幅に削減する一段階の刈り込みアルゴリズムを提案する。 l1間隔の正規化とそれに関連するハイパーパラメータは不要で、トレーニング手順が簡単になる。 最後に,グローバルカーネルアライメント(gka)という指標を用いて教師と生徒の特徴的類似性を最大化することで知識を蒸留する。 当社の圧縮ネットワークは、MACなどの計算コストを大幅に削減した元のモデルよりも、類似またはさらに優れた画像忠実性(FID、mIoU)を実現します。 コードはhttps://github.com/s nap-research/CATで公開される。

Generative Adversarial Networks (GANs) have achieved huge success in generating high-fidelity images, however, they suffer from low efficiency due to tremendous computational cost and bulky memory usage. Recent efforts on compression GANs show noticeable progress in obtaining smaller generators by sacrificing image quality or involving a time-consuming searching process. In this work, we aim to address these issues by introducing a teacher network that provides a search space in which efficient network architectures can be found, in addition to performing knowledge distillation. First, we revisit the search space of generative models, introducing an inception-based residual block into generators. Second, to achieve target computation cost, we propose a one-step pruning algorithm that searches a student architecture from the teacher model and substantially reduces searching cost. It requires no l1 sparsity regularization and its associated hyper-parameters, simplifying the training procedure. Finally, we propose to distill knowledge through maximizing feature similarity between teacher and student via an index named Global Kernel Alignment (GKA). Our compressed networks achieve similar or even better image fidelity (FID, mIoU) than the original models with much-reduced computational cost, e.g., MACs. Code will be released at https://github.com/s nap-research/CAT.
公開日: Fri, 5 Mar 2021 04:29:34 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
Teachers Do More Than Teach: Compressing Image-to-Image Models 教師が教えるよりも、画像と画像のモデルを圧縮する 0.55
Qing Jin1* Qing Jin1。 0.85
Geng Yuan1 Yanzhi Wang1 1Northeastern University, USA 元元1 Yanzhi Wang1 1Northeastern University、米国。 0.67
Sergey Tulyakov2 2Snap Inc. Sergey Tulyakov2 2Snap Inc. 0.88
Jian Ren2 Oliver J. Woodford* 慈安蓮2 オリバー・j・ウッドフォード 0.48
Jiazhuo Wang2 Jiazhuo Wang2 0.88
1 2 0 2 r a M 5 ] V C . 1 2 0 2 r a m 5 ] v c である。 0.80
s c [ 1 v 7 6 4 3 0 . s c [ 1 v 7 6 4 3 0 . 0.85
3 0 1 2 : v i X r a 3 0 1 2 : v i X r a 0.85
Abstract Generative Adversarial Networks (GANs) have achieved huge success in generating high-fidelity images, however, they suffer from low efficiency due to tremendous computational cost and bulky memory usage. 概要 generative adversarial networks (gans) は高忠実度画像の生成に多大な成功を収めているが、膨大な計算コストとかさばるメモリ使用により効率が低下している。 0.60
Recent efforts on compression GANs show noticeable progress in obtaining smaller generators by sacrificing image quality or involving a time-consuming searching process. 圧縮GANの最近の取り組みは、画像品質を犠牲にしたり、時間のかかる探索プロセスを含むことで、小型発電機の獲得の顕著な進歩を示しています。 0.50
In this work, we aim to address these issues by introducing a teacher network that provides a search space in which efficient network architectures can be found, in addition to performing knowledge distillation. 本研究では,知識蒸留に加えて,効率的なネットワークアーキテクチャの発見が可能な検索空間を提供する教師ネットワークを導入することで,これらの課題に対処することを目的とする。 0.81
First, we revisit the search space of generative models, introducing an inception-based residual block into generators. まず,生成モデルの探索空間を再検討し,インセプションに基づく残差ブロックを生成器に導入する。 0.78
Second, to achieve target computation cost, we propose a one-step pruning algorithm that searches a student architecture from the teacher model and substantially reduces searching cost. 第2に,目標計算コストを達成するために,教師モデルから学生のアーキテクチャを検索し,検索コストを大幅に削減する一段階の刈り込みアルゴリズムを提案する。 0.81
It requires no (cid:96)1 sparsity regularization and its associated hyper-parameters, simplifying the training procedure. トレーニング手順を簡素化するために、(cid:96)1のスパーシティ正規化とそれに関連するハイパーパラメータは不要である。 0.52
Finally, we propose to distill knowledge through maximizing feature similarity between teacher and student via an index named Global Kernel Alignment (GKA). 最後に,グローバルカーネルアライメント(gka)という指標を用いて教師と生徒の特徴的類似性を最大化することで知識を蒸留する。 0.72
Our compressed networks achieve similar or even better image fidelity (FID, mIoU) than the original models with much-reduced computational cost, e g , MACs. 圧縮されたネットワークは、大容量の計算コストであるMACよりも、類似またはさらに優れた画像忠実度(FID, mIoU)を実現する。 0.64
Code will be released at https://github.com/s nap-research/CAT. コードはhttps://github.com/s nap-research/CATで公開される。 0.46
1. Introduction Generative adversarial networks (GANs), which synthesize images by adversarial training [21], have witnessed tremendous progress in generating high-quality, high-resolution, and photo-realistic images and videos [5, 33, 68]. 1. 21]で画像を合成するGAN(Generative Adversarial Network)は,高品質,高解像度,フォトリアリスティックな画像や動画(5,33,68)の製作に大きく進歩している。
訳抜け防止モード: 1. 対人訓練による画像合成のためのGAN(Generative Adversarial Network)の導入(21) 高品質で高解像度の 素晴らしい進歩を目の当たりにしました 写真 - リアルなイメージとビデオ [5, 33, 68]
0.81
In conditional setting [54], the generation process is controlled via additional input signals, such as segmentation information [8, 58, 60, 71, 72], class labels [83], and sketches [29, 85]. 条件設定[54]では、セグメンテーション情報[8, 58, 60, 71, 72]、クラスラベル[83]、スケッチ[29, 85]などの追加の入力信号を介して生成プロセスを制御する。 0.67
These techniques have seen applications in commercial image editing tools. これらの技術は商用画像編集ツールに応用されている。 0.68
However, due to their massive computation complexity and bulky size, applying generative models at scale is less practical, especially on resource-constrained platforms, where low memory foot*Work done while at Snap Inc. しかし、計算の複雑さと大きすぎるサイズのため、生成モデルを大規模に適用することは実用的ではなく、特にリソース制約のあるプラットフォームでは、メモリフットが低い*Snap Inc.で行われている。
訳抜け防止モード: しかし、計算の複雑さとかさばる大きさのためである。 大規模生成モデルの適用 特にリソース制限のあるプラットフォームでは,メモリフットが低く,snap inc.で作業が行われている。
0.79
Figure 1: Performance comparison between our and existcleGAN [85] for Horse(cid:1)Zebra dataset. 図1: 馬(cid:1)Zebraデータセットのための私たちのと既存のGAN [85]のパフォーマンスの比較。 0.67
Smaller MACs ining GAN compression techniques [2, 20, 36, 64, 70] on Cydicates more efficient models. GAN圧縮技術[2, 20, 36, 64, 70]をCydicatesのより効率的なモデルに導入した小さなMAC。 0.82
Lower FID indicates models can generate more realistic images. 低FIDはモデルがよりリアルなイメージを生成できることを示している。 0.55
Our method (red star) achieves the state-of-the-art performance-efficiency tradeoff as it has the lowest FID with the smallest MACs. 我々の手法(赤星)は、最小のMACを持つ最小のFIDを持つため、最先端の性能効率トレードオフを実現する。 0.63
print, power consumption, and real-time execution are as, and often more, important than performance [36]. 印刷、消費電力、リアルタイム実行はパフォーマンスよりも重要で、多くの場合、重要なことです [36]。 0.79
To accelerate inference and save storage space for huge models without sacrificing performance, previous works propose to compress models with techniques including weight pruning [24], channel slimming [43, 44], layer skipping [4, 73], patterned or block pruning [17, 35, 40, 42, 49, 50, 51, 52, 56, 57, 82, 84], and network quantization [12, 18, 30, 31, 32, 38, 75]. 性能を犠牲にすることなく、巨大なモデルの推論とストレージ空間の節約を加速するために、以前の研究では、重み付きプラニング [24]、チャネルスリム化 [43, 44]、層スキップ [4, 73]、パターン付きまたはブロックプラニング [17, 35, 40, 42, 49, 50, 52, 56, 57, 82, 84]、ネットワーク量子化 [12, 18, 30, 32, 38, 84] などの手法を用いたモデル圧縮を提案する。 0.82
Specifically, these studies elaborate on compressing discriminative models for image classification, detection, or segmentation tasks. 具体的には,画像分類,検出,セグメンテーションタスクの識別モデル圧縮について詳しく検討した。 0.66
The problem of compressing generative models, on the other hand, is less investigated, despite that typical generators are bulky in memory usage and inefficient during inference. 一方、生成モデル圧縮の問題は、典型的なジェネレータがメモリ使用量が大きく、推論中に非効率であるにもかかわらず、あまり研究されていない。
訳抜け防止モード: 一方 生成モデル圧縮の問題点は あまり調査されていませんが 典型的なジェネレータはメモリ使用量が多く、推論時に非効率である。
0.72
Up till now, only a handful of attempts exist [20, 36, 64, 70], all of which degenerate the quality of synthetic images compared to the original model (Fig. これまでのところ、[20, 36, 64, 70]はほんの数回しか存在せず、いずれも元のモデル(図)と比べて合成画像の品質が低下している。 0.75
1). 1 8      73,$:09, :948907$2234990709, :78 8%7,/0 411 1). 1 8      73,$:09, :948907$2234990709, :78 8%7,/0 411 0.61
英語(論文から抽出)日本語訳スコア
In this work, we focus on compressing image-to-image translation networks, such as CycleGAN [85] and GauGAN [58]. 本研究では,CycleGAN [85] や GauGAN [58] などの画像間翻訳ネットワークの圧縮に着目した。 0.79
Existing compression method [36] obtains an efficient student model and employs two additional networks: teacher and supernet, where the former is for knowledge distillation and the latter for architecture search. 既存の圧縮法[36]は効率的な学生モデルを取得し、教師とスーパーネットの2つの追加のネットワークを採用しています。
訳抜け防止モード: 既存の圧縮法[36]が効率的な学生モデルを得る 教師とスーパーネットという2つのネットワークを利用しています 前者は知識蒸留用 後者は建築探索用
0.80
However, we argue that the supernet is not necessary, as the teacher can play its role. しかし、教師がその役割を果たすことができるので、スーパーネットは必要ありません。 0.71
Specifically, in our proposed framework, the teacher does more than teaching the student (i.e. 特に,提案する枠組みでは,教師は生徒に教えること以上のことをしている(すなわち,)。 0.73
knowledge distillation)—it plays a central role in all aspects of the framework through three key contributions: 1. 知識蒸留) — それは3つの重要な貢献を通じてフレームワークのすべての面で中心的な役割を果たします。 0.68
We introduce a new network design that can be applied to both encoder-decoder architectures such as Pix2pix [29], and decoder-style networks such as GauGAN [58]. Pix2pix [29] のようなエンコーダ-デコーダアーキテクチャと GauGAN [58] のようなデコーダスタイルのネットワークの両方に適用可能な新しいネットワーク設計を提案する。 0.84
It serves as both the teacher network design, and the architecture search space of the student. 教師ネットワークの設計と、学生のアーキテクチャ検索スペースの両方として機能します。 0.71
2. We directly prune the trained teacher network using an efficient, one-step technique that removes certain channels in its generators to achieve a target computation budget, e g , the number of Multiply-Accumulate Operations (MACs). 2. 我々は,教師ネットワークを効率よく一段階の手法で直接訓練し,対象の計算予算(MAC数など)を達成するために,そのジェネレータ内の特定のチャネルを除去する。 0.80
This reduces architecture search costs by at least 10, 000× than the state-of-the-art compression method for generative models. これにより、生成モデルの最先端圧縮法よりも、アーキテクチャ検索コストが少なくとも10万倍削減される。 0.64
Furthermore, our pruning method only involves one hyperparameter, making its application straightforward. さらに, プルーニング法は1つのハイパーパラメータしか含まないため, 適用は容易である。 0.59
3. We introduce a knowledge distillation technique based on the similarity between teacher and student models’ feature spaces, which we call global kernel alignment (GKA). 3. 本稿では,GKA(グローバルカーネルアライメント)と呼ばれる,教師モデルと学生モデルの特徴空間の類似性に基づく知識蒸留手法を提案する。 0.81
GKA directly forces feature representations from the two models to be similar, and avoids extra learnable layers [36] to match the different dimensions of teacher and student feature spaces, which could otherwise lead to information leakage. GKAは2つのモデルから直接特徴表現を類似させるように強制し、教師と学生の特徴空間の異なる寸法にマッチするために、余分な学習可能な層[36]を避けます。 0.76
We name our method as CAT as we show teacher model can and should do Compression And Teaching (distillation) jointly, which we find is beneficial for finding generative networks with smaller MACs, using much lower computational resource than prior work. 提案手法は,教師モデルでできることを示し,圧縮と指導(蒸留)を共同で行うべきであるとしてCATと命名し,従来の作業よりもはるかに少ない計算資源を用いて,MACを小さくした生成ネットワークを見つけるのに有用であることを示した。 0.68
More importantly, our compressed networks can achieve similar or even better performance than their original counterparts (Tab. さらに重要なのは、当社の圧縮ネットワークは、元のネットワーク(Tab.com)と類似またはさらに優れたパフォーマンスを達成できます。 0.58
1). 2. Related Work Due to their high computation cost, running GANs on resource-constrained devices in real-time remains a challenging problem. 1). 2. 関連作業 計算コストが高いため、リソースに制約のあるデバイス上でリアルタイムにGANを実行することは難しい問題です。 0.79
As a result, GAN compression has garnered attention recently. その結果、GAN圧縮は近年注目を集めている。 0.75
Existing methods [1, 10, 20, 36, 64, 70] exploit network architecture search/pruning and knowledge distillation (discussed below). 既存の方法[1, 10, 20, 36, 64, 70] ネットワークアーキテクチャの検索/製法と知識蒸留(後述)を利用する。 0.81
Although they can compress the original models (e g , CycleGAN [85]) to a relatively small MACs, all these methods suffers from sacrifice on performance. オリジナルのモデル(例えば、CycleGAN [85])を比較的小さなMACに圧縮できるが、これらの手法はすべて性能の犠牲になる。 0.71
In contrast, our method finds smaller networks than existing compressed GAN models, 対照的に,提案手法は既存の圧縮GANモデルよりもネットワークが小さい。 0.75
whilst improves performance over the original models, such as Pix2pix [29], CycleGAN [85], and GauGAN [58]. 一方、Pix2pix [29]、CycleGAN [85]、GauGAN [58]など、オリジナルのモデルよりもパフォーマンスが向上している。 0.70
Network architecture search & pruning. ネットワークアーキテクチャ検索とプルーニング。 0.71
To determine the structure of a pruned model, previous work employs neural architecture search (NAS) [7, 11, 37, 39, 40, 41, 42, 46, 47, 53, 61, 66, 74, 80, 86] and pruning techniques [4, 16, 17, 35, 42, 43, 44, 49, 50, 51, 52, 56, 57, 63, 73, 78, 79, 81, 82, 84], where the number of channels and/or operations can be optimized automatically. プルーニングモデルの構造を決定するために、ニューラルネットワーク探索 (nas) [7, 11, 37, 39, 40, 42, 46, 47, 53, 61, 66, 74, 80, 86] とプルーニング技術 [4, 16, 17, 35, 43, 44, 49, 50, 51, 52, 56, 57, 63, 73, 78, 79, 81, 82, 84] を用いる。
訳抜け防止モード: 模擬モデルの構造を決定する。 以前の作品は、ニューラルアーキテクチャサーチ(NAS)[7]を採用しています。 11, 37, 39, 40, 41, 42, 46, 47, 53, 61, 66, 74, 80, 86 ] と刈り取り技術 [4, 16, 17, 35, 42, 43, 44, 49, 50, 51, 52, 56, 57, 63, 73, 78, 79, 81, 82, 84 ], where チャネル数および/または操作は自動的に最適化することができます。
0.82
Applying these methods directly on generative models can lead to inferior performance of compressed models than their original counterparts. これらの手法を生成モデルに直接適用することで、圧縮モデルの性能は元のモデルよりも劣る可能性がある。 0.65
For example, Shu et al [64] employ an evolutionary algorithm [59] and Fu et al [20] engage differentiable network design [39], while Li et al [36] train a supernet with random sampling technique [6, 23, 79, 80] to select the optimal architecture. 例えば、shu et al [64] では進化アルゴリズム [59] と fu et al [20] が微分可能なネットワーク設計 [39] を採用し、li et al [36] はランダムサンプリング手法 [6, 23, 79, 80] でスーパーネットを訓練して最適なアーキテクチャを選択する。 0.87
The common key drawback of these methods is the slow searching process. これらの方法の共通する欠点は、遅い探索プロセスである。 0.75
In contrast, directly pruning on a pre-trained model is much faster. 対照的に、事前訓練されたモデルで直接刈り取るのはずっと速い。 0.66
Following previous methods of network slimming [43, 44], Wang et al [70] apply (cid:96)1 regularization to generative models for channel pruning. ネットワークスリム化 [43, 44] の以前の方法に従い、Wang et al [70] はチャンネル切断のための生成モデルに (cid:96)1 正規化を適用する。 0.74
However, they report performance degradation compared to the original network. しかし、元のネットワークに比べて性能が低下している。 0.66
Besides, these pruning methods require tuning additional hyperparameters for (cid:96)1 regularization to encourage channel-wise sparsity [43, 44] and even more hyper-parameters to decide the number of channels to be pruned [53], making the process tedious. さらに、これらのpruningメソッドは(cid:96)1正規化のために追加のハイパーパラメータを調整する必要があり、チャンネルワイズスパーシティ[43, 44]とさらに多くのハイパーパラメータがpruned[53]のチャンネル数を決定するように促し、プロセスを退屈にします。 0.70
Additionally, GAN training involves optimizing multiple objective functions, and the associated hyperparameters make the training process even harder. さらに、GANトレーニングは複数の客観的関数を最適化し、関連するハイパーパラメータはトレーニングプロセスをさらに困難にします。
訳抜け防止モード: さらに、GANトレーニングは複数の目的関数を最適化する。 関連するハイパーパラメーターは トレーニングプロセスをさらに困難にします
0.78
Recently, lottery ticket hypothesis [19] is also investigated on GAN problem [2], while the performance is not satisfactory. 近年,GAN問題[2]では抽選券仮説[19]も検討されているが,性能は不十分である。 0.72
Knowledge distillation [26] is a technique to transfer knowledge from a larger, teacher network to a smaller, student network, and has been used for model compression in various computer vision tasks [9, 10, 45, 48, 76]. 知識蒸留 [26] は, より大規模な教師ネットワークからより小さな学生ネットワークへ知識を伝達する技術であり, 様々なコンピュータビジョンタスク [9, 10, 45, 48, 76] において, モデル圧縮に用いられている。 0.89
A recent survey [22] categorizes knowledge distillation as responsebased, feature-based, or relation-based. 最近の調査[22]では、知識蒸留を反応ベース、特徴ベース、関係ベースと分類している。 0.57
Most GAN compression methods [1, 10, 20] use response-based distillation, enforcing the synthesized images from the teacher and student networks to be the same. GAN圧縮手法のほとんど [1, 10, 20] は, 教師と学生のネットワークから合成した画像が同じであるように, 応答に基づく蒸留を用いている。 0.76
Li et al [36] apply featurebased distillation by introducing extra layers to match feature sizes between the teacher and student, and minimizing the differences of these embeddings using mean squared error (MSE) loss. Li et al [36] は,教師と生徒の特徴量に合わせて余分な層を導入し,平均二乗誤差(MSE)損失を用いてこれらの埋め込みの違いを最小化することにより,特徴に基づく蒸留を適用した。 0.69
However, this has the potential problem that some information can be stored in those extra layers, without being passed on to the student. しかし、これは、一部の情報が学生に渡されることなく、これらの余分な層に格納できる潜在的な問題である。 0.77
Here, we propose to distill knowledge by directly maximizing the similarity between features from teacher and student models. 本稿では,教師モデルと生徒モデルの類似性を直接最大化することにより,知識を蒸留することを提案する。
訳抜け防止モード: ここでは 教師と生徒のモデルの特徴の類似性を直接最大化し、知識を蒸留すること。
0.72
3. Methods In this section, we show our method for searching a compressed student generator from a teacher generator. 3. 方法 このセクションでは、教師ジェネレーターから圧縮された学生ジェネレーターを検索する方法を紹介します。 0.77
We revisit the network design of conditional image genera- 条件付き画像のネットワーク設計を再考する- 0.75
2 2 0.85
英語(論文から抽出)日本語訳スコア
different operations (e g , convolution layers with various kernel size) and different numbers of channels than the teacher network through pruning. 異なる操作(例えば、様々なカーネルサイズを持つ畳み込み層)と、プルーニングを通じて教師ネットワークと異なるチャネル数。 0.76
Towards this end, we adopt the widely used inception module on discriminative models [53, 65, 87] to the image generators and propose the inception-based residual block (IncResBlock). この目的に向けて,画像生成装置の識別モデル [53,65,87] に広く使用されているインセプションモジュールを採用し,インセプションベース残差ブロック (incresblock) を提案する。 0.81
A conventional residual block in generators only contains convolution layers with one kernel size (e g , 3 × 3), while in IncResBlock, as shown in Fig 2, we introduce convolution layers with different kernel sizes, including 1× 1, 3× 3, and 5 × 5. ジェネレータにおける従来の残留ブロックは、1つのカーネルサイズ(例えば、3×3)の畳み込み層のみを含むが、IncResBlockでは、図2に示すように、1× 1, 3× 3 と 5× 5 を含む異なるカーネルサイズの畳み込み層を導入する。 0.75
Additionally, we incorporate depth-wise blocks [27] into IncResBlock as depth-wise convolution layers typically require less computation cost without sacrificing the performance, and are particularly suitable for models deployed on mobile devices [62]. さらに,incresblockには深さ方向ブロック[27]を組み込んでいる。深さ方向畳み込み層は通常,性能を犠牲にすることなく計算コストを削減でき,特にモバイルデバイス [62] にデプロイされたモデルに適している。 0.69
Specifically, the IncResBlock includes six types of operations, with two types of convolution layers and three different kernel-sizes. 具体的には、incresblockは6種類の演算を含み、2種類の畳み込み層と3つの異なるカーネルサイズを持つ。 0.69
To achieve similar total computation cost, we set the number of output channels for the first convolution layers of each operations to that of the original residual blocks divided by six, which is the number of different operations in the IncResBlock. 同様の総計算コストを達成するために、各操作の最初の畳み込み層の出力チャネルの数を、IncResBlockの異なる操作の数である6つに分けられた元の残存ブロックの数に設定しました。 0.80
We find the performance is maintained thanks to the architecture design. アーキテクチャ設計のおかげで、パフォーマンスは維持されています。 0.68
To get our teacher networks, for Pix2pix and CycleGAN, we replace all residual blocks in original models with the IncResBlock. Pix2pixとCycleGANの教師ネットワークを得るためには、オリジナルのモデルの残余ブロックをすべてIncResBlockに置き換えます。 0.80
For GauGAN, we apply IncResBlock in both the SPADE modules and the residual blocks. GauGAN では、SPADE モジュールと残留ブロックの両方に IncResBlock を適用します。 0.77
More details are illustrated in the supplementary materials. 詳細は補足資料に記載されている。 0.56
3.2. Search from Teacher Generator via Pruning With the teacher network introduced, we search a compressed student network from it. 3.2. The teacher network introduced, we search from Teacher Generator via Pruning, we search a compressed students network from it。 0.78
Our searching algorithm includes two parts. 我々の探索アルゴリズムは2つの部分を含む。 0.64
The first one is deciding a threshold based on the given computational budget, and the second one is pruning channels with a scale less than a threshold. 1つは、与えられた計算予算に基づいてしきい値を決定し、2つ目は、しきい値未満のスケールでチャンネルをプルーニングすることである。 0.72
Compared with existing iterative pruning methods [43, 53], we only perform pruning once, and we name our searching algorithm as one-step pruning. 既存の反復的刈り取り手法 [43, 53] と比較して, 1回だけ刈り込みを行い, 探索アルゴリズムをワンステップ刈り取りと呼ぶ。 0.75
Automatically threshold searching. Following existing efforts [43, 44], we prune the channels through the magnitudes of scaling factors in normalization layers, such as Batch Normalization (BN) [28] and Instance Normalization (IN) [69]. 自動しきい値探索。 既存の取り組み [43, 44] に続いて, Batch Normalization (BN) [28] や Instance Normalization (IN) [69] などの正規化層におけるスケーリング要因の規模を通じてチャネルを訓練する。 0.84
To this end, a threshold is required to choose channels to prune. そのためには、プルーンするチャンネルを選択するためにしきい値が必要です。 0.67
As we train the teacher model without regularization, there is no constraint to force the teacher model to be sparse. 教師モデルを正規化せずにトレーニングするので、教師モデルをスパースに強制する制約はありません。 0.76
The magnitude of scaling factors from the normalization layers is not guaranteed to be small. 正規化層からのスケーリング要因の規模は小さいことが保証されていない。 0.75
Thus, the previous iterative pruning methods, which remove channels using a manually designed threshold, are not suitable for our network. したがって,従来の反復的プルーニング手法は,手作業で設計したしきい値を用いてチャネルを除去するが,ネットワークには適さない。 0.68
To solve this, we determine the threshold by a given computation budget, which can be MACs or latency. これを解決するために、所定の計算予算によって、MACやレイテンシのしきい値を決定する。 0.65
All channels with scale smaller than the threshold are pruned until the final model achieves the target computation budget. しきい値よりもスケールが小さい全てのチャネルは、最終モデルが目標計算予算を達成するまでプルーニングされる。 0.78
Figure 2: IncResBlock includes three conventional convolution blocks and three depth-wise convolution blocks (dashed border), both with kernels sizes of 1, 3, 5. 図2:IncResBlockには、3つの従来の畳み込みブロックと3つの深さ方向の畳み込みブロック(ダッシュボーダー)が含まれています。 0.74
Normalization layers (e g , BN), and ReLU, are applied between each two consecutive convolution layers. 正規化層(例えば、g、BN)とReLUは、各2つの連続畳み込み層の間に適用される。
訳抜け防止モード: 正規化層(例えばBN)とReLU 2つの連続した畳み込み層の間に適用されます
0.81
A normalization layer that can be inserted after summing features from the six blocks and the residual connection are optional. 6つのブロックから特徴を要約した後に挿入できる正規化層と残りの接続はオプションである。 0.75
Unless otherwise stated, both are applied by default. そうでなければ、どちらもデフォルトで適用される。 0.70
tion models and introduce inception-based residual blocks (Sec. 調律モデルとインセプションに基づく残差ブロック(sec)の導入 0.70
3.1). The teacher model is built upon the proposed block design and can serve two purposes. 3.1). 教師モデルは提案されたブロック設計に基づいて構築され、2つの目的を果たすことができる。 0.73
First, we show that the teacher model can be viewed as a large search space that enables one-shot neural architecture search without training an extra supernet. まず,教師モデルは,スーパーネットをトレーニングすることなく,ワンショットニューラルネットワークによる検索を可能にする大きな検索空間と見なせることを示す。 0.80
With the proposed onestep pruning method, a computationally efficient network that satisfies a given computational budget can be found instantly (Sec. 提案手法では,与えられた計算予算を満たす計算効率の良いネットワークを瞬時に見つけることができる(Sec。 0.83
3.2). Second, we show the teacher model itself is sufficient for knowledge distillation, without necessity of introducing extra layers. 3.2). 第二に, 教師モデル自体が, 余分な層を導入する必要なしに, 知識蒸留に十分であることを示す。 0.75
By maximizing the similarity between intermediate features of teacher and student network directly, where features of the two networks contain different numbers of channels, we can effectively transfer knowledge from teacher to student (Sec. 2つのネットワークの特徴が異なるチャンネル数を含む教師ネットワークと学生ネットワークの中間機能間の類似性を最大化することにより、教師から学生(Sec.com)に効果的に知識を転送できます。 0.80
3.3). 3.1. 3.3). 3.1. 0.75
Design of Teacher Generator Existing efforts leverage supernet to introduce search space that contains more efficient networks [6, 23, 36]. 教師ジェネレータの設計 既存の取り組みは,より効率的なネットワークを含む検索空間の導入にスーパーネットを活用している [6, 23, 36]。
訳抜け防止モード: スーパーネットを活用した教師ジェネレータの設計 より効率的なネットワークを含む検索スペースを導入します [6, 23, 36]
0.85
The optimization of supernet can lead to extra training costs. スーパーネットの最適化は、追加のトレーニングコストにつながる可能性がある。 0.56
However, as we already have a teacher network in hand, searching efficient student from the teacher model should be more straightforward, as long as the teacher network contains a large searching space. しかし,教師ネットワークがすでに存在するため,教師ネットワークに広い検索空間が存在する限り,教師モデルから効率的な生徒を探索することがより容易である。 0.78
In this way, the teacher network can perform both knowledge distillation and provide search space. このように、教師ネットワークは知識蒸留と検索スペースの両方を行うことができます。 0.74
Therefore, the goal of obtaining a good supernet can be changed to design a teacher generator that can synthesize high fidelity images; and itself contains a reasonable search space. したがって、優れたスーパーネットを得るという目標は、高忠実度画像を合成できる教師ジェネレータを設計し、それ自身は合理的な検索空間を含むように変更することができる。 0.67
Inception-based residual block. インセプションに基づく残留ブロック 0.65
With the above goal bearing in mind, we design a new architecture for the image generation tasks so that a pre-trained teacher generator with such architecture can serve as a large search space. 上記の目標を念頭に、画像生成タスクのための新しいアーキテクチャを設計し、そのようなアーキテクチャで事前学習した教師生成者が大きな検索空間として機能できるようにした。 0.73
We aim to search for a smaller student network that can have 私たちは小さな学生ネットワークを 探そうとしています 0.75
3 1 x 11 x 13 x 33 x 35 x 55 x 51 x 11 x 11 x 11 x 11 x 13 x 31 x 11 x 15 x 5IncResBlockIncSPADE ResBlkIncSPADEReLUIn ception ResBlock1 x 1-ConvIncSPADEReLUIn cSPADESync BNResize (order=0)Inception ResBlock 3 1 x 11 x 13 x 33 x 35 x 55 x 51 x 11 x 11 x 11 x 13 x 31 x 15 x 5IncResBlockIncSPADE ResBlkIncSPADEReLUIn ception ResBlock1 x 1-ConvIncSPADEReLUIn cSPADESync BNResize (order=0) Inception ResBlock 0.78
英語(論文から抽出)日本語訳スコア
We find the scale threshold by binary search on the scaling factors of normalization layers from the pre-trained teacher model. 事前学習した教師モデルから正規化層のスケーリング因子を二分探索することで,尺度閾値を求める。 0.75
Specifically, we temporarily prune all channels with a scaling factor magnitude smaller than the threshold and measure the computational cost of the pruned model. 具体的には、しきい値よりもスケール係数が小さい全てのチャネルを一時的にプルークし、プルーンドモデルの計算コストを計測する。 0.75
If it is smaller than the budget, the model is pruned too much and we search in the lower interval to get a smaller threshold; otherwise, we search in the upper interval to get a larger value. 予算よりも小さければ、モデルが大きすぎるので、より小さなしきい値を得るためにより低い間隔で検索します。さもなければ、大きな値を得るために上部の間隔で検索します。 0.73
During this process, we also keep the number of output channels for convolution layers outside the IncResBlock larger than a pre-defined value to avoid an invalid model. このプロセスでは、incresblock以外の畳み込み層に対する出力チャネルの数を、事前定義された値よりも大きく保ち、無効なモデルを避ける。 0.70
Details of the algorithm are illustrated in Algorithm 1. アルゴリズムの詳細はアルゴリズム1に記載されている。 0.75
Channel pruning. チャンネルの刈り込み。 0.73
With the threshold decided, we perform network searching via pruning. しきい値を決定すると、プルーニングによるネットワーク探索を行う。 0.70
Given an IncResBlock, it is possible to change both the number of channels in each layer and modify the operation, such that, e g , one IncResBlock may only include layers with kernel sizes 1 × 1 and 3 × 3. IncResBlockが与えられた場合、各レイヤ内のチャネル数を変更して操作を変更することが可能で、例えば、1つのInResBlockはカーネルサイズが 1 × 1 と 3 × 3 の層のみを含むことができる。 0.82
Similar to Mei et al [53], we prune channels of the normalization layers together with the corresponding convolution layers. Mei et al [53]と同様に、正規化層のチャンネルを対応する畳み込み層と共にプルーンします。 0.69
Specifically, we prune the first normalization layers for each operation in IncResBlock, namely the ones after the first k× k convolution layers for conventional operations and the ones after the first 1× 1 convolution layers for depth-wise operations. 具体的には、IncResBlockにおける各操作に対する最初の正規化層、すなわち従来の操作に対する最初の k× k 畳み込み層、深度演算のための最初の 1× 1 畳み込み層の後である。 0.78
Algorithm 1 Searching via One-Step Pruning. アルゴリズム1 ワンステッププルーニングによる探索 0.76
Require: Computational budget Tb, teacher model GT, scaling factors γ(l) (used for pruning) of the i-th channel in normalization layers N (l)∈GT, minimum # outi put channels clb for convolution layers (outside the IncResBlock). 必須:計算予算Tb、教師モデルGT、正規化層N(l)∈GTにおけるiチャネルのスケーリングファクタγ(l)(pruningに使用される)、最小#outiは畳み込み層(IncResBlockの外側)にチャネルclbを置きます。 0.80
Ensure: pruned student architecture GS. 保証:pruned学生建築GS。 0.58
1: Initialize scale lower bound γlo: γlo ← min |γ(l) |. 1: 初期化スケール 下界 γlo: γlo > min |γ(l) |。 0.88
i i,l 2: Initialize scale upper bound γhi: γhi ← max |. i,l 2: 初期化スケール上界 γhi: γhi > max |。 0.77
|γ(l) i i,l 3: while γlo < γhi do γth ← (γlo + γhi)/2 4: Prune channels satisfying |γ(l) 5: i keep clb to get GS T ← computational cost of GS 6: if T > Tb then 7: γlo ← γth 8: else 9: γhi ← γth 10: end if 11: 12: end while γ(l) i i,l 3: while γlo < γhi do γth > (γlo + γhi)/2 4: Prune channel fulfilling |γ(l) 5: i keep clb to get GS T > compute cost of GS 6: if T > Tb then 7: γlo > γth 8: else 9: γhi > γth 10: end if 11: 12: end while 0.89
| < γth on GT while | < γth on GT while 0.97
Discussion. Our searching algorithm is different from previous works that focus on compressing generative models in the following three perspectives. 議論。 我々の探索アルゴリズムは、以下の3つの視点で生成モデルを圧縮することに焦点を当てた以前の研究とは異なる。 0.66
First, we search an efficient network from a pre-trained teacher model without utilizing an extra supernet [36]. まず,事前学習した教師モデルから,余分なスーパーネットを使わずに効率的なネットワークを探索する[36]。 0.75
Second, we show the scales 第二に、スケールを示します。 0.58
of the normalization layers in the pre-trained teacher network are sufficient for pruning, therefore, weight regularization for iterative pruning [53, 70] might not be necessary for the generation tasks. 教師ネットワークの正規化層は刈り取りに十分であり, 反復刈り取り(53, 70)の重量正規化は, 生成作業に必要ではないと考えられる。 0.72
Third, the teacher network can be compressed to several different architectures, and we can find the student network that satisfies an arbitrary type of computational cost, e g , MACs, under any value of predefined budget during the searching directly. 第三に、教師ネットワークは複数の異なるアーキテクチャに圧縮することができ、直接検索中に事前に定義された予算の値の下で任意の種類の計算コスト、例えばMACを満足する学生ネットワークを見つけることができる。 0.84
Such differences bring us three advantages. このような違いは3つの利点をもたらす。 0.60
First, searching cost is significantly reduced without introducing extra network. まず、追加のネットワークを導入することなく検索コストを大幅に削減する。 0.62
Second, removing the weight regularization, e g , (cid:96)1-norm, eases the searching process as a bunch of hyper-parameters are reduced, which we find are hard to tune in practice. 第2に、重量正規化(例えば、 (cid:96)1-norm)の除去は、ハイパーパラメータの束を減らすことによって、探索プロセスを容易化します。 0.71
Third, we have more flexibility to choose a student network with required computational cost. 第三に、必要な計算コストで学生ネットワークを選択する柔軟性があります。 0.78
3.3. Distillation from Teacher Generator After obtaining a student network architecture, we train it from scratch, leveraging the teacher model for knowledge distillation. 3.3. 生徒ネットワークアーキテクチャを得た後,教師生成器からの蒸留をスクラッチから訓練し,教師モデルを用いて知識蒸留を行う。 0.74
In particular, we transfer knowledge between the two networks’ feature spaces, since this has been shown [36] to achieve better performance than reconstructing images synthesized by the teacher [20]. 特に,教師 [20] が合成した画像の再構成よりも優れた性能を達成するために,[36] が示されているので,両ネットワークの特徴空間間で知識を伝達する。 0.80
With different numbers of channels between teacher and student layers, Li et al [36] introduce auxiliary, learnable layers that project the student features into the same dimensional space as the teacher, as shown in Fig 3. 教師層と生徒層の間に異なる数のチャンネルがあり、図3に示すように、Li et al [36] は生徒の特徴を教師と同じ次元空間に投影する補助的な学習可能なレイヤを導入している。 0.79
Whilst equalizing the number of channels between the two networks, these layers can also impact the efficacy of distillation, since some information can be stored in these extra layers. 2つのネットワーク間のチャネル数を等しくする一方で、これらの層は追加の層にいくつかの情報を格納できるため、蒸留の有効性にも影響を及ぼす。 0.73
To avoid information loss, we propose to encourage similarity between the two feature spaces directly. 情報喪失を避けるため,我々は2つの特徴空間間の類似性を直接促進する。 0.77
3.3.1 Similarity-based Knowledge Distillation We develop our distillation method based on centered kernel alignment (CKA) [14, 15], a similarity index between two matrices, X ∈ Rn×p1 and Y ∈ Rn×p2, where after centering the kernal alignment (KA) is calculated, which is defined as1 3.3.1 類似性に基づく知識蒸留法 我々は、中心核アライメント (cka) [14, 15] に基づいて蒸留法を開発し、x ∈ rn×p1 と y ∈ rn×p2 の類似性指数である中心核アライメント (cka) [14, 15] に基づいて、ケルナルアライメント (ka) の中心を計算した後、as1 で定義される。
訳抜け防止モード: 3.3.1 類似性-基礎知識蒸留 中心核アライメント(CKA) [14, 15] に基づく蒸留法を開発する。 2つの行列 X ∈ Rn×p1 と Y ∈ Rn×p2 の類似度指数 角状アライメント(KA)を中心にした後に計算する。 1と定義されています
0.77
KA(X, Y ) = KA(X, Y ) = 0.85
(cid:107)Y TX(cid:107)2 F (cid:107)X TX(cid:107)F(cid:107 )Y TY (cid:107)F (cid:107)Y TX(cid:107)2 F (cid:107)X TX(cid:107)F(cid:107 )Y TY (cid:107)F 0.83
. (1) It is invariant to an orthogonal transform and isotropic scaling of the rows, but is sensitive to an invertible linear transImportantly, p1 and p2 can differ. . (1) 直交変換や列の等方的スケーリングに不変であるが、可逆線型超重要度に敏感であり、p1とp2は異なっている。 0.78
Kornblith et form. Kornblithらの形。 0.74
al. [34] use this index to compute the similarity between different learned feature representations of varying lengths (p1 = hwc1 & p2 = hwc2, where h, w and c· are the height, width and number of channels of the respective layer tensors; n is the batch size). アル [34] この指標を用いて、異なる長さの異なる学習された特徴表現間の類似性を計算する(p1 = hwc1 & p2 = hwc2、ここでh, w, c·は各層テンソルのチャネルの高さ、幅、数、nはバッチサイズ)。 0.57
1The identity (cid:107)Y TX(cid:107)2 F = (cid:104)vec(XX T), vec(Y Y T)(cid:105) is used to achieve computational complexity of O(n2hw max(c1, c2)) [34]. 1 同一性(cid:107)Y TX(cid:107)2 F = (cid:104)vec(XX T), vec(Y Y T)(cid:105)は、O(n2hw max(c1,c2))[34]の計算複雑性を達成するために用いられる。 0.81
4 4 0.85
英語(論文から抽出)日本語訳スコア
LT = λadvLadv + λreconLrecon + λdistLdist. LT = λadvLadv + λreconLrecon + λdistLdist 0.93
where x and y denote the input and real images, and D and G denote the discriminator and generator, respectively. ここで x と y は入力画像と実画像を表し、D と G はそれぞれ判別器とジェネレーターを表します。 0.75
Full objective for student. For the training of student generator for CycleGAN, we adopt the setting from [36] where we use the data generated from teacher network to form paired data and train the student the same way as Pix2pix with a reconstruction loss Lrecon. 学生の完全な目的。 CycleGAN の学生ジェネレーターのトレーニングでは、教師ネットワークから生成されたデータを使用してペアデータを作成し、Pix2pix と同じ方法で復元損失 Lrecon で学生を訓練する [36] から設定を採用しています。 0.83
Therefore, for CycleGAN and Pix2pix, the overall loss function for student training is: (5) For the training of GauGAN, there is an additional feature matching loss Lfm [72], and the overall loss function is as follows: LT = λadvLadv+λreconLrecon+λfmLfm+λdistLdist. したがって、CycleGAN と Pix2pix の学生教育における全体的な損失関数は以下の通りである: (5) GauGAN の訓練には、追加の特徴マッチング損失 Lfm [72] が存在し、全体の損失関数は以下の通りである。 0.80
(6) λadv, λrecon, λdist and λfm in Eqn. (6) Eqnのλadv、λrecon、λdistおよびλfm。 0.86
5 and Eqn. 6 indicate the hyper-parameters that balance the losses. 5およびEqn。 6は損失のバランスをとるハイパーパラメータを示す。 0.77
4. Experiments In this section, we show the results of compressing image-to-image models. 4. 本節の実験では,画像から画像への圧縮結果を示す。 0.79
We introduce more details about network training and architectures, together with more qualitative results in the supplementary materials. ネットワークトレーニングとアーキテクチャに関する詳細と、補足資料のより定性的な結果を紹介します。 0.63
4.1. Basic Setting Models. 4.1. 基本設定モデル。 0.70
We conduct experiments on generation models, including Pix2pix [29], CycleGAN [85], and GauGAN [58]. Pix2pix [29], CycleGAN [85], GauGAN [58] などの生成モデルについて実験を行った。 0.81
Following [36], we inherit the teacher discriminator by using the same architecture and the pre-trained weights, and finetune it with the student generator for student training. 36]に続き,同一のアーキテクチャと事前学習した重みを用いて教師判別器を継承し,学生教育のための生徒生成器でそれを微調整する。 0.73
datasets. Horse(cid:1)Zebra and Zebra(cid:1)Horse are two datasets Datasets. データセット。 Horse(cid:1)ZebraとZebra(cid:1)Horseは2つのデータセットデータセットです。 0.70
We examine our method on the following from CycleGAN [85], which converts horse images to zebra and vice versa. 馬の画像をゼブラに変換するcyclegan [85] の手法について検討し,その逆についても検討した。 0.63
There are 1, 187 horse images and 1, 474 zebra images. 1,187枚の馬像と,474枚のシマウマ像がある。 0.66
Cityscapes [13] is a dataset for mapping semantic inputs to images of street scenes. Cityscapes[13]はストリートシーンの画像にセマンティック入力をマッピングするためのデータセットである。 0.77
There are 2, 975 GauGAN models on it. その上に2, 975 GauGANモデルがあります。 0.91
Map(cid:1)Aerial photo contains 2, 194 training and 500 validation data, and we apply Pix2pix and images [29], and we apply Pix2pix model on it. Map(cid:1)Aerial photo contains 2, 194 training and 500 validation data, and we applied Pix2pix and image [29], and we applied Pix2pix model on it。 0.95
Evaluation metrics. We adopt two standard metrics for the evaluation of generative models. 評価指標。 生成モデルの評価には2つの標準指標を採用する。 0.71
For the Cityspaces dataset, we follow existing works [29, 58] to use a semantic segmentation metric to evaluate the quality of synthetic images. Cityspacesデータセットでは、既存の作品[29, 58]に従い、セマンティックセグメンテーションメトリクスを使用して合成画像の品質を評価します。 0.79
We run an image segmentation model, which is DRN-D-105 [77], on the generated images to calculate mean Intersection over Union (mIoU). 生成した画像に対して, DRN-D-105 [77] の画像分割モデルを実行して,Union(mIoU)上の平均断面積を算出する。 0.73
A higher value of mIoU indicates better quality of generated images. mIoUの値が高いと、生成された画像の品質が向上する。 0.63
For other datasets, we apply commonly used Fr´echet Inception Distance (FID) [25], as it estimates the distribution between real and generated images. 他のデータセットに対しては、Fr ́echet Inception Distance (FID) [25] を用いて、実画像と生成画像の分布を推定する。 0.78
We also adopt a recent proposed metric named Kernel Inception Distance (KID) [3] for more thorough comparison. また、より詳細な比較のために、最近提案されたKernel Inception Distance (KID) [3] というメトリックも採用しています。 0.52
A lower FID or KID value indicates better model performance. より低いFIDかKIDはよりよいモデル性能を示します。 0.79
Figure 3: Left: Knowledge distillation with MSE loss requires extra learnable layers to map features into the same number of channels. 図3:左: MSE損失を伴うナレッジ蒸留は、機能を同じチャンネル数にマップするために、学習可能な層を必要とします。 0.63
Right: Our proposed GKA maximizes similarity between features directly. 右:提案したGKAは機能間の類似性を最大化します。 0.62
Global-KA. To compare similarity between teacher and student features, we introduce a similar metric called Global-KA (GKA), where for the same two tensors X and Y defined in Eqn. グローバルKA。 教師と生徒の特徴の類似性を比較するために、Eqnで定義された2つのテンソル X と Y に対して、GKA (Global-KA) と呼ばれる同様の計量を導入する。 0.72
1, GKA is defined as follows: (2) GKA(X, Y ) = KA(ρ(X), ρ(Y )), where ρ : Rn×hwc → Rnhw×c is a simple reshape operation on the input matrix. 2 GKA(X, Y ) = KA(ρ(X), ρ(Y )) ここで ρ : Rn×hwc → Rnhw×c は入力行列上の単純な再形状演算である。
訳抜け防止モード: 1、GKAは次のように定義されます。 以下 : (2 ) GKA(X, Y ) = KA(ρ(X )) ρ(Y ) ) ここで ρ : Rn×hwc → Rnhw×c は入力行列上の単純な再形状演算である。
0.85
Unlike CKA, which sums similarity between two batches of features over channels and spatial pixels, and describes batch-wise similarity, GKA sums feature similarity over channels, characterizing both batchwise and spatial-wise similarity. チャネル上の2つの特徴と空間画素間の類似性をまとめたCKAとは異なり、GKAはチャネル間の類似性を特徴とし、バッチワイドと空間ワイドの両方の類似性を特徴付ける。 0.73
The computational complexity of this operation is O(nhw max(c1, c2)2), which is lower than CKA if the batch size is much larger than the channel numbers. この演算の計算複雑性は O(nhw max(c1, c2)2) であり、バッチサイズがチャネル数よりもはるかに大きい場合、CKA よりも小さい。 0.78
To perform distillation, we maximize the similarity between features of teacher and student networks by maximizing GKA. 蒸留を行うため,GKAを最大化することにより,教師と学生のネットワークの特徴の類似性を最大化する。 0.61
Note that different from CKA, for GKA we do not center the two tensors X and Y . CKA とは異なり、GKA では 2 つのテンソル X と Y は中心にしません。 0.67
However, we find that centering does not introduce much difference on the final performance. しかし、センタリングは最終的なパフォーマンスに大きな違いをもたらさないことがわかった。 0.62
3.3.2 Distillation Loss We conduct distillation on the feature space. 3.3.2 蒸留損失 特徴空間で蒸留を行う。 0.71
Let SKD denote the set of layers for performing knowledge distillation, whereas X (l) and X (l) s denote feature tensors of layer l from t the teacher and student networks, respectively. SKD は知識蒸留を行うための層の集合を表し、X (l) と X (l) s はそれぞれ教師ネットワークと学生ネットワークから層 l のテンソルを特徴とする。 0.73
We miniLdist = − (cid:88) mize the distillation loss Ldist as follows: GKA(X (l) , X (l) s ), t l∈SKD where the minus sign is introduced as we intend to maximize feature similarity between student and teacher models. GKA(X (l) , X (l) s ), t l∈SKD ここでマイナス記号が導入され、学生モデルと教師モデルの間の特徴類似性を最大化しようとしている。
訳抜け防止モード: We miniLdist = − (cid:88 ) mize the distillation loss Ldist: GKA(X ( l )。 X ( l ) s ) t l∂SKD で、マイナス符号が導入された。 生徒モデルと教師モデルの特徴的類似性を最大化するつもりです
0.81
3.4. Learning We train teacher networks using the original loss functions, which includes an adversarial loss Ladv as follows: Ladv = Ex,y [log D(x, y)] + Ex [log(1 − D(x, G(x)))] , (4) 3.4. Ladv = Ex,y [log D(x, y)] + Ex [log(1 − D(x, G(x))] , (4)
訳抜け防止モード: 3.4. 学習 教師ネットワークを学習する: ladv = ex, 敵対的損失ladvを含む元の損失関数を用いて学習する。 y [ log d(x, y ) ] + ex [ log(1 − d(x, g(x ) ) ], ( 4 )
0.72
(3) 5 𝑋𝑡𝑙GCKA𝑋𝑠𝑙𝑋𝑡𝑙𝑋𝑠𝑙GCKAMSElearnabledist ill layer𝑋𝑡𝑙GCKA𝑋𝑠𝑙𝑋𝑡𝑙𝑋𝑠𝑙GKAMSElearnabledisti ll layer (3) 5 XtlGCKAXslXtlXslGCKA MSElearnabledistill LayerXtlGCKAMSElearn abledistill Layer 0.63
英語(論文から抽出)日本語訳スコア
Table 1: Quantitative comparison between different compression techniques for Image-to-Image models. 表1:画像間モデルにおける異なる圧縮手法の定量的比較。 0.81
We use mIoU to evaluate the generation quality of Cityspaces and FID for other datasets. 我々はmIoUを用いて、他のデータセットに対するCityspacesとFIDの生成品質を評価する。 0.68
Higher mIoU or lower FID indicates better performance. 高いmIoUまたは低いFIDは、より良い性能を示す。 0.65
Model CycleGAN モデル CycleGAN 0.82
Pix2pix GauGAN Pix2pix ゴーガン 0.55
Dataset Horse(cid:1)Zebra Zebra(cid:1)Horse Cityscapes Map(cid:1)Aerial photo Cityscapes Dataset Horse(cid:1)Zebra Zebra(cid:1)Horse Cityscapes Map(cid:1)Aerial Photo Cityscapes 0.90
† Estimated from Fig 11 in [2]. 図11から [2] で推定されます。 0.67
Method Original [85, 36] Shu et al [64] AutoGAN Distiller [20] GAN Slimming [70] GAN Lottery [2] Li et al [36] CAT (Ours) Original [85, 70] GAN Slimming [70] CAT (Ours) Original [29, 36] Li et al [36] CAT (Ours) Original [29, 36] Li et al [36] CAT (Ours) Original [58, 36] Li et al [36] CAT-A (Ours) CAT-B (Ours) Method Original [85, 36] Shu et al [64] AutoGAN Distiller [20] GAN Slimming [70] GAN Lottery [2] Li et al [36] CAT (Ours) Original [85, 70] GAN Slimming [70] CAT (Ours) Original [29, 36] Li et al [36] CAT (Ours) Original [29, 36] Li et al [36] CAT (Ours) Original [58, 36] Li et al [36] CAT-A (Ours) CAT-B (Ours) 0.88
FID↓ MACs 61.53 56.8B 96.15 13.4B 83.60 6.39B 86.09 11.25B ~11.35B† ~83.00† 2.67B 71.81 2.55B 60.18 148.81 56.8B 120.01 11.81B 142.68 2.59B 56.8B5.66B 5.57B56.8B 47.76 48.02 4.68B 44.95 4.59B 281B31.7B 29.9B5.52B - FIDU MACs 61.53 56.8B 96.15 13.4B 83.60 6.39B 86.09 11.25B ~11.35B ~83.00シュ 2.67B 71.81 2.55B 60.18 148.81 56.8B 120.01 11.81B 142.68 2.59B 56.8B 5.57B56.8B 47.76 48.0248.02B 44.95 4.59B 281B31.7B 29.9B5.52B 0.32
mIoU↑42.06 40.77 42.5362.18 61.22 62.35 54.71 mIoU↑42.06 40.77 42.5362.18 61.22 62.35 54.71 0.36
Table 2: Further quantitative comparison on KID between different compression techniques for Image-to-Image models, where lower KID indicates better performance. 表2: 低いKIDがより良い性能を示すイメージ・ツー・イメージモデルの異なる圧縮技術間のKIDのさらなる定量的比較。 0.75
Model CycleGAN モデル CycleGAN 0.82
Pix2pix GauGAN Pix2pix ゴーガン 0.55
Dataset Horse(cid:1)Zebra Zebra(cid:1)Horse Map(cid:1)Aerial Cityscapes Dataset Horse(cid:1)Zebra Zebra(cid:1)Horse Map(cid:1)Aerial Cityscapes 0.88
Method Original [85] CAT (Ours) Original [85] CAT (Ours) Original [29] CAT (Ours) Original [58] CAT-A (Ours) CAT-B (Ours) メソッドオリジナル [85] CAT (Ours)オリジナル [85] CAT (Ours)オリジナル [29] CAT (Ours)オリジナル [58] CAT-A (Ours) CAT-B (Ours) 0.89
KID↓ MACs 56.8B 0.020±0.002 2.55B 0.017±0.002 56.8B 0.030±0.002 2.59B 0.036±0.002 56.8B 0.154±0.010 0.009±0.002 4.6B 0.026±0.003 281B 29.9B 0.014±0.002 0.013±0.002 5.5B KID MACs 56.8B 0.020±0.002 2.55B 0.017±0.002 56.8B 0.030±0.002 2.59B 0.036±0.002 56.8B 0.154±0.010 0.009±0.002 4.6B 0.026±0.003 281B 29.9B 0.014±0.002 0.013±0.002 5.5B 0.25
4.2. Comparison Results Quantitative results. 4.2. 比較結果の定量化。 0.73
We compare our method with existing studies for image generation tasks on various datasets. 本手法を,様々なデータセットにおける画像生成タスクの既存研究と比較する。 0.73
The results are summarized in Tab. 結果はタブにまとめられている。 0.76
1 and Tab. 2. We can see that for all datasets included, our models consume the smallest MACs while achieving comparable and 1とTab。 2. すべてのデータセットで、私たちのモデルは最小のMACを消費します。 0.73
mostly the best performance. ほとんどが最高のパフォーマンスです 0.85
Particularly, we achieve better performance than the original models for almost all datasets while reducing computational cost significantly. 特に、ほぼすべてのデータセットのオリジナルモデルよりも優れたパフォーマンスを実現し、計算コストを大幅に削減します。 0.67
For example, on CycleGAN, our method results in a large compression ratio as the MACs is saved from 56.8B to 2.55B (22.3×) or 2.59B (21.9×), while at the same time, 61.53 to 60.18 for Horse(cid:1)Zebra and from 148.8 to 142.7 the model gets better performance as FID is reduced from for Zebra(cid:1)Horse. 例えば、CycleGANでは、MACsを56.8Bから2.55B(22.3×)または2.59B(21.9×)に、同時にHorse(cid:1)Zebraでは61.53から60.18、Zebra(cid:1)Horseでは148.8から142.7に保存することで、モデルの性能が向上する。 0.68
For the Cityscapes dataset with Pix2pix model, we compress the model from 56.8B to 5.57B MACs, which is 10.2× smaller, while increase the mIoU from 42.06 to 42.53. Pix2pixモデルのCityscapesデータセットでは、10.2×小さい56.8Bから5.57BのMACにモデルを圧縮し、mIoUを42.06から42.53に増やします。 0.73
Again, for Pix2pix on the Map(cid:1)Aerial photo dataset, the MACs is reduced from 56.8B to 4.59B by our method, with a compression ratio of 12.4×, whereas the FID is improved and reduced from 47.76 to 44.94. また、Map(cid:1)のPix2pixの場合、MACsは56.8Bから4.59Bに減少し、圧縮比は12.4倍、FIDは47.76から44.94に低下する。 0.72
To further verify the effectiveness of our method for compressing generative models, we experiment on GauGAN with two target MACs: 30B and 5.6B. 生成モデル圧縮法の有効性をさらに検証するため,30Bと5.6Bの2つのターゲットMACを用いてガウガン実験を行った。 0.72
We choose 5.6B as it is similar to our compressed Pix2pix model on Cityscapes. 私たちはCityscapesの圧縮Pix2pixモデルに似ているので5.6Bを選びます。 0.64
We find that with 30B MACs, which is 9.4× smaller than GauGAN, the mIoU of our model is better GauGANよりも9.4×小さい30B MACでは、私たちのモデルのmIoUの方が優れています。 0.76
6 6 0.85
英語(論文から抽出)日本語訳スコア
Figure 4: Qualitative results on Cityscapes dataset. 図4:Cityscapesデータセットの質的な結果。 0.80
Images generated by our compressed model (CAT-A, third row) have higher mIoU and lower FID than the original GauGAN model (fifth row), even with much reduced computational cost. 圧縮モデル (CAT-A, 3行) で生成された画像は, 計算コストを大幅に削減しながらも, 元の GauGAN モデル (5行) よりもmIoU が高く, FID が低い。 0.75
For our CAT-B model (fourth row, 50.9× compressed than GauGAN), although it has lower mIoU, the CAT-B model can synthesize higher fidelity images (lower FID) than GauGAN. CAT-Bモデル(GauGANより4列、50.9×圧縮)ではmIoUが低いが、CAT-BモデルはGauGANより高い忠実度画像(FID)を合成できる。 0.79
inal Pix2pix model. Pix2pixモデル。 0.87
For Horse(cid:1)Zebra on CycleGAN, our method can synthesize better zebra images for challenging input horse images, where the CycleGAN fails to generate. CycleGAN上の馬(cid:1)Zebraの場合、CycleGANが生成されない入力馬画像に対して、より良いゼブラ画像を合成することができる。 0.67
The examples shown in Fig 4 & 5 demonstrate that our compression technique is an effective method for saving the computational cost of generative models. 図4と5に示す例は、我々の圧縮技術が生成モデルの計算コストの削減に有効な方法であることを示している。 0.81
Besides, the compressed models can surpass the original models, even though they require much reduced computational cost and, thus, are more efficient during inference. さらに、圧縮モデルは、計算コストを大幅に削減し、推論中により効率的であるにもかかわらず、元のモデルを超えることができます。 0.68
These results indicate significant redundancy in the original large generators, and it is worth further studying the extreme of these generative models in terms of performance-efficiency trade-off. これらの結果は、元の大きな発電機に大きな冗長性を示し、性能効率のトレードオフの観点からこれらの生成モデルの極端な研究する価値があります。 0.76
Analysis of searching cost. Here we show the analysis of searching costs for finding a student network. 検索コストの分析。 ここでは、学生ネットワークを見つけるための検索コストの分析を示します。 0.78
Our method can search the architecture under a pre-defined computational budget with a much reduced searching cost compared with previous state-of-the-art compressing method [36]. 従来の最先端の圧縮法 [36] に比べ、検索コストを大幅に削減し、事前に定義された計算予算でアーキテクチャを検索することができます。 0.64
Tab. 3 provides the searching cost of the two methods on various datasets and models. Tab。 さまざまなデータセットとモデルの2つのメソッドの検索コストを提供する。 0.82
As can be seen, our method is at least 10, 000× times faster for searching. ご覧のとおり、私たちの方法は検索のために少なくとも10,000×倍高速です。 0.68
The searching time for the previous method [36] is estimated by only including the time for training a supernet, which is designed 前回の方法[36]の探索時間は、設計されたスーパーネットの訓練時間のみを含むと推定される。 0.79
than the original, which is increased from 62.18 to 62.35. オリジナルの62.18から62.35に増加した。 0.77
We further compress the model to less than 5.6B with a compression ratio of 50.9×, and the mIoU is reduced to 54.71. さらに50.9×の圧縮比で5.6B未満に圧縮し、mIoUは54.71に減少する。 0.79
However, it is still much better than that from the Pix2pix model. しかし、Pix2pixモデルよりもずっと優れています。 0.75
These demonstrate that our method is a sound technique for compressing image-to-image models, and provides the state-of-the-art trade-off between computation complexity and image generation performance. 本手法は,画像から画像へ圧縮する音響技術であり,計算の複雑さと画像生成性能の最先端のトレードオフを提供することを実証した。 0.71
Qualitative results. We further show qualitative results to illustrate the effectiveness of our method. 質的な結果。 さらに,本手法の有効性を示す定性的な結果を示す。 0.72
Fig 4 provides samples on Cityspaces, including input segmentation maps, ground-truth (GT), and generated images by different methods. 図4は、入力セグメンテーションマップ、グランドトルース(GT)、および異なる方法で生成された画像を含むシティスペースのサンプルを提供します。 0.68
Our compressed model (CAT-A) achieves better quality (higher mIoU and lower FID) than GauGAN. 圧縮モデル(CAT-A)はGauGANよりも優れた品質(mIoU,FID)を実現する。 0.69
For example, for the leftmost image in Fig 4, the back of the car synthesized by CAT-A is clearer than GauGAN, and CAT-A generates less blurry human images than GauGAN for the rightmost image. 例えば、図4の左端の画像では、CAT-Aで合成された車の後部はGauGANよりもクリアであり、CAT-Aは右端の画像ではGauGANよりもぼやけた人間の画像を生成する。 0.69
CAT-B, which has much-reduced MACs than GauGAN (50.9×), can also achieve better image fidelity (lower FID) than GauGAN. CAT-BはGauGAN (50.9×) よりも多くのMACを持つため、GauGANよりも画像の忠実度(FID)が低い。 0.67
For Map(cid:1)Aerial photo with Pix2pix (Fig. Map(cid:1)Pix2pixによる航空写真(図) 0.72
5), our method generates images with better quality for the river and buildings than the orig- 5) 本手法は, オリグよりも河川や建築物の良質な画像を生成する。 0.75
7 InputGTGauGAN MACs: 281B mIoU: 62.18FID:57.60KID: 0.026±0.003CAT-A (Ours) MACs: 29.9BmIoU: 62.35FID:50.63KID: 0.014±0.002CAT-B (Ours) MACs: 5.52BmIoU: 54.71FID:51.83KID: 0.013±0.002 7 InputGTGauGAN MACs: 281B mIoU: 62.18FID:57.60KID: 0.026±0.003CAT-A (Ours) MACs: 29.9BmIoU: 62.35FID:50.63KID: 0.014±0.002CAT-B (Ours) MACs: 5.52BmIoU: 54.71FID:51.83KID: 0.013±0.002 0.63
英語(論文から抽出)日本語訳スコア
Table 3: Architecture search cost, measured in seconds of GPU computation, for our method vs. Li et al [36], across different models. 表3: アーキテクチャ検索コストは、gpu計算の秒単位で測定されます。
訳抜け防止モード: 表3:gpu計算の秒単位のアーキテクチャ検索コスト 私たちの方法と li et al [ 36 ] では,さまざまなモデルにまたがっています。
0.78
Model CycleGAN モデル CycleGAN 0.82
Pix2pix GauGAN Pix2pix ゴーガン 0.55
Dataset Method Horse(cid:1)Zebra Li et al [36] CAT (Ours) Zebra(cid:1)Horse Li et al [36] CAT (Ours) Li et al [36] Cityscapes CAT (Ours) Map(cid:1)Aerial photo Li et al [36] CAT (Ours) Li et al [36] CAT-A (Ours) Cityscapes CAT-B (Ours) Dataset Method Horse(cid:1)Zebra Li et al [36] CAT (Ours) Zebra(cid:1)Horse Li et al [36] CAT (Ours) Li et al [36] Cityscapes CAT (Ours) Map(cid:1)Aerial photo Li et al [36] CAT (Ours) Li et al [36] CAT-A (Ours) Cityscapes CAT-B (Ours) 0.96
Search Cost (GPU Seconds) (cid:38) 7.2 × 104 3.81 (cid:38) 7.2 × 104 3.62 (cid:38) 7.2 × 104 4.28 (cid:38) 7.2 × 104 4.33 (cid:38) 1.2 × 106 8.22 6.20 検索コスト(GPU Seconds) 7.2 × 104 3.81 (cid:38) 7.2 × 104 3.62 (cid:38) 7.2 × 104 4.28 (cid:38) 7.2 × 104 4.33 (cid:38) 1.2 × 106 8.22 6.20 0.70
image tasks. We show the problem can be tackled by using a powerful teacher model, which is not restricted to teach a student through knowledge distillation, but can serve as a supernet to search efficient architecture (for student) under pre-defined computational budgets. イメージタスク。 知識蒸留によって学生に教えるだけでなく、事前に定義された計算予算の下で効率的なアーキテクチャ(学生用)を探索するためのスーパーネットとして役立つことができる強力な教師モデルを使用することで、この問題に取り組むことができます。 0.65
Specifically, our framework is built upon a newly designed teacher model, which incorporates the proposed IncResBlock. 具体的には,提案するincresblockを組み込んだ新設計の教師モデルに基づいて構築した。 0.78
We show such teacher model contains a large search space where efficient student architecture can be determined through network searching. このような教師モデルは、ネットワーク探索によって効率的な学生アーキテクチャを決定できる巨大な検索空間を含むことを示す。 0.73
The searching process is implemented with our proposed one-step pruning algorithm, which can be conducted with negligible efforts. 探索処理は,提案した一段階の刈り取りアルゴリズムによって実現され,無視できる努力で行うことができる。 0.74
We also introduce a similarity-based knowledge distillation technique to train student network, where feature similarity between student and teacher is measured directly by the proposed GKA index. また,学生ネットワークの学習における類似性に基づく知識蒸留技術を導入し,GKA指標によって生徒と教師の特徴的類似性を直接測定する。 0.77
With our method, we can obtain networks that have similar or even better performance than original Pix2pix, CycleGAN, and GauGAN models on various datasets. 本手法では,Pix2pix,CycleGAN,Ga uGANモデルと同等あるいはそれ以上の性能のネットワークを各種データセット上で得ることができる。 0.84
More importantly, our networks have much reduced MACs than their original counterparts. さらに重要なのは、われわれのネットワークがオリジナルのmacよりはるかに少ないことだ。 0.63
Our work demonstrates that there remains redundancy in existing generative models, and we can achieve improved performance, e g , synthesizing images with better fidelity, with much reduced computational cost. 私たちの研究は、既存の生成モデルに冗長性が残っていることを示し、より忠実な画像合成や計算コストの低減といった、パフォーマンスの向上を実現しています。 0.70
It is worth further investigating the ability of generative models to synthesize images with high quality under an extremely constrained computational budget, which we leave for future study. 今後の研究のために残す、非常に制約の厳しい計算予算の下で、高品質で画像を合成するジェネレーションモデルの能力をさらに調査する価値があります。
訳抜け防止モード: 生成モデルの能力についてさらに研究する価値がある 非常に制約のある計算予算の下で 高品質の画像を合成します 将来の研究のために残します
0.80
6. Acknowledgement The Authors would like to appreciate Jieru Mei from John Hopkins University for invaluable technical discussion. 6. 著者は、John Hopkins大学のJieru Mei氏に貴重な技術的な議論に感謝したいと思います。 0.75
Also this research is partially supported by National Science Foundation CNS-1909172. また、この研究は国立科学財団 CNS-1909172 によって部分的に支持されている。 0.53
Figure 5: Qualitative results on Map(cid:1)Aerial photo (top four rows) and Horse(cid:1)Zebra datasets (bottom three rows). 図5: Map(cid:1)Aerial Photo (top 4 rows) と Horse(cid:1)Zebra datas (bottom three rows) の定性的結果。 0.89
Compared with original networks (Pix2pix and CycleGAN), our models have much reduced MACs and can generate images with higher fidelity (lower FID) by synthesizing textures that are not well-handled by the original large models. 元のネットワーク(Pix2pixとCycleGAN)と比較して、我々のモデルはMACを大幅に削減し、元の大きなモデルではうまく扱えないテクスチャを合成することにより、より忠実な画像(より低いFID)を生成することができる。 0.65
for architecture search. We estimate it as 20 hours with 1 GPU for the CycleGAN and Pix2pix models and 40 hours with 8 GPUs for the GauGAN model, both of which are much shorter than those required in practice and thus serves as a lower bound. 建築調査のために 私たちは、CycleGANとPix2pixモデルで1GPUで20時間、GauGANモデルで8GPUで40時間と推定されています。
訳抜け防止モード: 建築調査のために 我々は、CycleGANとPix2pixモデルで1GPUで20時間と見積もっている。 そして、GauGANモデルの8つのGPUで40時間動作し、どちらも実際に必要とされるものよりもはるかに短い。 より低い境界として機能します
0.65
Besides, we have ignored the time required for searching a student network from the supernet for [36], which is also non-negligible. その上、我々はまた、非無視である[36]のスーパーネットから学生ネットワークを検索するために必要な時間を無視しました。 0.70
For example, for Cityscapes with Pix2pix model, the supernet includes more than 5, 000 possible architectures, and each requires around 3 minutes with 1 GPU for evaluation, resulting in several days of architecture search. 例えば、Pix2pixモデルを持つCityscapesの場合、スーパーネットには5,000以上の可能なアーキテクチャが含まれており、それぞれが評価のために1GPUで約3分を要するため、アーキテクチャ検索が数日になる。 0.67
Despite, we do not take this process of [36] into account for time-estimation in Tab. しかし、[36] のこのプロセスは、tab の時間推定を考慮に入れていない。 0.71
3. 5. Conclusion In this paper, we study the problem of compressing generative models, especially the generators for image-to- 3. 5. 結論 本論文では, 生成モデル, 特に画像生成器の圧縮問題について検討する。 0.83
8 InputGTPix2pix MACs: 56.8B FID: 47.76KID:0.154±0.010CAT (Ours) MACs: 4.59BFID: 44.94KID:0.009±0.002InputCycleGAN MACs: 56.8B FID: 61.53KID:0.020±0.002CAT (Ours) MACs: 2.55BFID: 60.18KID:0.017±0.002InputGTPix2pix MACs: 56.8B FID: 47.76KID:0.154±0.010CAT (Ours) MACs: 4.59BFID: 44.94KID:0.009±0.002InputCycleGAN MACs: 56.8B FID: 61.53KID:0.020±0.002CAT (Ours) MACs: 2.55BFID: 60.18KID:0.017±0.002 8 GTPix2pix MACs: 56.8B FID: 47.76KID:0.154±0.010CAT (Ours) MACs: 4.59BFID: 44.94KID:0.009±0.002InputCycleGAN MACs: 56.8B FID: 61.53KID:0.020±0.002CAT (Ours) MACs: 2.55BFID: 60.18KID:0.017±0.002InputGTPix2pix MACs: 56.8B FID: 47.76KID:0.154±0.010CAT (Ours) MACs: 4.59BID: 44.94KID:0.009±0.002InputCycleGAN MACs: 61.53KID:0.020±0.00202CAT (Ours) MACs: 60.18KID:0.017±0.002InputGTPix2Pix MACs: 56.8B FID: 47.76KID: 47.76KID:0.15454±0.010CAT (Ours) 0.59
英語(論文から抽出)日本語訳スコア
References [1] Angeline Aguinaldo, Ping-Yeh Chiang, Alex Gain, Ameya CompressPatil, Kolten Pearson, and Soheil Feizi. 参照: [1] Angeline Aguinaldo, Ping-Yeh Chiang, Alex Gain, Ameya CompressPatil, Kolten Pearson, Soheil Feizi。 0.84
arXiv preprint ing gans using knowledge distillation. arXiv 知識蒸留による印刷前処理 0.69
arXiv:1902.00159, 2019. arXiv:1902.00159、2019。 0.59
2 [2] Anonymous. {GAN}s can play lottery tickets too. 2 [2]匿名。 {gan}sは宝くじのチケットもプレイできる。 0.66
In Submitted to International Conference on Learning Representations, 2021. under review. International Conference on Learning Representationsに提出された2021. レビュー中。 0.78
1, 2, 6 [3] Mikołaj Bi´nkowski, Dougal J Sutherland, Michael Arbel, and Arthur Gretton. 1, 2, 6 [3] Mikołaj Bi ́nkowski, Dougal J Sutherland, Michael Arbel, Arthur Gretton。 0.84
Demystifying mmd gans. mmd gans の Demystifying。 0.71
arXiv preprint arXiv:1801.01401, 2018. arXiv preprint arXiv:1801.01401, 2018 0.80
5 [4] Tolga Bolukbasi, Joseph Wang, Ofer Dekel, and Venkatesh Saligrama. 5 [4] Tolga Bolukbasi, Joseph Wang, Ofer Dekel, Venkatesh Saligrama。 0.74
Adaptive neural networks for efficient inference. 効率的な推論のための適応ニューラルネットワーク。 0.63
arXiv preprint arXiv:1702.07811, 2017. arXiv preprint arXiv:1702.07811, 2017 0.79
1, 2 [5] Andrew Brock, Jeff Donahue, and Karen Simonyan. 1, 2, [5] Andrew Brock, Jeff Donahue, Karen Simonyan。 0.81
Large scale gan training for high fidelity natural image synthesis. 高忠実性自然画像合成のための大規模ガン訓練 0.81
arXiv preprint arXiv:1809.11096, 2018. arXiv preprint arXiv:1809.11096, 2018 0.79
1 [6] Han Cai, Chuang Gan, Tianzhe Wang, Zhekai Zhang, and Song Han. 1 [6]Han Cai、Chuang Gan、Tianzhe Wang、Zhekai Zhang、Song Han。 0.70
Once-for-all: Train one network and specialize it for efficient deployment. 一度だけ: 1つのネットワークをトレーニングし、効率的なデプロイメントに特化します。 0.54
arXiv preprint arXiv:1908.09791, 2019. arXiv preprint arXiv:1908.09791, 2019 0.81
2, 3 [7] Han Cai, Ligeng Zhu, and Song Han. 2の3 [7]Han Cai、Ligeng Zhu、およびSong Han。 0.76
Proxylessnas: Direct neural architecture search on target task and hardware. Proxylessnas: ターゲットタスクとハードウェアの直接的なニューラルネットワークアーキテクチャ検索。 0.79
arXiv preprint arXiv:1812.00332, 2018. arXiv preprint arXiv:1812.00332, 2018 0.79
2 [8] Menglei Chai, Jian Ren, and Sergey Tulyakov. 2 [8] Menglei Chai、Jian Ren、Sergey Tulyakov。 0.67
Neural hair rendering. 神経毛のレンダリング。 0.59
In Eur. Conf. Comput. Eur! Conf Comput 0.45
Vis., 2020. Vis.、2020年。 0.74
1 [9] Guobin Chen, Wongun Choi, Xiang Yu, Tony Han, and Manmohan Chandraker. 1 [9] Guobin Chen、Wongun Choi、Xiang Yu、Tony Han、Manmohan Chandraker。 0.72
Learning efficient object detection models with knowledge distillation. 知識蒸留による効率的な物体検出モデル学習。 0.82
In Advances in Neural Information Processing Systems, pages 742–751, 2017. 神経情報処理システムの進歩』742-751頁、2017年。 0.74
2 [10] Hanting Chen, Yunhe Wang, Han Shu, Changyuan Wen, Chunjing Xu, Boxin Shi, Chao Xu, and Chang Xu. 2 [10] Hanting Chen、Yunhe Wang、Han Shu、Changyuan Wen、Chunjing Xu、Boxin Shi、Chao Xu、Chang Xu。 0.70
Distilling portable generative adversarial networks for image translation. 画像翻訳のための可搬型生成対向ネットワークの蒸留 0.73
arXiv preprint arXiv:2003.03519, 2020. arXiv preprint arXiv:2003.03519, 2020 0.81
2 [11] Xin Chen, Lingxi Xie, Jun Wu, and Qi Tian. 2 [11] Xin Chen、Lingxi Xie、Jun Wu、Qi Tian。 0.70
Progressive differentiable architecture search: Bridging the depth gap beIn Proceedings of the IEEE tween search and evaluation. progressive differentiable architecture search: bridging the depth gap bein proceedings of the ieee tween search and evaluation (英語) 0.70
International Conference on Computer Vision, pages 1294– 1303, 2019. International Conference on Computer Vision, page 1294–1303, 2019 0.79
2 [12] Jungwook Choi, Zhuo Wang, Swagath Venkataramani, Pierce I-Jen Chuang, Vijayalakshmi Srinivasan, and Kailash Gopalakrishnan. 2[12]Jungwook Choi, Zhuo Wang, Swagath Venkataramani, Pierce I-Jen Chuang, Vijayalakshmi Srinivasan, Kailash Gopalakrishnan 0.76
Pact: Parameterized clipping activaarXiv preprint tion for quantized neural networks. pact:パラメータ化クリッピング activaarxiv preprint tion for quantized neural networks。 0.83
arXiv:1805.06085, 2018. arXiv:1805.06085, 2018 0.69
1 [13] Marius Cordts, Mohamed Omran, Sebastian Ramos, Timo Rehfeld, Markus Enzweiler, Rodrigo Benenson, Uwe Franke, Stefan Roth, and Bernt Schiele. 1[13] Marius Cordts, Mohamed Omran, Sebastian Ramos, Timo Rehfeld, Markus Enzweiler, Rodrigo Benenson, Uwe Franke, Stefan Roth, Bernt Schiele。 0.80
The cityscapes dataset for semantic urban scene understanding. セマンティックな都市シーン理解のための都市景観データセット。 0.67
In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 3213–3223, 2016. コンピュータビジョンとパターン認識に関するIEEEカンファレンスProceedings of the IEEE conference, pages 3213–3223, 2016 0.86
5 [14] Corinna Cortes, Mehryar Mohri, and Afshin Rostamizadeh. 5[14] Corinna Cortes, Mehryar Mohri, Afshin Rostamizadeh。 0.72
Algorithms for learning kernels based on centered alignment. 集中アライメントに基づくカーネル学習アルゴリズム。 0.60
The Journal of Machine Learning Research, 13(1):795–828, 2012. Journal of Machine Learning Research, 13(1):795–828, 2012 0.84
4 [15] Nello Cristianini, Jaz Kandola, Andre Elisseeff, and John Shawe-Taylor. 4 [15] Nello Cristianini、Jaz Kandola、Andre Elisseeff、John Shawe-Taylor。 0.77
On kernel target alignment. カーネルターゲットアライメントについて 0.69
In Innovations in machine learning, pages 205–256. 機械学習のイノベーションでは、205-256ページ。 0.74
Springer, 2006. 4 [16] Caiwen Ding, Siyu Liao, Yanzhi Wang, Zhe Li, Ning Liu, Youwei Zhuo, Chao Wang, Xuehai Qian, Yu Bai, Geng Yuan, et al Circnn: accelerating and compressing deep neural networks using block-circulant weight matrices. 2006年春。 4 16] Caiwen Ding, Siyu Liao, Yanzhi Wang, Zhe Li, Ning Liu, Youwei Zhuo, Chao Wang, Xuehai Qian, Yu Bai, Geng Yuan, et al Circnn: ブロック循環量行列を用いたディープニューラルネットワークの高速化と圧縮。 0.73
In Proceedings of the 50th Annual IEEE/ACM International Symposium on Microarchitecture, pages 395–408, 2017. The 50th Annual IEEE/ACM International Symposium on Microarchitecture, pages 395–408, 2017 に参加して 0.87
2 [17] Caiwen Ding, Ao Ren, Geng Yuan, Xiaolong Ma, Jiayu Li, Ning Liu, Bo Yuan, and Yanzhi Wang. 2 [17]カイウェン・ジン、アオ・レン、元元、Xiaolong Ma、Jiayu Li、Ning Liu、Bo Yuan、Yanzhi Wang。 0.76
Structured weight matrices-based hardware accelerators in deep neural networks: Fpgas and asics. 深層ニューラルネットワークにおける構造的重量行列ベースのハードウェアアクセラレータ:FpgasとAsics。 0.74
In Proceedings of the 2018 on Great Lakes Symposium on VLSI, pages 353–358, 2018. The Proceedings of the 2018 on Great Lakes Symposium on VLSI, pages 353–358, 2018。 0.91
1, 2 [18] Caiwen Ding, Shuo Wang, Ning Liu, Kaidi Xu, Yanzhi Wang, and Yun Liang. 1, 2 [18]Caiwen Ding, Shuo Wang, Ning Liu, Kaidi Xu, Yanzhi Wang, Yun Liang. 0.81
Req-yolo: A resource-aware, efficient quantization framework for object detection on fpgas. Req-yolo: fpgas上のオブジェクト検出のためのリソース認識で効率的な量子化フレームワーク。 0.68
In Proceedings of the 2019 ACM/SIGDA International Symposium on Field-Programmable Gate Arrays, pages 33–42, 2019. 2019 ACM/SIGDA International Symposium on Field-Programmable Gate Arrays, pp. 33-42, 2019 に参加。 0.82
1 [19] Jonathan Frankle and Michael Carbin. 1 19] ジョナサン・フランコールとマイケル・カービン。 0.76
The lottery ticket hypothesis: Finding sparse, trainable neural networks. 宝くじチケット仮説:スパースでトレーニング可能なニューラルネットワークを見つける。 0.62
arXiv preprint arXiv:1803.03635, 2018. arXiv preprint arXiv:1803.03635, 2018 0.79
2 [20] Yonggan Fu, Wuyang Chen, Haotao Wang, Haoran Li, Yingyan Lin, and Zhangyang Wang. 2 [20]永岸府、武陽陳、八尾王、羽蘭里、yingyan Lin、Zhangyang Wang。 0.77
Autogan-distiller: Searching to compress generative adversarial networks. Autogan-distiller: 生成的敵ネットワークを圧縮する検索。 0.70
arXiv preprint arXiv:2006.08198, 2020. arXiv preprint arXiv:2006.08198, 2020 0.81
1, 2, 4, 6 1, 2, 4, 6 0.85
[21] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and In Advances Yoshua Bengio. 21] Ian Goodfellow、Jean Pouget-Abadie、Mehdi Mirza、Bing Xu、David Warde-Farley、Sherjil Ozair、Aaron Courville、In Advances Yoshua Bengio。 0.79
Generative adversarial nets. 生成的な敵のネット。 0.49
in neural information processing systems, pages 2672–2680, 2014. ニューラル情報処理システムでは、2672–2680, 2014 0.76
1 [22] Jianping Gou, Baosheng Yu, Stephen John Maybank, and Dacheng Tao. 1 [22]Jianping Gou、Baosheng Yu、Stephen John Maybank、Dacheng Tao。 0.76
Knowledge distillation: A survey. arXiv preprint arXiv:2006.05525, 2020. 知識蒸留:調査。 arXiv preprint arXiv:2006.05525, 2020 0.70
2 [23] Zichao Guo, Xiangyu Zhang, Haoyuan Mu, Wen Heng, Zechun Liu, Yichen Wei, and Jian Sun. 2 [23] Zichao Guo、Xiangyu Zhang、Haoyuan Mu、Wen Heng、Zechun Liu、Yichen Wei、Jian Sun。 0.76
Single path oneIn shot neural architecture search with uniform sampling. single path onein shot neural architecture search with uniform sampling (英語) 0.85
European Conference on Computer Vision, pages 544–560. European Conference on Computer Vision』 544-560頁。 0.85
Springer, 2020. スプリンガー、2020年。 0.59
2, 3 [24] Song Han, Huizi Mao, and William J Dally. 2, 3 [24]Song Han、Huizi Mao、William J Dally。 0.76
Deep compression: Compressing deep neural networks with pruning, trained quantization and huffman coding. 深部圧縮:pruning、訓練された量子化およびハフマン符号化による深部ニューラルネットワークの圧縮。 0.69
arXiv preprint arXiv:1510.00149, 2015. arXiv preprint arXiv:1510.00149, 2015 0.80
1 [25] Martin Heusel, Hubert Ramsauer, Thomas Unterthiner, Bernhard Nessler, and Sepp Hochreiter. 1 [25]Martin Heusel, Hubert Ramsauer, Thomas Unterthiner, Bernhard Nessler, Sepp Hochreiter。 0.80
Gans trained by a two time-scale update rule converge to a local nash equilibrium. 2つの時間スケール更新規則で訓練されたganは局所nash平衡に収束する。 0.62
In NeurIPs, 2017. 2017年、NeurIPsにて。 0.66
5 [26] Geoffrey Hinton, Oriol Vinyals, and Jeff Dean. 5 [26] Geoffrey Hinton、Oriol Vinyals、Jeff Dean。 0.78
DistillarXiv preprint DistillarXiv プレプリント 0.79
ing the knowledge in a neural network. ニューラルネットワークに知識を注入する。 0.70
arXiv:1503.02531, 2015. arXiv:1503.02531, 2015 0.70
2 [27] Andrew G Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, and Hartwig Adam. 2 [27]Andrew G Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, Hartwig Adam。 0.81
Mobilenets: Efficient convolutional neural networks for mobile vision applications. Mobilenets: モバイルビジョンアプリケーションのための効率的な畳み込みニューラルネットワーク。 0.75
arXiv preprint arXiv:1704.04861, 2017. arXiv preprint arXiv:1704.04861, 2017 0.79
3 [28] Sergey Ioffe and Christian Szegedy. 3 [28] セルゲイ・アイフとクリスチャン・セゲディー。 0.70
Batch normalization: Accelerating deep network training by reducing internal covariate shift. バッチ正規化: 内部共変シフトを低減し、ディープネットワークトレーニングを加速する。 0.61
arXiv preprint arXiv:1502.03167, 2015. arXiv preprint arXiv:1502.03167, 2015 0.81
3, 13 9 3, 13 9 0.85
英語(論文から抽出)日本語訳スコア
[29] Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, and Alexei A Image-to-image translation with conditional adverEfros. Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, and Alexei A Image-to-image translation with Conditional adverefros。 0.83
sarial networks. サリアルネットワークだ 0.58
CVPR, 2017. 2017年、CVPR。 0.79
1, 2, 5, 6 [30] Qing Jin, Linjie Yang, and Zhenyu Liao. 1, 2, 5, 6 [30] Qing Jin、Linjie Yang、Zhenyu Liao。 0.70
Towards efficient training for neural network quantization. ニューラルネットワーク量子化のための効率的な学習に向けて 0.58
arXiv preprint arXiv:1912.10207, 2019. arXiv preprint arXiv:1912.10207, 2019 0.81
1 [31] Qing Jin, Linjie Yang, and Zhenyu Liao. 1 [31] Qing Jin、Linjie Yang、Zhenyu Liao。 0.66
Adabits: Neural network quantization with adaptive bit-widths. Adabits:適応ビット幅によるニューラルネットワーク量子化。 0.76
In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2146–2156, 2020. コンピュータビジョンとパターン認識に関するIEEE/CVF会議の進行で、ページ2146-2156、2020。 0.78
1 [32] Qing Jin, Linjie Yang, Zhenyu Liao, and Xiaoning Qian. 1 [32] Qing Jin、Linjie Yang、Zhenyu Liao、Xiaoning Qian。 0.67
Neural network quantization with scale-adjusted training. スケール調整トレーニングによるニューラルネットワーク量子化 0.80
1 [33] Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen, and Timo Aila. 1[33] Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen, Timo Aila。 0.74
Analyzing and improvIn Proceedings of the ing the image quality of stylegan. スタイルガンの画像品質の分析と即興の進歩。 0.48
IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8110–8119, 2020. IEEE/CVF Conference on Computer Vision and Pattern Recognition, page 8110–8119, 2020 0.94
1 [34] Simon Kornblith, Mohammad Norouzi, Honglak Lee, and Geoffrey Hinton. 1[34] Simon Kornblith, Mohammad Norouzi, Honglak Lee, Geoffrey Hinton。 0.75
Similarity of neural network representations revisited. ニューラルネットワーク表現の再訪の類似性。 0.71
arXiv preprint arXiv:1905.00414, 2019. arXiv preprint arXiv: 1905.00414, 2019 0.79
4 [35] Hongjia Li, Ning Liu, Xiaolong Ma, Sheng Lin, Shaokai Ye, Tianyun Zhang, Xue Lin, Wenyao Xu, and Yanzhi Wang. 4 [35] Hongjia Li、Ning Liu、Xiaolong Ma、Sheng Lin、Shaokai Ye、Tianyun Zhang、Xue Lin、Wenyao Xu、Yanzhi Wang。 0.69
Admm-based weight pruning for real-time deep learning acceleration on mobile devices. モバイルデバイス上でリアルタイムディープラーニングアクセラレーションのためのAdmmベースのウェイトプルーニング。 0.49
In Proceedings of the 2019 on Great Lakes Symposium on VLSI, pages 501–506, 2019. The Proceedings of the 2019 on Great Lakes Symposium on VLSI, page 501–506, 2019 0.84
1, 2 [36] Muyang Li, Ji Lin, Yaoyao Ding, Zhijian Liu, Jun-Yan Zhu, and Song Han. 1, 2[36]無陽李、慈林、ヤオヤオ・ジン、Zhijian Liu、Jun-Yan Zhu、Song Han。 0.80
Gan compression: Efficient architectures for interactive conditional gans. gan圧縮: 対話型条件付きganのための効率的なアーキテクチャ。 0.59
In IEEE Conf. IEEE Confに登場。 0.83
Comput. Vis. Comput Vis 0.50
Pattern Recog., pages 5284–5294, 2020. Pattern Recog., page 5284–5294, 2020. 0.95
1, 2, 3, 4, 5, 6, 7, 8, 13 [37] Yingwei Li, Xiaojie Jin, Jieru Mei, Xiaochen Lian, Linjie Yang, Cihang Xie, Qihang Yu, Yuyin Zhou, Song Bai, and Alan L Yuille. 1, 2, 3, 4, 5, 6, 7, 8, 13 [37] Yingwei Li, Xiaojie Jin, Jieru Mei, Xiaochen Lian, Linjie Yang, Cihang Xie, Qihang Yu, Yuyin Zhou, Song Bai, and Alan L Yuille。 0.82
Neural architecture search for lightweight non-local networks. 軽量非局所ネットワークのためのニューラルアーキテクチャ探索 0.71
In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10297–10306, 2020. IEEE/CVF コンピュータビジョンとパターン認識に関する会議の進行において、10297–10306, 2020 のページ。 0.77
2 [38] Sheng Lin, Xiaolong Ma, Shaokai Ye, Geng Yuan, Kaisheng Ma, and Yanzhi Wang. 2 [38] Sheng Lin、Xiaolong Ma、Shaokai Ye、Geng Yuan、Kaisheng Ma、Yanzhi Wang。 0.67
Toward extremely low bit and lossless accuracy in dnns with progressive admm. プログレッシブアドムを持つdnnの極低ビットとロスレス精度に向けて。 0.69
arXiv preprint arXiv:1905.00789, 2019. arXiv preprint arXiv: 1905.00789, 2019 0.81
1 and Yiming Yang. 1とYiming Yang。 0.78
arXiv preprint Darts: Differentiable architecture search. arXiv preprint Darts: differentiable architecture search。 0.81
arXiv:1806.09055, 2018. arXiv:1806.09055, 2018 0.65
2 [40] Ning Liu, Xiaolong Ma, Zhiyuan Xu, Yanzhi Wang, Jian Tang, and Jieping Ye. 2 [40] Ning Liu、Xiaolong Ma、Zhiyuan Xu、Yanzhi Wang、Jian Tang、Jeeping Ye。 0.67
Autoslim: An automatic dnn structured pruning framework for ultra-high compression rates. Autoslim:超高圧縮率のための自動dnn構造化pruningフレームワーク。 0.82
arXiv preprint arXiv:1907.03141, 2019. arXiv preprint arXiv:1907.03141, 2019 0.81
1, 2 [41] Ning Liu, Xiaolong Ma, Zhiyuan Xu, Yanzhi Wang, Jian Tang, and Jieping Ye. 1の2 [41]ニン・リウ、Xiaolong Ma、Zhiyuan Xu、Yanzhi Wang、Jian Tang、およびJeeping Ye。
訳抜け防止モード: 1, 2 [41 ] Ning Liu, Xiaolong Ma,。 Zhiyuan Xu、Yanzhi Wang、Jian Tang、およびJeeping Ye。
0.78
Autocompress: An automatic dnn structured pruning framework for ultra-high compression rates. autocompress: 超高圧縮率のための自動dnn構造化プルーニングフレームワーク。 0.83
In Proceedings of the AAAI Conference on Artificial Intelligence, volume 34, pages 4876–4883, 2020. AAAI Conference on Artificial IntelligenceのProceedings of the Proceedings of the AAAI Conference on Artificial Intelligence, Volume 34, page 4876–4883, 2020。 0.65
2 [42] Shaoshan Liu, Bin Ren, Xipeng Shen, and Yanzhi Wang. 2 [42] Shaoshan Liu、Bin Ren、Xipeng Shen、Yanzhi Wang。 0.69
Cocopie: Making mobile ai sweet as pie–compressionarXiv preprint compilation co-design goes a long way. cocopie: モバイルaiをpie-compressionarxiv プレプリントコンパイルコデザインのように甘くするのは、長い道のりです。 0.70
arXiv:2003.06700, 2020. arXiv:2003.06700, 2020。 0.63
1, 2 [43] Zhuang Liu, Jianguo Li, Zhiqiang Shen, Gao Huang, Shoumeng Yan, and Changshui Zhang. 1, 2 [43] zhuang liu, jianguo li, zhiqiang shen, gao huang, shoumeng yan, and changshui zhang。
訳抜け防止モード: 1, 2 [43 ] Zhuang Liu, Jianguo Li, Zhiqiang Shen氏、Gao Huang氏、Shoumeng Yan氏、Changshui Zhang氏。
0.81
Learning efficient [39] Hanxiao Liu, Karen Simonyan, 学習効率 39] Hanxiao Liu、Karen Simonyan。 0.73
convolutional networks through network slimming. ネットワークスリム化による畳み込みネットワーク。 0.71
In Proceedings of the IEEE International Conference on Computer Vision, pages 2736–2744, 2017. In Proceedings of the IEEE International Conference on Computer Vision, pages 2736–2744, 2017 0.87
1, 2, 3 [44] Zhuang Liu, Mingjie Sun, Tinghui Zhou, Gao Huang, and Trevor Darrell. 1, 2, 3, [44] Zhuang Liu, Mingjie Sun, Tinghui Zhou, Gao Huang, Trevor Darrell。 0.78
Rethinking the value of network pruning. ネットワークプルーニングの価値を再考する。 0.73
arXiv preprint arXiv:1810.05270, 2018. arXiv preprint arXiv:1810.05270, 2018 0.80
1, 2, 3 [45] David Lopez-Paz, L´eon Bottou, Bernhard Sch¨olkopf, and Vladimir Vapnik. 1, 2, 3, [45] David Lopez-Paz, L ́eon Bottou, Bernhard Sch solkopf, Vladimir Vapnik。 0.87
Unifying distillation and privileged information. 蒸留と特権情報の統一。 0.64
arXiv preprint arXiv:1511.03643, 2015. arXiv preprint arXiv:1511.03643, 2015 0.80
2 [46] Zhichao Lu, Kalyanmoy Deb, Erik Goodman, Wolfgang Banzhaf, and Vishnu Naresh Boddeti. 2[46] Zhichao Lu, Kalyanmoy Deb, Erik Goodman, Wolfgang Banzhaf, Vishnu Naresh Boddeti。 0.74
Nsganetv2: Evolutionary multi-objective surrogate-assisted neural architecture search. Nsganetv2:進化的マルチオブジェクトサーロゲート支援ニューラルネットワーク探索。 0.73
In European Conference on Computer Vision, pages 35–51. 欧州コンピュータビジョン会議』35-51頁。 0.66
Springer, 2020. スプリンガー、2020年。 0.59
2 [47] Zhichao Lu, Gautam Sreekumar, Erik Goodman, Wolfgang Banzhaf, Kalyanmoy Deb, and Vishnu Naresh Boddeti. 2[47] Zhichao Lu, Gautam Sreekumar, Erik Goodman, Wolfgang Banzhaf, Kalyanmoy Deb, Vishnu Naresh Boddeti。 0.75
Neural architecture transfer. ニューラルアーキテクチャ転送。 0.54
arXiv preprint arXiv:2005.05859, 2020. arXiv preprint arXiv:2005.05859, 2020 0.81
2 [48] Ping Luo, Zhenyao Zhu, Ziwei Liu, Xiaogang Wang, Xiaoou Tang, et al Face model compression by distilling knowledge from neurons. 2[48] Ping Luo, Zhenyao Zhu, Ziwei Liu, Xiaogang Wang, Xiaoou Tang, et al Face model compression by distilling knowledge from neurons。 0.77
In AAAI, pages 3560–3566, 2016. AAAIでは、3560-3566ページ、2016。 0.72
2 [49] Xiaolong Ma, Fu-Ming Guo, Wei Niu, Xue Lin, Jian Tang, Kaisheng Ma, Bin Ren, and Yanzhi Wang. 2 [49] Xiaolong Ma、Fu-Ming Guo、Wei Niu、Xue Lin、Jian Tang、Kaisheng Ma、Bin Ren、Yanzhi Wang。
訳抜け防止モード: 2 [ 49 ] Xiaolong Ma, Fu - Ming Guo, 。 Wei Niu、Xue Lin、Jian Tang、Kaisheng Ma。 ビン・レン、およびYanzhi Wang。
0.81
Pconv: The missing but desirable sparsity in dnn weight pruning for realIn Proceedings of the time execution on mobile devices. Pconv: 現実のためのdnnウェイトプルーニングの不足しているが望ましいスパーシティモバイルデバイス上の時間実行の進行。 0.60
AAAI Conference on Artificial Intelligence, volume 34, pages 5117–5124, 2020. AAAI Conference on Artificial Intelligence, Volume 34, page 5117–5124, 2020 0.85
1, 2 [50] Xiaolong Ma, Sheng Lin, Shaokai Ye, Zhezhi He, Linfeng Zhang, Geng Yuan, Sia Huat Tan, Zhengang Li, Deliang Fan, Xuehai Qian, et al Non-structured dnn weight arXiv preprint pruning–is it beneficial in any platform? 1, 2 [50] Xiaolong Ma, Sheng Lin, Shaokai Ye, Zhezhi He, Linfeng Zhang, Geng Yuan, Sia Huat Tan, Zhengang Li, Deliang Fan, Xuehai Qian, et al Non-structured dnn weight arXiv preprint pruning - それはどんなプラットフォームでも有益ですか? 0.94
arXiv:1907.02124, 2019. arXiv:1907.02124, 2019。 0.64
1, 2 [51] Xiaolong Ma, Wei Niu, Tianyun Zhang, Sijia Liu, Sheng Lin, Hongjia Li, Wujie Wen, Xiang Chen, Jian Tang, Kaisheng Ma, et al An image enhancing pattern-based sparsity for real-time inference on mobile devices. 1, 2 [51] Xiaolong Ma, Wei Niu, Tianyun Zhang, Sijia Liu, Sheng Lin, Hongjia Li, Wujie Wen, Xiang Chen, Jian Tang, Kaisheng Ma, et al モバイルデバイス上のリアルタイム推論のためのパターンベースのスパーシティを高める画像。 0.86
In European Conference on Computer Vision, pages 629–645. European Conference on Computer Vision』 629-645頁。 0.80
Springer, 2020. スプリンガー、2020年。 0.59
1, 2 [52] Xiaolong Ma, Geng Yuan, Sheng Lin, Zhengang Li, Hao Sun, and Yanzhi Wang. 1, 2[52]Xiaolong Ma, Geng Yuan, Sheng Lin, Zhengang Li, Hao Sun, Yanzhi Wang。 0.72
Resnet can be pruned 60×: Introducing network purification and unused path removal (p-rm) after weight pruning. resnetは60×60:ネットワーク精製と未使用経路除去(p-rm)を導入する。
訳抜け防止モード: resnetは60×pruned可能である : ネットワーク精製と未使用経路除去の導入 (p-rm) 減量後。
0.71
In 2019 IEEE/ACM International Symposium on Nanoscale Architectures (NANOARCH), pages 1– 2. 2019年、IEEE/ACM International Symposium on Nanoscale Architectures (NANOARCH) 1–2頁。 0.92
IEEE, 2019. IEEE、2019年。 0.86
1, 2 [53] Jieru Mei, Yingwei Li, Xiaochen Lian, Xiaojie Jin, Linjie Yang, Alan Yuille, and Jianchao Yang. 1, 2[53] 明氏,Yingwei Li氏,Xiaochen Lian氏,Xiaojie Jin氏,Linjie Yang氏,Alan Yuille氏,Jianchao Yang氏。 0.78
Atomnas: Finegrained end-to-end neural architecture search. Atomnas: 詳細なエンドツーエンドのニューラルアーキテクチャ検索。 0.58
arXiv preprint arXiv:1912.09640, 2019. arXiv preprint arXiv:1912.09640, 2019 0.81
2, 3, 4 [54] Mehdi Mirza and Simon Osindero. 2, 3, 4 [54] Mehdi MirzaとSimon Osindero。 0.81
Conditional generative adversarial nets. 条件付き生成敵ネット。 0.66
arXiv preprint arXiv:1411.1784, 2014. arXiv preprint arXiv:1411.1784, 2014 0.80
1 [55] Takeru Miyato, Toshiki Kataoka, Masanori Koyama, and Yuichi Yoshida. 1 [55] 宮戸武、片岡東敷、小山正則、吉田雄一。 0.49
Spectral normalization for generative adversarial networks. 生成逆ネットワークのスペクトル正規化 0.66
arXiv preprint arXiv:1802.05957, 2018. arXiv preprint arXiv:1802.05957, 2018 0.79
13 [56] Wei Niu, Xiaolong Ma, Sheng Lin, Shihao Wang, Xuehai Qian, Xue Lin, Yanzhi Wang, and Bin Ren. 13 [56] Wei Niu、Xiaolong Ma、Sheng Lin、Shihao Wang、Xuehai Qian、Xue Lin、Yanzhi Wang、Bin Ren。 0.69
Patdnn: Achieving real-time dnn execution on mobile devices with patternIn Proceedings of the Twenty-Fifth based weight pruning. Patdnn: PatternIn Proceedings of the Twenty-Fifth based weight pruningという,モバイルデバイス上でのリアルタイムdnn実行の実現。 0.68
10 10 0.85
英語(論文から抽出)日本語訳スコア
International Conference on Architectural Support for Programming Languages and Operating Systems, pages 907– 922, 2020. International Conference on Architectural Support for Programming Languages and Operating Systems, page 907–922, 2020 0.80
1, 2 [57] Wei Niu, Xiaolong Ma, Yanzhi Wang, and Bin Ren. 1, 2 [57] Wei Niu、Xiaolong Ma、Yanzhi Wang、Bin Ren。 0.75
26ms inference time for resnet-50: Towards real-time execution of all dnns on smartphone. resnet-50の26ms推論時間:スマートフォン上のすべてのdnnのリアルタイム実行に向けて。 0.63
arXiv preprint arXiv:1905.00571, 2019. arXiv preprint arXiv: 1905.00571, 2019 0.80
1, 2 [58] Taesung Park, Ming-Yu Liu, Ting-Chun Wang, and Jun-Yan Zhu. 1, 2 58] Taesung公園、Ming-Yu Liu、Ting-Chun Wang、Jun-Yan Zhu。 0.82
Semantic image synthesis with spatially-adaptive normalization. 空間適応正規化によるセマンティック画像合成 0.78
In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 2337–2346, 2019. IEEEのコンピュータビジョンとパターン認識に関する会議の進行で、ページ2337-2346、2019。 0.80
1, 2, 5, 6, 13 1, 2, 5, 6, 13 0.85
[59] Esteban Real, Sherry Moore, Andrew Selle, Saurabh Saxena, Yutaka Leon Suematsu, Jie Tan, Quoc Le, and Alex Kurakin. 59] Esteban Real, Sherry Moore, Andrew Selle, Saurabh Saxena, Yutaka Leon Suematsu, Jie Tan, Quoc Le, Alex Kurakin。
訳抜け防止モード: 59 ] Esteban Real, Sherry Moore, Andrew Selle, Saurabh Saxena, Yutaka Leon Suematsu, Jie Tan, Quoc Le アレックス・クラキン(Alex Kurakin)。
0.82
Large-scale evolution of image classifiers. 画像分類器の大規模進化 0.77
arXiv preprint arXiv:1703.01041, 2017. arXiv preprint arXiv:1703.01041, 2017 0.80
2 [60] Jian Ren, Menglei Chai, Sergey Tulyakov, Chen Fang, Xiaohui Shen, and Jianchao Yang. 2 [60]Jian Ren、Menglei Chai、Sergey Tulyakov、Chen Fang、Xiaohui Shen、Jianchao Yang。 0.76
Human motion transfer from poses in the wild. 野生のポーズからの人間の動きの移動。 0.80
arXiv preprint arXiv:2004.03142, 2020. arXiv preprint arXiv:2004.03142, 2020 0.81
1 [61] Jian Ren, Zhe Li, Jianchao Yang, Ning Xu, Tianbao Yang, and David J Foran. 1 [61] Jian Ren、Zhe Li、Jianchao Yang、Ning Xu、Tianbao Yang、David J Foran。 0.70
Eigen: Ecologically-inspire d genetic approach for neural network structure searching from scratch. Eigen: スクラッチから検索するニューラルネットワーク構造に対する、生態学的にインスパイアされた遺伝的アプローチ。 0.55
In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 9059–9068, 2019. コンピュータビジョンとパターン認識に関するIEEE会議の進行において、ページ9059-9068、2019。 0.77
2 [62] Mark Sandler, Andrew Howard, Menglong Zhu, Andrey Zhmoginov, and Liang-Chieh Chen. 2 62] Mark Sandler、Andrew Howard、Menglong Zhu、Andrey Zhmoginov、Liang-Chieh Chen。 0.79
Mobilenetv2: Inverted In Proceedings of the residuals and linear bottlenecks. Mobilenetv2: Inverted In Proceedings of the residuals and linear bottlenecks。 0.83
IEEE conference on computer vision and pattern recognition, pages 4510–4520, 2018. IEEE Conference on computer vision and pattern recognition, page 4510–4520, 2018 0.87
3 [63] Runbin Shi, Peiyan Dong, Tong Geng, Yuhao Ding, Xiaolong Ma, Hayden K-H So, Martin Herbordt, Ang Li, and Yanzhi Wang. 3 [63]Runbin Shi, Peiyan Dong, Tong Geng, Yuhao Ding, Xiaolong Ma, Hayden K-H So, Martin Herbordt, Ang Li, Yanzhi Wang 0.81
Csb-rnn: A faster-than-realtime rnn acceleration framework with compressed structured blocks. Csb-rnn: 圧縮された構造化ブロックを持つリアルタイムrnn加速フレームワーク。 0.63
arXiv preprint arXiv:2005.05758, 2020. arXiv preprint arXiv:2005.05758, 2020 0.81
2 [64] Han Shu, Yunhe Wang, Xu Jia, Kai Han, Hanting Chen, Chunjing Xu, Qi Tian, and Chang Xu. 2 [64]漢州、Yunhe Wang、Xu Jia、Kai Han、Hanting Chen、Chunjing Xu、Qi Tian、Chang Xu。 0.77
Co-evolutionary compression for unpaired image translation. 不対画像変換のための共進化圧縮 0.72
In Int. Conf. Intで。 Conf 0.60
Comput. Vis., pages 3235–3244, 2019. Comput Vis.、ページ3235-3244、2019。 0.57
1, 2, 6 [65] Christian Szegedy, Sergey Ioffe, Vincent Vanhoucke, and Alex Alemi. 1, 2, 6 [65]Christian Szegedy、Sergey Ioffe、Vincent Vanhoucke、Alex Alemi。 0.75
Inception-v4, inception-resnet and the impact of residual connections on learning. inception-v4, inception-resnet, 残余接続が学習に及ぼす影響 0.76
arXiv preprint arXiv:1602.07261, 2016. arXiv preprint arXiv:1602.07261, 2016 0.81
3 [66] Mingxing Tan, Bo Chen, Ruoming Pang, Vijay Vasudevan, Mark Sandler, Andrew Howard, and Quoc V Le. 3 66] Mingxing Tan、Bo Chen、Ruoming Pang、Vijay Vasudevan、Mark Sandler、Andrew Howard、Quoc V Le。 0.74
Mnasnet: Platform-aware neural architecture search for mobile. Mnasnet: モバイル用のプラットフォーム対応ニューラルアーキテクチャ検索。 0.74
In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 2820–2828, 2019. IEEEのコンピュータビジョンとパターン認識に関する会議の進行で、ページ2820-2828、2019。 0.84
2 [67] Zhentao Tan, Dongdong Chen, Qi Chu, Menglei Chai, Jing Liao, Mingming He, Lu Yuan, and Nenghai Yu. 2 [67]Zhentao Tan、Dongdong Chen、Qi Chu、Menglei Chai、Jing Liao、Mingming He、Lu Yu、Nenghai Yu。 0.76
RearXiv preprint thinking spatially-adaptive normalization. RearXiv プレプリント思考の空間適応正規化 0.65
arXiv:2004.02867, 2020. arXiv:2004.02867, 2020 0.71
13 [68] Yu Tian, Jian Ren, Menglei Chai, Kyle Olszewski, Xi Peng, Dimitris N. Metaxas, and Sergey Tulyakov. 13 [68]Yu Tian、Jian Ren、Menglei Chai、Kyle Olszewski、Xi Peng、Dimitris N. Metaxas、Sergey Tulyakov。 0.76
A good image generator is what you need for high-resolution video syntheIn International Conference on Learning Representasis. 優れた画像生成器は、高解像度のビデオ合成In International Conference on Learning Representasisに必要なものです。 0.75
tions, 2021. 1 [69] Dmitry Ulyanov, Andrea Vedaldi, and Victor Lempitsky. 2021年。 1 [69] Dmitry Ulyanov、Andrea Vedaldi、Victor Lempitsky。 0.71
Instance normalization: The missing ingredient for fast stylization. インスタンス正規化: 高速なスタイライゼーションのための欠落成分。 0.59
arXiv preprint arXiv:1607.08022, 2016. arXiv preprint arXiv:1607.08022, 2016 0.79
3, 13 [70] Haotao Wang, Shupeng Gui, Haichuan Yang, Ji Liu, and Zhangyang Wang. 3, 13 70] Haotao Wang、Shupeng Gui、Hachuan Yang、Ji Liu、Zhangyang Wang。 0.74
Gan slimming: All-in-one gan compresIn Eur. Gan slimming:オールインワンのgan compresIn Eur。 0.80
Conf. sion by a unified optimization framework. Conf 統一最適化フレームワークによるsion。 0.61
Comput. Vis., 2020. Comput Vis.、2020年。 0.61
1, 2, 4, 6 1, 2, 4, 6 0.85
[71] Ting-Chun Wang, Ming-Yu Liu, Jun-Yan Zhu, Guilin Liu, Andrew Tao, Jan Kautz, and Bryan Catanzaro. 71] Ting-Chun Wang、Ming-Yu Liu、Jun-Yan Zhu、Guilin Liu、Andrew Tao、Jan Kautz、Bryan Catanzaro。 0.81
Video-tovideo synthesis. arXiv preprint arXiv:1808.06601, 2018. ビデオ合成。 arXiv preprint arXiv:1808.06601, 2018 0.76
1 [72] Ting-Chun Wang, Ming-Yu Liu, Jun-Yan Zhu, Andrew Tao, Jan Kautz, and Bryan Catanzaro. 1 [72] Ting-Chun Wang、Ming-Yu Liu、Jun-Yan Zhu、Andrew Tao、Jan Kautz、Bryan Catanzaro。 0.80
High-resolution image synthesis and semantic manipulation with conditional gans. 条件付きganを用いた高分解能画像合成と意味操作 0.64
In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018 0.77
1, 5 [73] Xin Wang, Fisher Yu, Zi-Yi Dou, Trevor Darrell, and Joseph E Gonzalez. 1, 5 [73]Xin Wang、Fisher Yu、Zi-Yi Dou、Trevor Darrell、Joseph E Gonzalez。 0.80
Skipnet: Learning dynamic routing in In Proceedings of the European convolutional networks. Skipnet: In Proceedings of the European Convolutional Networkにおける動的ルーティングの学習。 0.90
Conference on Computer Vision (ECCV), pages 409–424, 2018. コンピュータビジョン会議(ECCV)、ページ409-424、2018。 0.78
1, 2 [74] Bichen Wu, Xiaoliang Dai, Peizhao Zhang, Yanghan Wang, Fei Sun, Yiming Wu, Yuandong Tian, Peter Vajda, Yangqing Jia, and Kurt Keutzer. 1, 2 74] Bichen Wu、Xiaoliang Dai、Peizhao Zhang、Yanghan Wang、Fei Sun、Yiming Wu、Yuandong Tian、Peter Vajda、Yangqing Jia、Kurt Keutzer。 0.74
Fbnet: Hardware-aware efficient convnet design via differentiable neural architecture search. Fbnet: 差別化可能なニューラルアーキテクチャサーチによるハードウェア対応の効率的なコンブネット設計。 0.55
In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 10734–10742, 2019. コンピュータビジョンとパターン認識に関するIEEE会議の進行において、2019年10734-10742ページ。 0.79
2 [75] Linjie Yang and Qing Jin. 2 [75]Linjie YangとQing Jin。 0.79
quantization via fractional bit-widths. 分数ビット幅による量子化 0.60
arXiv:2007.02017, 2020. arXiv:2007.02017, 2020 0.71
1 Fracbits: Mixed precision arXiv preprint 1 Fracbits: 混合精度 arXiv プリプリント。 0.84
[76] Junho Yim, Donggyu Joo, Jihoon Bae, and Junmo Kim. [76]Yim Junho、Donggyu Joo、Jihoon Bae、Jimmo Kim。 0.67
A gift from knowledge distillation: Fast optimization, network In Proceedings of the minimization and transfer learning. a gift from knowledge distillation: fast optimization, network in proceedings of the minimization and transfer learning (英語) 0.82
IEEE Conference on Computer Vision and Pattern Recognition, pages 4133–4141, 2017. IEEE Conference on Computer Vision and Pattern Recognition, page 4133–4141, 2017 0.87
2 [77] Fisher Yu, Vladlen Koltun, and Thomas Funkhouser. 2 [77] Fisher Yu、Vladlen Koltun、Thomas Funkhouser。 0.75
Dilated In Proceedings of the IEEE conference residual networks. Dilated In Proceedings of the IEEE conference residual network。 0.77
on computer vision and pattern recognition, pages 472–480, 2017. コンピュータビジョンとパターン認識では、2017年472-480頁。 0.78
5 [78] Jiahui Yu and Thomas Huang. 5 [78] Jiahui YuとThomas Huang。 0.82
Autoslim: Towards oneshot architecture search for channel numbers. Autoslim: チャネル番号のワンショットアーキテクチャ検索に向けて。 0.73
arXiv preprint arXiv:1903.11728, 2019. arXiv preprint arXiv:1903.11728, 2019 0.81
2 [79] Jiahui Yu and Thomas S Huang. 2 [79]Jiahui YuとThomas S Huang。 0.82
Universally slimmable netIn Proceedings works and improved training techniques. 普遍的にスリムなnetIn Proceedingsの作業とトレーニング技術の改善。 0.61
of the IEEE International Conference on Computer Vision, pages 1803–1811, 2019. IEEE International Conference on Computer Vision, page 1803–1811, 2019。 0.81
2 [80] Jiahui Yu, Pengchong Jin, Hanxiao Liu, Gabriel Bender, Pieter-Jan Kindermans, Mingxing Tan, Thomas Huang, Xiaodan Song, Ruoming Pang, and Quoc Le. 2 [80] Jiahui Yu、Pengchong Jin、Hanxiao Liu、Gabriel Bender、Pieter-Jan Kindermans、Mingxing Tan、Thomas Huang、Xiaodan Song、Ruoming Pang、Quoc Le。 0.78
Bignas: Scaling up neural architecture search with big single-stage models. Bignas: 大きなシングルステージモデルによるニューラルネットワーク検索のスケールアップ。 0.75
arXiv preprint arXiv:2003.11142, 2020. arXiv preprint arXiv:2003.11142, 2020 0.81
2 [81] Qihang Yu, Yingwei Li, Jieru Mei, Yuyin Zhou, and Alan L Yuille. 2 [81]Qihang Yu, Yingwei Li, Jieru Mei, Yuyin Zhou, and Alan L Yuille。 0.83
Cakes: Channel-wise automatic kernel shrinking for efficient 3d network. ケーキ:効率的な3Dネットワークのためのチャンネルワイズ自動カーネル収縮。 0.64
arXiv preprint arXiv:2003.12798, 2020. arXiv preprint arXiv:2003.12798, 2020 0.81
2 [82] Geng Yuan, Xiaolong Ma, Caiwen Ding, Sheng Lin, Tianyun Zhang, Zeinab S Jalali, Yilong Zhao, Li Jiang, Sucheta Soundarajan, and Yanzhi Wang. 2 [82] 元元、Xiaolong Ma、Caiwen Ding、Sheng Lin、Tianyun Zhang、Zeinab S Jalali、Yilong Zhao、Li Jiang、Soseta Soundarajan、Yanzhi Wang。 0.74
An ultra-efficient 11 超効率的 11 0.77
英語(論文から抽出)日本語訳スコア
memristor-based dnn framework with structured weight pruning and quantization using admm. admmを用いた構造化重み切りと量子化によるmemristorベースのdnnフレームワーク 0.69
In 2019 IEEE/ACM International Symposium on Low Power Electronics and Design (ISLPED), pages 1–6. 2019年、IEEE/ACM International Symposium on Low Power Electronics and Design (ISLPED) 1-6頁。 0.81
IEEE, 2019. IEEE、2019年。 0.86
1, 2 [83] Han Zhang, Ian Goodfellow, Dimitris Metaxas, and Augustus Odena. 1, 2 83] Han Zhang、Ian Goodfellow、Dimitris Metaxas、Augususus Odena。 0.69
Self-attention generative adversarial networks. 自己アテンション生成敵ネットワーク。 0.69
In International Conference on Machine Learning, pages 7354–7363. 機械学習に関する国際会議」7354-7363頁。 0.78
PMLR, 2019. 2019年、PMLR。 0.72
1 [84] Tianyun Zhang, Shaokai Ye, Xiaoyu Feng, Xiaolong Ma, Kaiqi Zhang, Zhengang Li, Jian Tang, Sijia Liu, Xue Lin, Yongpan Liu, et al Structadmm: Achieving ultrahigh efficiency in structured pruning for dnns. 1 [84]Tianyun Zhang, Shaokai Ye, Xiaoyu Feng, Xiaolong Ma, Kaiqi Zhang, Zhengang Li, Jian Tang, Sijia Liu, Xue Lin, Yongpan Liu, et al Structadmm: achieving Ultrahigh efficiency in structured pruning for dnns。 0.83
IEEE Transactions on Neural Networks and Learning Systems, 2021. IEEE Transactions on Neural Networks and Learning Systems, 2021。 0.81
1, 2 [85] Jun-Yan Zhu, Taesung Park, Phillip Isola, and Alexei A Efros. 1, 2 [85]Jun-Yan Zhu、Taesung Park、Phillip Isola、Alexei A Efros。 0.81
Unpaired image-to-image translation using cycleIn Computer Vision consistent adversarial networkss. cyclein computer vision consistent adversarial networksを用いた画像対画像変換 0.77
(ICCV), 2017 IEEE International Conference on, 2017. (ICCV, 2017 IEEE International Conference on 2017) 0.66
1, 2, 5, 6 [86] Barret Zoph and Quoc V Le. 1, 2, 5, 6, [86] Barret Zoph と Quoc V Le。 0.85
Neural architecture search with reinforcement learning. 強化学習によるニューラルネットワークアーキテクチャ検索。 0.71
arXiv preprint arXiv:1611.01578, 2016. arXiv preprint arXiv:1611.01578, 2016 0.80
2 [87] Barret Zoph, Vijay Vasudevan, Jonathon Shlens, and Quoc V Le. 2 [87]Barret Zoph, Vijay Vasudevan, Jonathon Shlens, Quoc V Le。 0.77
Learning transferable architectures for scalable image In Proceedings of the IEEE conference on recognition. スケーラブルなイメージのためのトランスファー可能なアーキテクチャを学習する IEEEカンファレンスでの認識に関するプレゼンテーション。 0.65
computer vision and pattern recognition, pages 8697–8710, 2018. コンピュータビジョンとパターン認識、ページ8697-8710、2018。 0.80
3 12 3 12 0.85
英語(論文から抽出)日本語訳スコア
SPADE module as IncSPADE and SPADE residual block as IncSPADE ResBlk. IncSPADE として SPADE モジュールおよび IncSPADE の ResBlk として SPADE の残余ブロック。 0.71
To prune the input channel for each model, we add an extra normalization layer (synchronized batch normalization) with learnable weights after the first fully-connected layer, and prune its channels together with other normalizations using our pruning algorithm described in the Section 3.2 of the main paper. 各モデルの入力チャネルをプルーニングするには、第1の完全連結層後に学習可能な重みを持つ余分な正規化層(同期バッチ正規化)を追加し、メインペーパーのセクション3.2に記載されているプルーニングアルゴリズムを使用して、他の正規化と共にそのチャンネルをプルーニングします。 0.66
During pruning, we keep the ratio of input channels between different layers as the original model, and the lower bound for the first layer (which has the largest number of channels) is determined by that for the last layer multiplied by the channel ratio, so that all channels are above the bound and the channel ratio is unchanged. 耕作中は、異なる層間の入力チャネルの比率を元のモデルとして保持し、第1層(最大チャンネル数を有する)の下限は、チャネル比で乗算された最後の層のそれによって決定されるので、すべてのチャネルが有界を超え、チャネル比が不変である。 0.77
S2. Ablation Analysis of Knowledge Distilla- S2。 知識ディティーラのアブレーション解析- 0.75
tion Here we show the ablation analysis for knowledge distillation methods. ここでは, 知識蒸留法のアブレーション解析について述べる。 0.67
We use our searching method to find a student architecture on Pix2pix task using the Cityscapes dataset, and compare student training without knowledge distillation, with MSE distillation as in [36], and the similarity-based distillation we proposed. 本研究では,都市景観データセットを用いたPix2pixタスクにおける学生アーキテクチャの探索と,知識蒸留を伴わない学生トレーニングと[36]におけるMSE蒸留と,提案した類似性に基づく蒸留を比較した。 0.74
The results are summarized in Tab. 結果はタブにまとめられている。 0.76
S2, where w/o Distillation denotes training the student without distillation, and w/ MSE; Loss Weight 0.5 and w/ MSE; Loss Weight 1.0 denotes MSE distillation with weight 0.5 and 1.0, respectively. S2(w/o蒸留、w/MSE、Loss Weight 0.5、w/MSE、Loss Weight 1.0)は、MSE蒸留を0.5、1.0とする。 0.71
We find that distillation indeed improves performance, and our distillation method, which employs GKA to maximize feature similarity, is better than MSE on transferring knowledge from teacher to student via intermediate features. また,gkaを用いて特徴の類似性を最大化する蒸留法は,中間機能による教師から生徒への知識伝達においてmseよりも優れていることがわかった。 0.75
S3. More Qualitative Results Horse(cid:1)Zebra and Zebra(cid:1)Horse, Pix2pix on Map(cid:1)Aerial We show more qualitative results for CycleGAN on photo, as well as GauGAN on Cityscapes in Figs. S3。 より質的な結果 horse(cid:1)zebra と zebra(cid:1) horse, pix2pix on map(cid:1) aerial 写真上の cyclegan の質的な結果と figs の都市景観の gaugan を示す。 0.81
S2, S3, S4, and S5, respectively. S2,S3,S4,S5。 0.81
Appendix S1. Implementation Details In this section, we provide more implementation details in our work. 付録S1。 実装の詳細 このセクションでは、作業の詳細について説明します。 0.63
Training details. For CycleGAN and Pix2pix models, we use batch size of 32 for teacher and batch size of 80 for student, while for GauGAN, the batch size is set to 16 for both. 訓練の詳細。 CycleGANおよびPix2pixモデルでは、教師に32のバッチサイズ、学生に80のバッチサイズを使用しますが、GauGANでは、バッチサイズは両方に16に設定されています。
訳抜け防止モード: 訓練の詳細。 CycleGANおよびPix2pixモデルでは、教師に32のバッチサイズ、学生に80のバッチサイズを使用します。 GauGANの場合、バッチサイズは16に設定されています。
0.76
For each model and each dataset, we apply the same training epochs for teacher and student networks. 各モデルと各データセットについて、教師と生徒のネットワークに同じトレーニング期間を適用する。 0.81
The learning rate for both generators and discriminators are set as 0.0002 for all datasets and models. ジェネレータと判別器の両方の学習率は、すべてのデータセットとモデルに対して0.0002に設定される。 0.62
More detailed training hyperparameters are summarized in Table S1. より詳細なトレーニングハイパーパラメータは、テーブルS1にまとめられている。 0.57
For the layers used for knowledge distillation between teacher and student networks, we follow the same strategy as Li et al [36]. 教師と学生のネットワーク間の知識蒸留に使用される層については、Li et al [36]と同じ戦略に従います。 0.76
Specifically, for Pix2pix and CycleGAN models, the 9 residual blocks are divided into 3 groups, each with three consecutive layers, and knowledge is distilled upon the four activations from each end layer of these three groups. 具体的には、pix2pixとcycleganモデルでは、9つの残差ブロックは3つのグループに分けられ、それぞれが3つの連続した層を持ち、知識はこれら3つのグループの各エンド層から4つのアクティベーションに蒸留される。 0.64
For GauGAN models, knowledge distillation is applied on the output activations of 3 from the total 7 SPADE blocks, including the first, third and fifth ones. GauGANモデルでは、第1、第3、第5のブロックを含む合計7つのSPADEブロックから3の出力活性化に知識蒸留を適用する。 0.76
More details for normalization layers. 正規化層についての詳細。 0.59
We find that instance normalization [69] without tracking running statistics is critical for dataset Horse→Zebra to achieve good performance on the student model, while for the other datasets batch normalization [28] with tracked running statistics is better. 実行統計を追跡せずにインスタンスの正規化[69]は、実行統計を追跡した他のデータセットのバッチ正規化[28]よりも、学生モデルで良好なパフォーマンスを達成するために、データセットのホース→ゼブラにとって重要です。 0.67
Normalization layers without track running statistics introduce extra computation cost, and we take this into account for our calculation of MACs during pruning. トラック実行統計を含まない正規化層は計算コストを増大させるため,プルーニング中のmacの計算を考慮に入れる。 0.72
Moreover, for GauGAN, we use synchronized batch normalization as suggested by previous work [58, 67], and remove the spectral norm [55] as we find it does not have much impact on the model performance. さらに、ゴーガンの場合、前回の作業 [58, 67] で示唆されたように同期バッチ正規化を使用し、モデル性能にはあまり影響しないと思われるスペクトルノルム [55] を削除する。 0.77
Network details for GauGAN. GauGANのネットワークの詳細。 0.88
For GauGAN, we find it is sufficient for each spade residual block to keep only the first SPADE module in the main body while replace the second one as well as the one in the shortcut by synchronized batch normalization layer. GauGANの場合、各スペード残存ブロックは、同期されたバッチ正規化レイヤによってショートカット内の2番目のものと1つを置き換えながら、本体の最初のSPADEモジュールのみを保持するのに十分であることがわかります。 0.71
This saves computation cost by a large extent. これにより計算コストが大幅に削減される。 0.68
Besides, we use learnable weights for the second synchronized block for the purpose of pruning. また,第2同期ブロックに対して学習可能な重み付けを用いてプルーニングを行う。 0.73
These weights do not introduce extra computation cost, as the running statistics are estimated from training data and not recalculated during inference, enabling fusing normalization layers into the convolution layers. これらの重み付けは、トレーニングデータから実行統計を推定し、推論中に再計算せず、畳み込み層に正規化層を融合できるため、余分な計算コストは発生しない。
訳抜け防止モード: これらの重みは、トレーニングデータからランニング統計を推定するため、余分な計算コストを導入しない 推論中に再計算されません 正常化層を畳み込み層に融合させます
0.74
Further, we replace the three convolution layers in the SPADE module by our proposed inception-based residual block (IncResBlock), with normalization layers included for pruning. さらに,提案するインセプションベース残差ブロック(incresblock)により,スペードモジュール内の3つの畳み込み層をプルーニングに含む正規化層に置き換える。 0.75
The details for the architecture are illustrated in Figure S1. アーキテクチャの詳細は図S1に示されています。 0.75
We name our 13 名前は 13 0.63
英語(論文から抽出)日本語訳スコア
Table S1: Hyper-parameter setting for teacher and student training. 表 S1: 教師と学生のトレーニングのためのハイパーパラメータ設定。 0.74
Dataset Horse(cid:1)Zebra Zebra(cid:1)Horse Map(cid:1)Aerial photo Cityscapes Cityscapes Dataset Horse(cid:1)Zebra Zebra(cid:1)Horse Map(cid:1)Aerial photo Cityscapes Cityscapes 0.90
Training Epochs Decay Const 500 500 500 500 750 500 500 1000 100 100 トレーニングエポックは、500 500 500 500 750 500 1000 100を減少させます。 0.63
λfm GAN LossLSGAN LSGANHingeHinge Hinge 10 λfm GAN LossLSGAN LSGANHINGeHinge Hinge 10 0.97
λdistill 1 0.1 0.5 1.3 0.5 λdistill 1 0.1 0.5 1.3 0.5 0.51
λrecon 5 5 100 100 10 λrecon 5 5 100 100 10 0.97
ngf Teacher 64 64 64 64 64 ngf Teacher 64 64 64 64 64 64 64 0.93
ndf 64 64 128 128 64 ndf 64 64 128 128 64 0.85
Model CycleGAN モデル CycleGAN 0.82
Pix2pix GauGAN Pix2pix GauGAN 0.71
Figure S1: SPADE normalization module (IncSPADE, left) and SPADE residual block (IncSPADE ResBlk, right) with the proposed Inception Resblock (orange hexagon). 図S1:提案されたInception Resblock(オレンジ六角形)でSPADE正規化モジュール(IncSPADE、左)とSPADE残留ブロック(IncSPADE ResBlk、右)。 0.79
Note that the optional last normalization layer and residual connection are not applied in the Inception Resblocks that are used in IncSPADE and IncSPADE ResBlk. IncSPADEおよびIncSPADE ResBlkで使用されるInception Resblockには、オプションの最後の正規化レイヤと残留接続は適用されません。 0.74
Table S2: Analysis of knowledge distillation methods on Cityscapes dataset with the Pix2pix setting. 表 S2: Pix2pix設定によるCityscapesデータセットの知識蒸留手法の解析 0.86
Our methods (GKA) achieves the best result. 我々の手法(GKA)は最良の結果をもたらす。 0.80
Method w/o Distillation w/ MSE; Loss Weight 0.5 w/ MSE; Loss Weight 1.0 方法 w/o蒸留 w/MSE、損失重量0.5w/MSE、損失重量1.0 0.66
Ours mIoU↑ 39.39 39.83 39.76 42.53 我々の 39.39.83 39.76 42.53 0.56
14 1 x 11 x 13 x 33 x 35 x 55 x 51 x 11 x 11 x 11 x 11 x 13 x 31 x 11 x 15 x 5IncResBlockIncSPADE ResBlkIncSPADEReLUIn ception ResBlock1 x 1-ConvSync BNReLUIncSPADEResize (order=0)Inception ResBlockSync BN1 x 11 x 13 x 33 x 35 x 55 x 51 x 11 x 11 x 11 x 11 x 13 x 31 x 11 x 15 x 5IncResBlockIncSPADE ResBlkIncSPADEReLUIn ception ResBlock1 x 1-ConvSync BNReLUIncSPADEResize (order=0)Inception ResBlockSync BN 14 1 x 11 x 13 x 33 x 35 x 55 x 51 x 11 x 11 x 11 x 11 x 13 x 31 x 11 x 15 x 5IncResBlockIncSPADE ResBlkIncSPADEReLUIn ception ResBlock1 x 1-ConvSync BNReLUIncSPADEResize (order=0)Inception ResBlockSync BN1 x 11 x 13 x 33 x 55 x 51 x 11 x 11 x 11 x 11 x 11 x 31 x 11 x 11 x 15 x 5IncResBlockIncSPADE ResBlkIncSPADEReLUIn ception ResBlock1 x 1-ConvSync BNResize (order=0)Inception ResBlock BNBlock BN 0.77
英語(論文から抽出)日本語訳スコア
Figure S2: More results on Horse(cid:1)Zebra dataset. 図 S2: Horse(cid:1)Zebra データセットのさらなる結果。 0.80
Compared with original CycleGAN, our model has much reduced MACs and can generate images with higher fidelity (lower FID). 元のCycleGANと比較して、我々のモデルはMACが大幅に減少し、忠実度の高い画像を生成することができる(より低いFID)。 0.54
15 InputCAT (Ours) MACs: 2.55BFID: 60.18KID: 0.017±0.002CycleGAN MACs: 56.8B FID: 61.53KID: 0.020±0.002 15 InputCAT (Ours) MACs: 2.55BFID: 60.18KID: 0.017±0.002Cyclegan MACs: 56.8B FID: 61.53KID: 0.020±0.002 0.68
英語(論文から抽出)日本語訳スコア
Figure S3: Results on Zebra(cid:1)Horse dataset. 図 S3: Zebra(cid:1)Horse データセットの結果。 0.83
Compared with original CycleGAN, our model has much reduced MACs and can generate images with higher fidelity (lower FID). 元のCycleGANと比較して、我々のモデルはMACが大幅に減少し、忠実度の高い画像を生成することができる(より低いFID)。 0.54
16 CAT (Ours) MACs: 2.59BFID: 142.68KID: 0.036±0.002CycleGAN MACs: 56.8B FID: 148.81KID: 0.030±0.002Input 16 CAT (Ours) MACs: 2.59BFID: 142.68KID: 0.036±0.002Cyclegan MACs: 56.8B FID: 148.81KID: 0.030±0.002Input 0.68
英語(論文から抽出)日本語訳スコア
Figure S4: More results on Map(cid:1)Aerial photo dataset. 図 S4: Map(cid:1)航空写真データセットのさらなる結果。 0.81
Compared with original Pix2pix, our model has much reduced MACs and can generate images with higher fidelity (lower FID). 元のPix2pixと比較して、我々のモデルはMACを大幅に削減し、高忠実度(より低いFID)の画像を生成することができる。 0.59
17 InputGTPix2pix MACs: 56.8B FID: 47.76KID: 0.154±0.010CAT (Ours) MACs: 4.59BFID: 44.94KID: 0.009±0.002 17 入力GTPix2pix MACs: 56.8B FID: 47.76KID: 0.154±0.010CAT (Ours) MACs: 4.59BFID: 44.94KID: 0.009±0.002 0.66
英語(論文から抽出)日本語訳スコア
Figure S5: More qualitative results on Cityscapes dataset. 図 S5: Cityscapesデータセットのより質的な結果。 0.80
Images generated by our compressed model (CAT-A, third row) have higher mIoU and lower FID than the original GauGAN model (fifth row), even with much reduced computational cost. 圧縮モデル (CAT-A, 3行) で生成された画像は, 計算コストを大幅に削減しながらも, 元の GauGAN モデル (5行) よりもmIoU が高く, FID が低い。 0.75
For our CAT-B model (fourth row, 50.9× compressed than GauGAN), although it has lower mIoU, the CAT-B model can synthesize higher fidelity images (lower FID) than GauGAN. CAT-Bモデル(GauGANより4列、50.9×圧縮)ではmIoUが低いが、CAT-BモデルはGauGANより高い忠実度画像(FID)を合成できる。 0.79
18 InputGTGauGAN MACs: 281B mIoU: 62.18FID: 57.60KID: 0.026±0.003CAT-A (Ours) MACs: 29.9BmIoU: 62.35FID: 50.63KID: 0.014±0.002CAT-B(Ours) MACs: 5.52BmIoU: 54.71FID: 51.83KID: 0.013±0.002 18 InputGTGauGAN MACs: 281B mIoU: 62.18FID: 57.60KID: 0.026±0.003CAT-A (Ours) MACs: 29.9BmIoU: 62.35FID: 50.63KID: 0.014±0.002CAT-B(Ours) MACs: 5.52BmIoU: 54.71FID: 51.83KID: 0.013±0.002 0.67
                                     ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。