論文の概要、ライセンス

# (参考訳) ニューラルネットワーク設計のための微分可能なニューラルネットワーク学習 [全文訳有]

Differentiable Neural Architecture Learning for Efficient Neural Network Design ( http://arxiv.org/abs/2103.02126v1 )

ライセンス: CC0 1.0
Qingbei Guo and Xiao-Jun Wu and Josef Kittler and Zhiquan Feng(参考訳) ニューラルネットワークの自動設計は、ディープ畳み込みニューラルネットワーク(CNN)の進化、特に組み込みおよびモバイルプラットフォームへの展開によって、ますます注目を集めている。 ニューラルネットワークアーキテクチャサーチ(NAS)が直面する最大の問題の1つは、例えば強化学習と進化最適化アルゴリズムを使用して、膨大な計算コストでトレーニングするために、多数の候補ニューラルネットワークが必要であることである。 最近の微分可能ニューラルネットワーク検索(dnas)でさえ、学習したアーキテクチャパラメータの確率分布に基づいて少数の候補ニューラルネットワークをサンプリングし、最終的なニューラルアーキテクチャを選択する。 この計算複雑性問題に対処するため、スケールドシグモイド関数に基づく新しい \emph{Architecture parametersisation} を導入し、候補ニューラルネットワークを評価することなくニューラルネットワークを最適化するための一般的な \emph{Differentiable Neural Architecture Learning} (DNAL) 法を提案する。 具体的には、確率的スーパーネットや従来のCNNの場合、スケールドシグモイド関数によって制御されるアーキテクチャコンポーネントを備えた新しいチャネルワイズモジュール層を構築します。 これらのニューラルネットワークモデルをスクラッチからトレーニングします。 ネットワーク最適化は重み最適化とアーキテクチャ最適化に分離される。 コンバージェンス保証付き連続スケールドシグモイド法によるニューラルアーキテクチャの非凸最適化問題に対処します。 広範な実験により、DNAL法は神経アーキテクチャ検索コストにおいて優れた性能を発揮します。 DNALが学習した最適なネットワークは、CIFAR-10とImageNet-1Kのデータセットの精度、モデルサイズ、計算複雑性で最先端の手法によって生成されたものを上回る。

Automated neural network design has received ever-increasing attention with the evolution of deep convolutional neural networks (CNNs), especially involving their deployment on embedded and mobile platforms. One of the biggest problems that neural architecture search (NAS) confronts is that a large number of candidate neural architectures are required to train, using, for instance, reinforcement learning and evolutionary optimisation algorithms, at a vast computation cost. Even recent differentiable neural architecture search (DNAS) samples a small number of candidate neural architectures based on the probability distribution of learned architecture parameters to select the final neural architecture. To address this computational complexity issue, we introduce a novel \emph{architecture parameterisation} based on scaled sigmoid function, and propose a general \emph{Differentiable Neural Architecture Learning} (DNAL) method to optimize the neural architecture without the need to evaluate candidate neural networks. Specifically, for stochastic supernets as well as conventional CNNs, we build a new channel-wise module layer with the architecture components controlled by a scaled sigmoid function. We train these neural network models from scratch. The network optimization is decoupled into the weight optimization and the architecture optimization. We address the non-convex optimization problem of neural architecture by the continuous scaled sigmoid method with convergence guarantees. Extensive experiments demonstrate our DNAL method delivers superior performance in terms of neural architecture search cost. The optimal networks learned by DNAL surpass those produced by the state-of-the-art methods on the benchmark CIFAR-10 and ImageNet-1K dataset in accuracy, model size and computational complexity.
公開日: Wed, 3 Mar 2021 02:03:08 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
MANUSCRIPT Differentiable Neural Architecture Learning for ニューラルアーキテクチャ学習のためのMANUSCRIPT 0.71
1 Efficient Neural Network Design Qingbei Guo∗ †, Xiao-Jun Wu∗, Josef Kittler‡, life Member, IEEE, Zhiquan Feng† 1 効率的なニューラルネットワーク設計 Qingbei Guo∗ ., Xiao-Jun Wu∗, Josef Kittler., Life Member, IEEE, Zhiquan Feng. 0.85
∗Jiangsu Provincial Engineering Laboratory of Pattern Recognition and Computational Intelligence, Jiangnan 江南省江蘇省 パターン認識・計算知能工学研究所 0.65
†Shandong Provincial Key Laboratory of Network based Intelligent Computing, University of Jinan, Jinan 250022, 江南大学ネットワークベースのインテリジェントコンピューティングのShandong Provincial Key Laboratory、Jinan 250022。 0.64
∗Corresponding author: {wu xiaojun@jiangnan.edu .cn} ∗対応著者: {wu xiaojun@jiangnan.edu .cn} 0.67
University, Wuxi 214122, China 大学、ウーシー214122、中国。 0.70
1 2 0 2 r a M 3 ] G L . 1 2 0 2 r a m 3 ] g l である。 0.77
s c [ 1 v 6 2 1 2 0 . s c [ 1 v 6 2 1 2 0 ] である。 0.80
3 0 1 2 : v i X r a 3 0 1 2 : v i X r a 0.85
‡Centre for Vision, Speech and Signal Processing, University of Surrey, Guildford GU2 7XH, UK 英国ギルドフォードGU2 7XH、サリー大学ビジョン、音声、信号処理センター 0.59
China Abstract—Automated neural network design has received everincreasing attention with the evolution of deep convolutional neural networks (CNNs), especially involving their deployment on embedded and mobile platforms. 中国 abstract—automated neural network designは、深層畳み込みニューラルネットワーク(cnns)の進化によって、特に組み込みおよびモバイルプラットフォームへの展開において、注目を集めている。 0.78
One of the biggest problems that neural architecture search (NAS) confronts is that a large number of candidate neural architectures are required to train, using, for instance, reinforcement learning and evolutionary optimisation algorithms, at a vast computation cost. ニューラルネットワークアーキテクチャサーチ(NAS)が直面する最大の問題の1つは、例えば強化学習と進化最適化アルゴリズムを使用して、膨大な計算コストでトレーニングするために、多数の候補ニューラルネットワークが必要であることである。 0.75
Even recent differentiable neural architecture search (DNAS) samples a small number of candidate neural architectures based on the probability distribution of learned architecture parameters to select the final neural architecture. 最近の微分可能ニューラルネットワーク検索(dnas)でさえ、学習したアーキテクチャパラメータの確率分布に基づいて少数の候補ニューラルネットワークをサンプリングし、最終的なニューラルアーキテクチャを選択する。 0.63
To address this computational complexity issue, we introduce a novel architecture parameterisation based on scaled sigmoid function, and propose a general Differentiable Neural Architecture Learning (DNAL) method to optimize the neural architecture without the need to evaluate candidate neural networks. この計算複雑性問題に対処するために,スケールド・シグモイド関数に基づく新しいアーキテクチャパラメータ化を導入し,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化する汎用微分可能ニューラルネットワーク学習(dnal)法を提案する。 0.75
Specifically, for stochastic supernets as well as conventional CNNs, we build a new channel-wise module layer with the architecture components controlled by a scaled sigmoid function. 具体的には、確率的スーパーネットや従来のCNNの場合、スケールドシグモイド関数によって制御されるアーキテクチャコンポーネントを備えた新しいチャネルワイズモジュール層を構築します。 0.73
We train these neural network models from scratch. これらのニューラルネットワークモデルをスクラッチからトレーニングします。 0.66
The network optimization is decoupled into the weight optimization and the architecture optimization, which avoids the interaction between the two types of parameters and alleviates the vanishing gradient problem. ネットワーク最適化は重み付け最適化とアーキテクチャ最適化に分離され、2種類のパラメータ間の相互作用を回避し、消滅する勾配問題を緩和する。 0.83
We address the non-convex optimization problem of neural architecture by the continuous scaled sigmoid method with convergence guarantees. コンバージェンス保証付き連続スケールドシグモイド法によるニューラルアーキテクチャの非凸最適化問題に対処します。 0.72
Extensive experiments demonstrate our DNAL method delivers superior performance in terms of neural architecture search cost, and adapts to conventional CNNs (e g , VGG16 and ResNet50), lightweight CNNs (e g , MobileNetV2) and stochastic supernets (e g , ProxylessNAS). 大規模な実験により、我々のDNAL法は、ニューラルネットワーク探索コストの観点から優れた性能を示し、従来のCNN(例えば、VGG16、ResNet50)、軽量CNN(例えば、MobileNetV2)、確率的スーパーネット(例えば、ProxylessNAS)に適応する。 0.68
The optimal networks learned by DNAL surpass those produced by the state-of-the-art methods on the benchmark CIFAR-10 and ImageNet-1K dataset in accuracy, model size and computational complexity. DNALが学習した最適なネットワークは、CIFAR-10とImageNet-1Kのデータセットの精度、モデルサイズ、計算複雑性で最先端の手法によって生成されたものを上回る。 0.55
Our source code is available at https://github.com/Q ingbeiGuo/DNAL.git. ソースコードはhttps://github.com/Q ingbeiGuo/DNAL.gitで入手できます。 0.48
Index Terms—Deep Neural Network, Convolutional Neural Network, Neural Architecture Search, Automated Machine Learning Index Terms - Deep Neural Network, Convolutional Neural Network, Neural Architecture Search, Automated Machine Learning 0.94
I. INTRODUCTION Although convolutional neural networks have made great progress in various computer vision tasks, such as image classification [1]–[4], object detection [5]–[7] and semantic segmentation [8]–[11], their deployment into many embedded applications, including robotics, self-driving cars, mobile apps Manuscript received June 28, 2019 私。 導入 畳み込みニューラルネットワークは、画像分類[1]-[4]、オブジェクト検出[5]-[7]、セマンティックセグメンテーション[8]-[11]など、さまざまなコンピュータビジョンタスクにおいて大きな進歩を遂げているが、ロボット工学、自動運転車、モバイルアプリを含む多くの組み込みアプリケーションへの展開は、2019年6月28日に受け取った。 0.63
and surveillance cameras, is hindered by the constrains of model size, latency and energy budget. そして監視カメラは、モデルのサイズ、遅延およびエネルギー予算の制約によって妨げられます。 0.73
A lot of approaches have been proposed to improve the efficiency of neural networks to handle those hardware constraints. これらのハードウェア制約に対処するために、ニューラルネットワークの効率を改善するための多くのアプローチが提案されている。
訳抜け防止モード: 多くのアプローチが提案されている。 ハードウェアの制約に対処する ニューラルネットワークの効率を向上させるためです
0.71
These approaches can be divided into three categories: conventional model compression [12]–[14], lightweight network design [15]–[17] and automatic neural architecture search [18]–[20]. これらのアプローチは、従来のモデル圧縮[12]-[14]、軽量ネットワーク設計[15]-[17]、自動ニューラルネットワークアーキテクチャ検索[18]-[20]の3つのカテゴリに分けることができる。 0.76
Thanks to the over-parameterisatio n of deep neural networks, the conventional methods compress neural network models by different compression techniques, such as pruning [21], [22], network quantization [23], [24], tensor factorization [25], [26], and knowledge distilling [27]. ディープニューラルネットワークの過剰パラメータ化により、従来の手法では、プルーニング[21]、[22]、ネットワーク量子化[23]、[24]、テンソル因子分解[25]、[26]、知識蒸留[27]など、異なる圧縮技術によってニューラルネットワークモデルを圧縮する。
訳抜け防止モード: ディープニューラルネットワークのオーバーパラメータ化のおかげで、従来の方法は異なる圧縮技術によってニューラルネットワークモデルを圧縮します。 例えば [21 ], [22 ], ネットワーク量子化 [23 ] などです。 [ 24 ], tensor factorization [ 25 ], [ 26 ], そして知識の蒸留[27]。
0.79
The lightweight network is heuristically constructed by designing efficient modules, including group convolutions, depthwise separable convolutions, shuffle operations, etc. グループ畳み込み、深く分離可能な畳み込み、シャッフル操作などを含む効率的なモジュールを設計することにより、軽量ネットワークをヒューリスティックに構築する。
訳抜け防止モード: 軽量ネットワークはヒューリスティックに構築され グループ畳み込み、深度分割可能な畳み込み、シャッフル操作などを含む効率的なモジュールの設計。
0.73
Recently, in order to automatically explore the large design space, the NAS methods leverage reinforcement learning [18], [28], [29], evolutionary optimisation algorithm [19], [30], [31] and gradient-based method [20], [32], [33] for efficient neural network search, achieving the state-of-the-art recognition performance. 近年,大規模な設計空間を自動的に探索するために,nas手法は強化学習 [18], [28], [29], 進化最適化アルゴリズム [19], [30], [31] および勾配に基づく手法 [20], [32], [33] を用いて効率的なニューラルネットワーク探索を行い, 最先端の認識性能を実現する。 0.88
However, these existing methods suffer from three problems. しかし、これらの既存の手法は3つの問題を抱えている。 0.52
(1) Both the heuristic compression policy and lightweight module design require domain expertise to explore the architecture space. 1) ヒューリスティックな圧縮ポリシと軽量モジュール設計はどちらも,建築空間の探索にドメインの専門知識を必要とする。 0.76
However, the space is so large that such hand-crafted methods cannot afford the architecture search cost. しかし,このような手作りの手法では,建築検索のコストがかからないほど広範である。 0.70
Due to the limitations imposed on the search space, the resulting neural networks are usually sub-optimal. 探索空間に課される制限のため、結果として得られるニューラルネットワークは通常、準最適である。 0.67
Moreover, these methods have to take the constraint of hardware resources into account. さらに、これらの手法はハードウェアリソースの制約を考慮する必要がある。 0.80
Unfortunately, the computational complexity makes it prohibitive to produce application and hardware specific models. 残念ながら、計算の複雑さはアプリケーションとハードウェア固有のモデルを作成することを禁じている。 0.68
(2) Previous NAS methods exploit reinforcement learning and evolutionary optimisation algorithms to automatically explore the discrete search space, thus achieving the state-of-the-art recognition performance. 2) 従来のNAS手法は、強化学習と進化最適化アルゴリズムを利用して離散探索空間を自動探索し、最先端の認識性能を実現する。 0.77
However, such methods generate a large number of candidate neural architectures, more than 20,000 candidate neural networks across 500GPUs over 4 days in [34]. しかし、このような手法は[34]で4日間で500gpuにまたがる2万以上の候補ニューラルネットワークを含む多数の候補ニューラルアーキテクチャを生成する。 0.68
It is time-consuming to train and evaluate them so as to guide the neural net architecture search. ニューラルネットワークアーキテクチャの探索をガイドするために、トレーニングと評価には時間がかかる。 0.63
(3) The existing DNAS methods relax the problem to search discrete neural architectures to optimize the probability of stochastic supernets, and allow us to explore continuous search spaces by using gradient-based methods. 3)既存のdnas法は,確率的スーパーネットの確率を最適化するために,離散的ニューラルネットワークを探索する問題を緩和し,勾配に基づく手法を用いて連続探索空間を探索できる。 0.76
However, some DNAS methods still しかしdnaの方法によっては 0.59
英語(論文から抽出)日本語訳スコア
MANUSCRIPT 2 require a few candidate neural architectures to identify the best candidate by sampling based on the probability distribution of learned architecture parameters [20]. マニクリプト 2 学習したアーキテクチャパラメータの確率分布に基づいてサンプリングすることで最適な候補を特定するために、いくつかの候補ニューラルネットワークが必要です [20]。
訳抜け防止モード: マニクリプト 2 ニューラルアーキテクチャーを いくつか必要とします 学習したアーキテクチャパラメータの確率分布に基づくサンプリングによる最良の候補の同定 [20 ]。
0.72
To address these problems, we introduce a novel approach which converts the discrete optimisation problem into a continuous one. これらの問題に対処するために,離散最適化問題を連続問題に変換する新しい手法を提案する。 0.75
This is achieved by proposing a differentiable neural architecture learning method to automatically search for the optimal neural network parameterised in terms of a continuous scaled sigmoid function. これは、連続スケールされたシグモイド関数の観点からパラメータ化された最適なニューラルネットワークを自動的に探索する微分可能なニューラルネットワークアーキテクチャ学習方法を提案することによって達成される。 0.62
This is the first work to apply the scaled sigmoid function to facilitate the search for efficient neural networks to the best of our knowledge. これは、効率的なニューラルネットワークの探索を容易にするためにスケールドシグモイド関数を適用する最初の仕事です。 0.68
Specifically, for both conventional CNNs and stochastic supernets, we build a new channel-wise module layer controlled by the scaled sigmoid function, which can be inserted into any existing neural architectures without any special design. 具体的には、従来のCNNと確率的スーパーネットの両方において、スケールドシグモイド関数によって制御される新しいチャネルワイズモジュール層を構築し、特別な設計なしで任意の既存の神経アーキテクチャに挿入することができる。 0.71
This module relaxes the discrete space of neural architecture search by continuous architecture representation. このモジュールは、連続的なアーキテクチャ表現によるニューラルネットワーク探索の離散空間を緩和する。 0.67
By progressively reducing the smoothness of the scaled sigmoid function, the continuous optimization problem is gradually turned into the original architecture optimization problem. スケールしたsgmoid関数の滑らかさを段階的に減少させることにより、連続最適化問題は徐々に元のアーキテクチャ最適化問題となる。 0.77
Thus, the optimal neural architecture can be learned by using gradient-based methods with few epochs, while guaranteeing the convergence. したがって、最適な神経アーキテクチャは、収束を保証しながら、少数の画期的なグラデーションベースの方法を使用して学ぶことができる。 0.55
No additional candidate neural networks are produced, significantly improving the efficiency of neural architecture search. 追加の候補ニューラルネットワークは生成されず、ニューラルネットワーク探索の効率を大幅に改善する。 0.64
In order to avoid the interaction between the weight optimization and the architecture optimization, the network optimization is decoupled into the weight optimization and the architecture optimization. 重みの最適化とアーキテクチャの最適化の間の相互作用を避けるために、ネットワークの最適化は重みの最適化とアーキテクチャの最適化に分離されます。 0.71
This also alleviates the vanishing gradient problem. これはまた消える勾配問題を緩和します。 0.66
After optimizing the neural architecture, we achieve its potential representation ability by finetuning. ニューラルアーキテクチャを最適化した後、微調整によりその潜在的な表現能力を実現する。 0.52
Extensive experiments demonstrate that our DNAL method is applicable to conventional CNNs (e g , VGG16 [2] and ResNet50 [3]), lightweight CNNs (e g , MobileNetV2 [35]) and stochastic supernets (e g , ProxylessNAS [36]), and achieves the state-of-the-art performance on the classification task on CIFAR-10 [37] and ImageNet-1K [38] in terms of model size, FLOPs, accuracy, and more importantly, search cost. 当社のDNAL法は、従来のCNN(例えば、VGG16 [2]およびResNet50 [3])、軽量CNN(例えば、MobileNetV2 [35])、確率的スーパーネット(例えば、ProxylessNAS [36])に適用可能であり、モデルサイズ、FLOP、精度、およびより重要な検索コストの観点から、CIFAR-10 [37]およびImageNet-1K [38]の分類タスクにおける最先端のパフォーマンスを達成することを実証しています。 0.75
Our contributions can be summarized as follows. 私たちの貢献は次のように要約できる。 0.60
• We build a new standalone control module based on the scaled sigmoid function to enrich the neural network module family to enable the neural architecture optimization. • スケールしたsgmoid関数に基づく新しいスタンドアロンコントロールモジュールを構築し、ニューラルネットワークモジュールファミリを充実させ、ニューラルネットワークアーキテクチャの最適化を可能にします。 0.81
• We relax the discrete architecture optimization problem into a continuous one and learn the optimal neural architecture by using gradient-based methods. • 離散的アーキテクチャ最適化問題を連続的に緩和し、勾配に基づく手法を用いて最適なニューラルネットワークを学習する。 0.77
• Our DNAL method produces no candidate neural architectures but one, thus drastically improving the efficiency of neural architecture search. • 我々のdnal法は, 候補となるニューラルネットワークを生成せず, ニューラルネットワーク探索の効率を劇的に向上させる。 0.55
• It is applicable to conventional CNNs, lightweight CNNs, and stochastic supernets for automated neural architecture learning. • 従来のCNN、軽量CNN、確率的スーパーネットに応用でき、自動ニューラルアーキテクチャ学習が可能である。 0.69
• Extensive experiments confirm that our DNAL method achieves the state-of-the-art performance on various CNN architectures, including VGG16, ResNet50, MobileNetV2, and ProxylessNAS, over the task of CIFAR-10 and ImageNet-1K classification. CIFAR-10 と ImageNet-1K 分類のタスクにより,VGG16,ResNet50,Mobi leNetV2,ProxylessNAS などの CNN アーキテクチャ上でのDNAL 手法による最先端性能の実現が確認された。 0.66
The rest of this paper is organized as follows: We first investigate the related work in Section II. この論文の残りは、次のように整理されている:我々は最初にセクションIIで関連作業を調査します。 0.67
We then present the differentiable neural architecture learning method in Section III. そして私たちは セクションIIIの微分可能な神経アーキテクチャ学習方法。 0.67
Subsequently, we demonstrate that our proposed DNAL method delivers superior performance through extensive experiments on various popular network models and datasets in Section V. We present an ablation study, which enhances the understanding of DNAL in Section VI. その後,本提案手法により,種々のネットワークモデルやデータセットを用いた広範囲な実験により,優れた性能が得られることを示すとともに,第6節においてdnalの理解を深めたアブレーション研究を行った。
訳抜け防止モード: 次に,提案手法は,第V節の様々な人気ネットワークモデルとデータセットの広範な実験を通じて,優れた性能を実現することを示す。 これは第6節におけるDNALの理解を高める。
0.70
Finally, we draw the paper to a conclusion in Section VII. 最後に、第VII節の結論に論文を引きます。 0.60
II. RELATED WORK In this section, we review various methods to yield efficient neural networks from three different perspectives. II。 関連作業 本稿では,3つの異なる視点から効率的なニューラルネットワークを実現するための様々な手法について検討する。 0.66
Conventional Model Compression. The conventional compression method includes pruning [21], [22], network quantization [23], [24], tensor factorization [25], [26] and knowledge distillation [27]. 従来のモデル圧縮。 従来の圧縮方法は、プルーニング[21]、[22]、ネットワーク量子化[23]、[24]、テンソル因子分解[25]、[26]、知識蒸留[27]を含む。
訳抜け防止モード: 従来のモデル圧縮。 従来の圧縮方式は[21],[22],[21],[22],[21],[21],[21],[21] である。 ネットワーク量子化 [23 ], [24 ], Tenor factorization [25 ], 【26】とナレッジ蒸留【27】。
0.80
Pruning is one of the most promising compression methods, which removes the redundant parts, including weights, channels and even layers, to compress neural networks based on heuristic rules. Pruningは、重み、チャネル、さらには層を含む冗長な部分を取り除き、ヒューリスティックルールに基づいてニューラルネットワークを圧縮する最も有望な圧縮方法の1つです。 0.70
It is orthogonal to other methods to design more efficient neural networks. より効率的なニューラルネットワークを設計する他の方法と直交する。 0.74
As the structured pruning is more efficient in reducing the parameters and computations, the channel-wise pruning methods have attracted more attention. 構造化プルーニングはパラメータと計算を減らすのに効率的であるため、チャネルワイズプルーニング方法はより注目を集めています。 0.67
Huang et al introduced a scaling factor to scale the output of specific structures, such as channels, groups, and residual blocks, and added sparsity regularizations on the scaling parameters to force them to zero [12]. Huang氏らは、チャネル、グループ、残留ブロックなどの特定の構造の出力をスケールするためのスケーリング係数を導入し、スケーリングパラメータにスパーシティ正規化を加えて、それらをゼロにする[12]。 0.69
The structures corresponding to zero scaling factors will be pruned as the dispensible parts to promote the design of compact CNNs. ゼロスケーリング要因に対応する構造は、コンパクトなCNNの設計を促進するための分配可能な部品として引き裂かれます。 0.67
Similarly, the scaling parameters in Batch Normalization (BN) are used to control the output of the corresponding channels without introducing any extra parameters [13]. 同様に、バッチ正規化(BN)のスケーリングパラメータは、余分なパラメータを導入せずに対応するチャネルの出力を制御するために使用される[13]。 0.84
In this work, we adopt a similar approach and propose a module scaling based on the scaled sigmoid function. 本研究では,同様のアプローチを採用し,スケールド・シグモイド関数に基づくモジュールスケーリングを提案する。 0.74
The difference between the proposed approach and these methods is analyzed in detail in the supplementary material. 提案されたアプローチとこれらの方法の違いは、補足資料で詳細に分析されます。 0.67
Most of these pruning methods require extra retraining to compensate the performance loss in accuracy due to pruning. これらのプルーニング法のほとんどは、プルーニングによる性能低下を補うために余分なリトレーニングを必要とする。
訳抜け防止モード: これらの刈り取り法の多くは余分な再訓練を必要とする プルーニングによる精度の低下を補う。
0.60
This inevitably increases the computational cost, especially in the case of the iterative pruning and retraining scheme [39], [40]. これは計算コストを必然的に増加させ、特に反復的プルーニングおよび再訓練スキーム[39],[40]の場合である。 0.82
Unfortunately, these methods achieve only sub-optimal solutions, because it is prohibitive to explore the whole search space using their human-based heuristics. 残念なことに、これらの手法は人間に基づくヒューリスティックスを用いて探索空間全体を探索することが禁じられているため、準最適解しか得られない。 0.53
Lightweight Network Design. 軽量ネットワーク設計。 0.72
This kind of method aims to directly construct efficient neural networks by designing cheap but effective modules, rather than pruning redundant structures. この種の手法は、冗長な構造を刈り取るのではなく、安価で効果的なモジュールを設計することで、効率的なニューラルネットワークを直接構築することを目指している。
訳抜け防止モード: この種の方法は 冗長な構造を刈り取るのではなく、安価で効果的なモジュールを設計することにより、効率的なニューラルネットワークを直接構築する。
0.62
Such modules have few parameters and low computation complexity with a reasonable representation capacity. このようなモジュールはパラメータが少なく、合理的な表現能力を持つ計算の複雑さが低い。 0.66
They including group convolution [15], [41]–[43], depthwise separable convolution [16], [35] and shuffle operation [17]. それらは群畳み込み[15], [41]–[43], 奥行き分離畳み込み[16], [35], シャッフル操作[17]を含む。 0.60
These human-designed modules explore only a very small portion of the design space, thus discovering only sub-optimal solutions. これらの人間設計モジュールは、設計空間のごく一部だけを探索し、最適のソリューションのみを発見します。 0.69
Moreover, it is infeasible to design specific neural networks for every individual hardware platform. さらに、個々のハードウェアプラットフォームごとに特定のニューラルネットワークを設計することは不可能です。 0.69
In practice, we usually reuse the neural networks for different devices to save the computation time, and adjust them to achieve a trade-off between accuracy and efficiency. 実際には、我々は通常、計算時間を節約するために異なるデバイスのためのニューラルネットワークを再利用し、精度と効率の間のトレードオフを達成するためにそれらを調整します。
訳抜け防止モード: 実際には ニューラルネットワークを 異なるデバイスに再利用します 計算時間を節約し、精度と効率のトレードオフである取引を達成するために調整する。
0.66
Neural Architecture Search. ニューラルネットワークアーキテクチャ検索。 0.63
Recently, the methodology of neural architecture search has made a significant progress. 近年,ニューラルアーキテクチャ探索の方法論が大きな進歩を遂げている。 0.72
The あらすじ 0.35
英語(論文から抽出)日本語訳スコア
MANUSCRIPT 3 NAS methods automatically explore the search space to find the optimal neural architectures by different optimization methods, such as reinforcement learning, evolutionary optimization algorithms and gradient-based methods. マニクリプト 3 NASメソッドは自動的に検索空間を探索し、強化学習、進化的最適化アルゴリズム、グラデーションベースの方法など、さまざまな最適化方法によって最適なニューラルアーキテクチャを見つける。 0.66
The early works automatically searched the optimal neural architecture based on reinforcement learning [18], [28], [29] and evolutionary optimization algorithms [19], [30], [31] in a discrete search space. 初期の研究では、強化学習 [18], [28], [29] および進化最適化アルゴリズム [19], [30], [31] を離散的な探索空間として、最適なニューラルネットワークを自動的に探索した。 0.87
These methods generate thousands of candidate neural network architectures, and their validation set performance is treated as the reward or fitness to guide the search process. これらの手法は数千の候補ニューラルネットワークアーキテクチャを生成し、その検証セットのパフォーマンスは検索プロセスを導くための報酬や適合度として扱われる。 0.77
However, it is time-consuming to train and evaluate those candidate architectures. しかし、これらの候補アーキテクチャのトレーニングと評価には時間がかかります。 0.60
Various proxy techniques have been adopted to reduce the search cost, including the performance evaluation on a small dataset, training for few epochs and searching few blocks [36]. 検索コストを削減するために、小さなデータセットのパフォーマンス評価、少数のエポックのトレーニング、数ブロックの検索など、さまざまなプロキシ技術が採用されている [36]。 0.74
However, they do not fundamentally solve the problem of search cost. しかし,検索コストの問題は根本的な解決には至っていない。 0.74
To solve the problem effectively, the idea of differentiable neural architecture search was proposed in [20], [32], [33] to optimize the network architecture by gradient-based methods. この問題を効果的に解決するために,[20],[32],[33]において,勾配に基づく手法でネットワークアーキテクチャを最適化する微分可能なニューラルアーキテクチャ探索のアイデアが提案された。 0.76
These DNAS methods utilize the softmax function over parallel operation blocks to convert the discrete space into a continuous space, and formulate the neural architecture learning in a differentiable manner. これらのDNAS法は、並列演算ブロック上のsoftmax関数を利用して離散空間を連続空間に変換し、微分可能な方法で神経アーキテクチャ学習を定式化する。 0.73
The optimal neural architecture problem is then solved based on gradient search methods, which avoids enumerating individual network architectures and training/evaluating them separately. 最適なニューラルネットワークアーキテクチャ問題は、個々のネットワークアーキテクチャを列挙し、それらを個別にトレーニング/評価することを避ける勾配検索方法に基づいて解決される。 0.58
Nevertheless, some DNAS methods still sample multiple candidate architectures based on the learned distribution of architecture parameters, thus resulting in extra search costs [20]. それにもかかわらず、いくつかのdnas手法は、アーキテクチャパラメータの学習された分布に基づいて複数の候補アーキテクチャをサンプリングし、追加の検索コスト [20] を発生させる。 0.56
We will discuss the difference between our DNAL method and the existing DNAS methods in the supplementary material. 補足材料におけるdnal法と既存のdnas法の違いについて検討する。 0.48
III. METHODOLOGY min s∈Rn III。 方法論 min s∈Rn 0.63
L(a(s), wa) L(a(s), wa) 0.76
A. Problem Definition A neural network can be parameterized with two kinds of parameters, i.e., the architecture parameters, which represent the neural architecture, and the weights to generate the feature maps. A。 問題定義 ニューラルネットワークは2種類のパラメータ、すなわち、ニューラルネットワークを表現したアーキテクチャパラメータと、特徴マップを生成するための重みでパラメータ化することができる。 0.74
Then, the problem of learning efficient neural architectures can be formulated as follows, min a(s)∈A min wa すると、効率的なニューラルアーキテクチャを学習する問題として、min a(s)∈A min waを定式化することができる。 0.63
(1) Here, Rn is a high-dimensional real space, whose dimension is related to the architecture of each neural network. 1) ここで、rn は高次元の実空間であり、その次元は各ニューラルネットワークのアーキテクチャと関連している。 0.78
A is a discrete space of the architecture parameters s. We aim to find an optimal architecture a(s) ∈ A by optimizing s. The neural network with the optimal architecture a(s) is trained to achieve the minimal loss L(a(s), wa) by optimizing the weights wa. A は、アーキテクチャパラメータ s の離散空間である。我々は、s を最適化することによって、最適アーキテクチャ a(s) ∈ A を見つけることを目指している。最適アーキテクチャ a(s) を持つニューラルネットワークは、重み wa を最適化することによって、最小損失 L(a(s), wa) を達成するために訓練される。 0.65
B. The Search Space In this paper, we build a channel-wise search space, which includes variants of conventional CNN, lightweight CNN and stochastic supernet as instances. B。 検索空間 この論文では,従来のCNN,軽量CNN,確率的スーパーネットをインスタンスとして含むチャネルワイズ検索空間を構築した。 0.74
At each layer, the conventional and lightweight CNNs define a single operation, such as conv, pooling, and etc. 各レイヤで、従来の軽量のCNNは、conv、プーリングなどのような単一の操作を定義します。
訳抜け防止モード: 各レイヤーで、従来の軽量CNNは単一の操作を定義します。 conv、プール、および等のような。
0.72
By choosing different channels we are able to configure different architectures. 異なるチャネルを選択することで、異なるアーキテクチャを構成できるのです。 0.72
The stochastic supernet have multiple parallel blocks performing different operations at each 確率スーパーネットは複数の並列ブロックを持ち、それぞれ異なる演算を行う 0.66
layer, providing a greater flexibility in the choice of architecture, but creating a larger search space. レイヤ – アーキテクチャの選択において柔軟性が向上すると同時に,検索スペースも拡大する。 0.74
The existing DNAS methods choose only one different block from multiple candidate blocks at each layer to construct a layer-wise search space [20], [32], [33]. 既存のDNASメソッドは、各レイヤーの複数の候補ブロックから1つの異なるブロックだけを選択し、レイヤーワイズ検索空間[20], [32], [33]を構築する。 0.70
Unlike such DNAS methods, our approach allows to choose one or more blocks with different channels for each layer. このようなdnas法とは異なり、このアプローチでは各層ごとに異なるチャネルを持つ1つ以上のブロックを選択できる。 0.65
It diversifies the structure of neural networks, which helps to improve their representation capacity [44]. ニューラルネットワークの構造を多様化し、表現能力を向上させるのに役立ちます[44]。 0.81
The conventional CNN can be viewed as a special stochastic supernet which has a single operation block at each layer. 従来のCNNは、各層に1つの操作ブロックを持つ特別な確率的スーパーネットと見なすことができる。 0.72
Taking a stochastic supernet as an example, suppose that an L-layer stochastic supernet N contains M l parallel operation blocks at the l-th layer and each block has N l channels. 確率的スーパーネットを例として、L層確率的スーパーネットNがl層にMl並列演算ブロックを含み、各ブロックがNlチャネルを有すると仮定する。 0.80
The state of each channel is a binary sample space, i.e., {0, 1}. 各チャネルの状態は二分標本空間、すなわち {0, 1} である。 0.70
The zero value means the corresponding channel does not contribute (cid:80)L to the process of inference and vice versa. ゼロ値とは、対応するチャネルが推論のプロセスに(cid:80)lを寄与しないことを意味する。 0.77
The architecture l=1 M lN l possible architectures. アーキテクチャ l=1 M lN l 可能なアーキテクチャ。 0.67
search space will include 2 For instance for the case of VGG16, as the total number of its channels is 4224, it contains 24224 ≈ 101272 possible architectures. 検索空間は、例えばvgg16の場合の2つを含み、チャネルの総数は4224であり、24224の101272の可能なアーキテクチャを含んでいる。 0.76
For deeper ResNet50, the number of possible architectures exceeds 107992. より深いResNet50の場合、可能なアーキテクチャ数は107992を超える。 0.72
The search space is so large that it is not feasible to enumerate them, let alone search for the optimal neural architecture. 検索スペースは非常に大きいので、最適なニューラルネットワークアーキテクチャを検索しても、それらを列挙することは不可能です。 0.67
Moreover, it is a challenging to solve the non-convex optimization problem to find the optimal architecture in such a large search space. さらに、そのような大きな検索空間で最適なアーキテクチャを見つけるために、非凸最適化問題を解決することは困難です。 0.74
C. Differentiable Neural Architecture Learning by Continuation Scaled Sigmoid Function. C. 連続スケールシグモイド関数による微分可能なニューラルアーキテクチャ学習 0.79
We first introduce channel-wise architecture parameter vector s, which serves as an indictor to represent the architecture of a neural network. まず,ニューラルネットワークのアーキテクチャを表すインデュークタとして機能するチャネルワイズ型アーキテクチャパラメータパラメータベクトルsを紹介する。 0.79
Here, s = [s1, ..., sL], and for the l-th layer, sl = M lN l ]. ここで s = [s1, ..., sL] であり、l-th 層に対して sl = M lN l である。 0.83
DNAL learns an efficient neural [sl 11, ..., sl 1N l , ..., sl architecture by converting the architecture parameters s to a binary vector b. DNALは、アーキテクチャパラメータsをバイナリベクトルbに変換することにより、効率的なニューラル[sl 11, ..., sl 1N l , ..., slアーキテクチャを学ぶ。 0.80
The binarization process can be implemented (cid:40) by taking the binary function b = binary(s) as activation functions, 1, 0, バイナリ化プロセスは、バイナリ関数 b = binary(s) をアクティベーション関数 1, 0 として取り込むことで実装できる(cid:40)。 0.84
if s>0 otherwise, b = binary(s) = s>0 でなければ b = binary(s) = 0.77
(2) where s ∈ s and b ∈ b. (2) s ∈ s と b ∈ b である。 0.85
However, it is infeasible to train the deep neural network with the standard back-propagation (e g , SGD), as the binary function is non-smooth and non-convex. しかし、二項関数が非滑らかで非凸であるため、標準的なバックプロパゲーション(例えばSGD)でディープニューラルネットワークを訓練することは不可能である。 0.69
The binary function is ill-posed at zero, which is non-differentiable, and its gradient is zero for all nonzero values, which causes the vanishing gradient problem in the neural network optimization. バイナリ関数は 0 で不等式であり、非微分性であり、その勾配はすべての非ゼロ値に対してゼロであり、ニューラルネットワーク最適化におけるグラデーション問題は消滅する。 0.72
It is an open problem to optimize neural networks with non-smooth activation functions. 非スムースアクティベーション関数を持つニューラルネットワークを最適化することは、オープンな問題である。 0.66
Motivated by the continuation methods [45], we convert the optimization problem with illposed gradients to a manageable problem by smoothing the binary activation function. 連続法 [45] に動機づけられて, バイナリアクティベーション関数を平滑化することにより, 不良勾配による最適化問題を管理可能な問題に変換する。 0.73
We find that there is a relationship between the binary function and the scaled sigmoid function which becomes binary when scale factor δ tends to infinity, as follows, (3) where p = sigmoid(δs) = 1/(1 + e−δs) is the scaled sigmoid function with hyper-parameter δ to control its transition from p = sigmoid(δs) = 1/(1 + e−δs) は超パラメータδ を持つスケールされたシグモノイド関数であり、その遷移を制御する。
訳抜け防止モード: スケール係数δ が無限大になる傾向にあるとき、二項関数と拡大シグモイド関数の間には関係があることが分かる。 p = sigmoid(δs ) = 1/(1 + e−δs ) は超パラメータ δ を持つスケールしたシグモノイド関数で、その遷移を制御する。
0.81
lim δ→+∞ sigmoid(δs) = binary(s), lim δ→+∞ sigmoid(δs) = binary(s) 0.94
英語(論文から抽出)日本語訳スコア
MANUSCRIPT 4 Figure 1. マニクリプト 4 図1。 0.68
Scaled sigmoid(δs) function. スケールドシグモイド(δs)関数。 0.72
Green, blue and red curves show the function p = sigmoid(δs) with hyper-parameter δ1<δ2<δ3. 緑、青、赤の曲線は超パラメータ δ1<δ2<δ3 を持つ関数 p = sigmoid(δs) を示す。 0.77
The key property is limδ→∞ sigmoid(δs) = binary(s). 鍵となる性質は limδ→∞ sigmoid(δs) = binary(s) である。 0.74
zero to one, as shown in Fig 1. 図1に示すように、0対1です。 0.75
If δ = 1, then it is the standard sigmoid function, which is smooth. δ = 1 であれば、標準の sigmoid 関数であり、これは滑らかである。 0.89
The transition region becomes sharper as the scale factor δ increases. スケールファクタδが増加すると、遷移領域が鋭くなる。 0.78
As δ approaches +∞, the function is transformed into the original non-smoothed binary function. δ が +∞ に近づくと、関数は元の非スムース双対関数に変換される。 0.77
Thanks to the key property of the scaled sigmoid function, we relax the problem of optimizing the neural architecture to the problem of optimizing the architecture parameters s by progressively sharpening the scaled sigmoid function transition region. スケールドシグモイド関数の重要な特性のおかげで、スケールドシグモイド関数遷移領域を段階的にシャープにすることで、アーキテクチャパラメータsを最適化する問題にニューラルアーキテクチャを最適化するという問題を緩和する。 0.85
Specifically, we begin to optimize the neural architecture with the smoothed sigmoid activation function, where δ0 = 1. 具体的には, δ0 = 1 の平滑化シグモイド活性化関数を用いて神経構造を最適化し始める。 0.76
By progressively increasing the scale factor δ, the neural architecture will gradually converge to a solution corresponding to an optimal architecture defined by the resulting binary function. スケールファクタδを徐々に増加させることで、ニューラルアーキテクチャは、結果のバイナリ関数によって定義される最適アーキテクチャに対応する解に徐々に収束する。 0.71
In this paper, max(δ) = 104, which is sufficient to guarantee the convergence. 本稿では、最大(δ) = 104 であり、収束を保証するのに十分である。 0.82
Therefore, our DNAL method can optimize the neural architecture by using gradient-based methods, while producing no additional candidate architectures. そこで,我々のDNAL法は勾配に基づく手法を用いてニューラルアーキテクチャを最適化できるが,追加の候補アーキテクチャは生成できない。 0.65
Architecture Optimization. アーキテクチャ最適化。 0.69
We build a new channel-wise module layer to incorporate the Scaled Sigmoid activation function, named by SS, and add the SS transformation after the batch normalization layer, as shown in Fig 2. 我々は,ssによって命名されるスケールドシグモイド活性化関数を組み込んだ新しいチャネルワイズモジュール層を構築し,fig 2 に示すようにバッチ正規化レイヤの後に ss 変換を追加する。 0.83
The order of SS layer is analyzed in the ablation study presented later in the paper. SS層の順は後日論文で示されたアブレーション研究で分析される。 0.67
To achieve an efficient neural architecture, we define the following loss function, L = L0 + λa 効率的な神経アーキテクチャを実現するために、次の損失関数 L = L0 + λa を定義する。 0.75
sigmoid(δsl ij). sigmoid (δsl ij)。 0.85
(4) L(cid:88) l=1 (4) L(cid:88) l=1 0.78
M l(cid:88) i=1 M l(cid:88) i=1 0.75
N l(cid:88) j=1 N l(cid:88) j=1 0.75
Here, the first term is the cross-entropy loss function. ここで、最初の項はクロスエントロピー損失関数である。 0.73
The second term drives the scaled sigmoid activation of each channel to zero, which tends to remove the less important channels. 第2項は、各チャネルのスケールしたシグモイドの活性化をゼロにするが、これは重要でないチャネルを除去する傾向がある。
訳抜け防止モード: 第2項は、各チャネルのスケールしたシグモイド活性化をゼロにする。 重要でないチャンネルを 取り除く傾向があります
0.68
The hyper-parameter λa is a coefficient to achieve an appropriate balance between accuracy-efficiency. ハイパーパラメータλaは精度と効率の適切なバランスを達成する係数である。 0.77
In the forward step, we calculate the output ˆxl of the l-th  sigmoid(δsl  xl ), (5) layer as follows, M l(cid:88) i1) i1 ... ... ˆxl = ReLU ( sigmoid(δsl xl i=1 iN l ) iN l where (cid:12) is the symbol of Hadamard product, and xl ij is the original output of the j-th channel of the i-th block in the l-th layer. 前段では、第5次シグモイド(δsl ) (5) 層の出力を次のように計算する: M l(cid:88) i1) i1 ... ... .xl = ReLU ( sigmoid(δsl xl i=1 iN l ) iN l ここで (cid:12) はアダマール積のシンボルであり、xl ij は第2次ブロックの j-th チャネルの元々の出力である。 0.85
The sigmoid function serves as a weight coefficient to scale the output of the corresponding channel. シグモイド関数は、対応するチャネルの出力をスケーリングする重み係数として機能する。 0.80
The outputs of the blocks at each layer are aggregated as the layer output. 各層におけるブロックの出力は、層出力として集約される。 0.86
The scale factor δ exponentially increases as the training process progresses. スケールファクタδは、トレーニングプロセスが進むにつれて指数関数的に増加する。 0.62
 (cid:12) は (cid:12) 0.75
In the backward step, the gradient w.r.t. 後方ステップでは勾配w.r.t。 0.67
the architecture parameters can be calculated as follows, δl2 アーキテクチャパラメータは次のように計算できる。 δl2 0.80
ij(1 − δlsl sl ij). ij(1 − δlsl sl ij)。 0.85
(6) = = ∂L ∂pl ij (6) = = ∂l ∂pl ij 0.82
∂L ∂sl ij ∂L ∂pl ij ∂l ∂sl ij ∂l ∂pl ij 0.75
∂pl ij ∂sl ij ∂pl ij ∂sl ij 0.84
Our approach has a number of significant advantages. 私たちのアプローチには多くの大きな利点があります。 0.62
We update the architecture parameters s by directly using a gradient descent method. 勾配降下法を用いて、アーキテクチャパラメータsを直接更新する。 0.62
Due to the relative small number of architecture parameters, compared to the number of weights, our DNAL method exhibits a fast convergence for the architecture optimization. 相対的な少数のアーキテクチャパラメータのために、重量の数と比較して、私たちのDNAL法は、アーキテクチャの最適化のための迅速な収束を示す。 0.62
Moreover, as we optimize the neural architecture directly on the target tasks, we require no proxy tasks, such as a smaller dataset for training. さらに、ターゲットタスクで直接ニューラルネットワークアーキテクチャを最適化するため、トレーニング用の小さなデータセットなど、プロキシタスクは必要ありません。 0.65
This ensures that the neural architecture obtained by DNAL is optimal on the target tasks. これにより、DNALによって得られる神経アーキテクチャが、ターゲットタスク上で最適であることが保証される。 0.47
In this work, the architecture optimization consumes about one-tenth of the resource needed for the parameter optimization, specifically 20 epochs for CIFAR-10 and 10 epochs for ImageNet, as described in Section V in detail. 本研究では,パラメータ最適化に必要なリソースの約10分の1,特にCIFAR-10では20エポック,ImageNetでは10エポックを,第V節で詳述した。 0.75
Once the DNAL optimization process has converged, if ij) = 1, then the corresponding channel is signifsigmoid(δsl icantly retained. DNAL最適化プロセスが収束すると、ij) = 1 であれば、対応するチャネルは signifsigmoid(δsl 偶数に保持される。 0.74
On the contrary, if sigmoid(δsl ij) = 0, the corresponding channel is decisively pruned out as its output has no contribution to the subsequent computation. 逆に、sigmoid(δsl ij) = 0 の場合、その出力がその後の計算に寄与しないため、対応するチャネルは決定的に切断される。 0.68
However, as this pruning process can result in channel dimension incompatibility, we follow the technique in [33], and zeropad the missing channels for the sake of channel dimension alignment. しかし,このプルーニングプロセスはチャネル次元の非互換性をもたらす可能性があるため,[33]の技法に従い,チャネル次元のアライメントのために欠落するチャネルをゼロパッドする。 0.83
Moreover, after pruning, we disable all the SS layer, so no special operations or structures are introduced. さらに,プルーニング後にすべてのSS層を無効にするため,特別な操作や構造は導入されない。 0.74
Finally, we finetune the optimal sub-network to restore its representative ability. 最後に、その代表能力を回復するために最適なサブネットワークを微調整する。 0.57
Sequential Optimization Strategy. シーケンス最適化戦略。 0.78
In the approach described so far, there are two challenging problems. これまでのアプローチでは、難しい問題が2つあります。 0.72
With the increasing value of the hyper-parameter δ, the scaled sigmoid function has larger and larger saturation zone where the gradient is zero and this leads to the vanishing gradient problem. ハイパーパラメータδの値が増加するにつれて、スケールされたシグモイド関数は、勾配がゼロであるより大きな飽和領域を有し、これは消失する勾配問題につながる。 0.71
As a result, back-propagation becomes inefficient, and this is harmful to the optimization process. その結果、バックプロパゲーションは非効率になり、最適化プロセスに悪影響を及ぼす。 0.77
The other issues is the interaction between the parameter optimization and the architecture optimization. その他の問題はパラメータ最適化とアーキテクチャ最適化の相互作用である。 0.84
A channel is simultaneously affected by both its architecture parameter and weights. チャネルは、そのアーキテクチャパラメーターと重み付けの両方によって同時に影響を受ける。 0.67
For example, a channel has a nearzero value of scaled sigmoid function but large weights. 例えば、チャネルはスケールしたシグモイド関数のほぼゼロ値を持つが、大きな重みを持つ。 0.68
It is arbitrary to take it as a less important channel, because the channel still may contribute considerably to the next layer. チャネルは依然として次のレイヤに大きく寄与する可能性があるため、より重要でないチャネルとして捉えることは任意である。
訳抜け防止モード: より重要でないチャネルとして捉えるのは任意です。 チャネルが次の層に 大きく貢献する可能性があるからです
0.74
To tackle these two issues, we decouple the network optimization into the weight optimization and the architecture optimization. この2つの課題に取り組むため、ネットワーク最適化をウェイト最適化とアーキテクチャ最適化に切り離します。 0.79
We found empirically that if the architectures are optimized from the start without a suitable initialisation, the architecture search will tend to fall into bad local optima. アーキテクチャが適切な初期化なしに最初から最適化されている場合、アーキテクチャ検索は悪い局所最適化に陥る傾向があることを実証的に見出した。 0.73
Therefore, the weights are optimized first. そのため、まず重量を最適化する。 0.78
At the weight optimization stage, we disable the SS layer, which means that the SS layer does not change the original channel output, i.e., sigmoid(δs) = 1 for each channel, and we use SGD to learn only the weights. 重みの最適化段階では、SSレイヤーを無効にします。つまり、SSレイヤーは元のチャネル出力を変更しません。つまり、sigmoid(δs) = 1は各チャネルで、SGDを使用して重みだけを学習します。 0.76
When optimizing the neural architecture, we freeze the trainable layers, including convolutional layers and BN layers, and focus only on the architecture parameters also by SGD. ニューラルネットワークを最適化する際には、畳み込み層やBN層を含むトレーニング可能なレイヤを凍結し、SGDによってもアーキテクチャパラメータのみにフォーカスする。 0.68
Using the sequential optimization strategy alleviates the vanishing gradient problem, as well as reducing the interaction 逐次最適化戦略を用いることで、消滅する勾配問題を緩和し、相互作用を減少させる 0.71
-3-2-101230.5p=sigmoid(1s)p=sigmoid(2s)p=sigmoid(3s) -3-2-101230.5p=sigmoid(1s)p=sigmoid(2s)p=sigmoid(3s) 0.51
英語(論文から抽出)日本語訳スコア
MANUSCRIPT 5 Figure 2. マニクリプト 5 図2。 0.69
Differentiable neural architecture learning for efficient convolutional network design. 効率的な畳み込みネットワーク設計のための微分可能なニューラルネットワーク学習 0.63
weights and architecture parameters. 重量と建築パラメータです 0.65
We will compare the sequential optimization strategy with the joint optimization in the following ablation study. 次のアブレーション研究において,逐次最適化戦略と協調最適化の比較を行う。 0.77
DNAL Algorithm. DNALアルゴリズム。 0.75
We depict the optimization process of our DNAL method in Alg. AlgにおけるDNAL法の最適化プロセスについて述べる。 0.68
1. The whole process consists of three stages: (1) Weight optimization stage. 1. 全体のプロセスは3つの段階から成ります:(1)重量の最適化段階。 0.78
We learn only the weights by SGD with weight decay, while disabling the SS layer. 我々は,ss層を無効にしながら,sgdによる重量減少のみを学習する。 0.66
(2) Architecture optimization stage. (2) アーキテクチャ最適化のステージ。 0.78
When learning architecture parameters, the weights are frozen. アーキテクチャパラメータを学ぶとき、重みは凍結されます。 0.63
The scaled sigmoid technique is used to optimize the architecture parameters by SGD. スケールドシグモイド技術は、SGDによるアーキテクチャパラメータの最適化に使用される。 0.83
(3) Finetuning stage. After pruning the channels with sigmoid(δs) = 0, we finetune the derived neural network to achieve a better accuracy. (3)微調整段階。 sigmoid(δs) = 0 でチャネルをプルーピングした後、より精度を高めるために派生したニューラルネットワークを微調整する。 0.67
Algorithm 1 Differentiable neural architecture learning procedure. アルゴリズム1 識別可能な神経アーキテクチャ学習手順。 0.76
Require: The stochastic supernet N with SS layers, a sequence 1 = δ1<··· <δn = +∞. 必須: SS層を有する確率的スーパーネットN、列1 = δ1<·· <δn = +∞。 0.80
Ensure: the efficient neural network ˆN. 確実性: 効率的なニューラルネットワーク。 0.72
1: randomly initializing the weights W , and disabling the SS layers 2: for each epoch i = 1 to m do optimizing W by SGD with respect to L = L0 + λw (cid:107)W(cid:107)2 3: 4: end for 5: enabling the SS layers, initializing s = 0, and freezing the weights W (cid:80)(cid:80)(cid :80) sigmoid(δis) 6: for each epoch i = 1 to n do to L = L0 + optimizing S by SGD with respect 7: λa 8: end for 9: pruning the channels with sigmoid(δs) = 0 (cid:13)(cid:13)(cid :13)2 (cid:13)(cid:13)(cid :13) ˆW 10: disabling the SS layers 11: finetuning the searched network ˆN by SGD with respect to L = L0 + λw In this section, we investigate the differences between DNAL and other related methods by comparison. 1: randomly initializing the weights W , and disabling the SS layers 2: for each epoch i = 1 to m do optimizing W by SGD with respect to L = L0 + λw (cid:107)W(cid:107)2 3: 4: end for 5: enabling the SS layers, initializing s = 0, and freezing the weights W (cid:80)(cid:80)(cid :80) sigmoid(δis) 6: for each epoch i = 1 to n do to L = L0 + optimizing S by SGD with respect 7: λa 8: end for 9: pruning the channels with sigmoid(δs) = 0 (cid:13)(cid:13)(cid :13)2 (cid:13)(cid:13)(cid :13) ˆW 10: disabling the SS layers 11: finetuning the searched network ˆN by SGD with respect to L = L0 + λw In this section, we investigate the differences between DNAL and other related methods by comparison. 1.00
Comparison with other DNAS methods. 他のdna法との比較。 0.64
Although our DNAL method adopts the same gradient-based approach as the existing DNAS methods to optimize the neural architecture, there are major differences between them in following three respects. 当社のDNAL法は、既存のDNAS法と同じ勾配に基づくアプローチを採用して神経アーキテクチャを最適化するが、以下の3つの点で大きな違いがある。 0.61
First, the existing DNAS methods applied the softmax function to learn the relative probability of each operation まず、既存のdnas法はsoftmax関数を適用し、各操作の相対的確率を学習した。
訳抜け防止モード: まず、既存のdnas法はsoftmax関数を適用した 各操作の相対的確率を学習する
0.79
IV. ANALYSIS block, and then retain the block with the maximum probability to construct the optimal architecture, while abandoning the other components [20], [32], [33]. IV。 分析 ブロックすると、他のコンポーネント[20], [32], [33]を捨てながら、最適なアーキテクチャを構築するための最大確率でブロックを保持します。 0.75
DNAL utilizes the scaled sigmoid function to learn the absolute probability of each channel. DNALはスケールドシグモイド関数を利用して各チャネルの絶対確率を学習する。 0.81
After converging to the original binary problem, we preserve the channels with probability 1, while removing the channels with probability 0. 元のバイナリ問題に収束した後、我々は確率0のチャネルを削除しながら、確率1のチャネルを保存します。 0.71
Second, the existing DNAS methods choose the most likely operation block from multiple candidate operation blocks for each layer to construct the optimal neural architecture, which means each layer contains only one operation block [20], [32], [33]. 第2に、既存のdnas法は、最適なニューラルネットワークを構築するために、各レイヤの複数の候補操作ブロックから最も可能性の高い操作ブロックを選択し、各レイヤに1つの操作ブロック[20],[32],[33]だけを含む。 0.63
However, DNAL learns more general structure, where each layer may contain different operation blocks with different channels. しかし、DNALはより一般的な構造を学習し、各層は異なるチャネルを持つ異なる操作ブロックを含むことができる。
訳抜け防止モード: しかしdnalはより一般的な構造を学習し 各レイヤは異なるチャネルを持つ異なるオペレーションブロックを含むことができる。
0.70
Thus, DNAL increases the search space size by orders of magnitude. したがって、DNALは検索空間のサイズを桁違いに増加させる。 0.68
This helps to improves the accuracy of neural networks, which is experimentally confirmed in the following section. これにより、以下のセクションで実験的に確認されたニューラルネットワークの精度が向上する。 0.76
Third, after finishing the architecture search, some DNAS methods still sample several candidate architectures based on the distribution of architecture parameters, and select the best one by training them from scratch [20]. 第3に、アーキテクチャ検索を終えた後、いくつかのdnasメソッドは依然としてアーキテクチャパラメータの分布に基づいていくつかの候補アーキテクチャをサンプリングし、それらをスクラッチからトレーニングすることで最適なアーキテクチャを選択する [20]。 0.64
Our DNAL method yields directly the optimal architecture by the proposed method, producing no additional candidate architectures. 提案手法により,DNAL法は最適アーキテクチャを直接生成し,追加の候補アーキテクチャは生成しない。 0.72
This significantly reduces the computational cost. これにより計算コストが大幅に削減される。 0.61
Comparison with other scaling methods. 他のスケーリング方法との比較。 0.70
In DNAL, we introduce the scaled sigmoid function as a mechanism to scale the output of each channel. DNALでは、各チャネルの出力をスケールするメカニズムとしてスケールドシグモイド関数を紹介します。 0.77
The proposed method is significantly different from other scaling methods. 提案手法は他のスケーリング手法とは大きく異なる。 0.67
First, the existing scaling methods consider the scale factor as a coefficient to scale the output of some specific structures [12], including channels, groups and blocks. まず,既存のスケーリング手法では,チャネルやグループ,ブロックなど,特定の構造 [12] の出力をスケールするための係数としてスケール係数を考える。 0.86
Some methods leveraged the learnable scale factor of BN without introducing extra parameters [13], [14]. 余分なパラメータ13,[14]を導入することなく、BNの学習可能なスケールファクタを利用する方法もある。 0.64
We define an architecture parameter s ∈ R, and use its scaled sigmoid function sigmoid(δs) ∈ [0, 1], as the scale factor in a probabilistic way. アーキテクチャパラメータ s ∈ R を定義し、そのスケールしたシグモノイド函数 sigmoid(δs) ∈ [0, 1] を確率的方法のスケール因子として用いる。 0.78
Second, these scaling methods impose a sparsity constraint on the scaling parameters to push them infinitely close to zero, and then prune the structures corresponding to zero or near-zero out. 第二に、これらのスケーリング手法はスケーリングパラメータにスパース性制約を課し、ゼロに無限に近づき、ゼロあるいはほぼゼロのアウトに対応する構造を創り出す。 0.74
However, such pruning may degrade the performance. しかし、このような刈り取りは性能を低下させる可能性がある。 0.46
By contrast, our DNAL method forces the sparsity constraint on the scaled sigmoid function rather than the architecture parameters, driving them into the negative saturation zone, i.e., sigmoid(δs) = 0. 対照的に、我々のDNAL法は、アーキテクチャパラメータよりもスケールしたシグモイド関数の空間的制約を強制し、負飽和領域、すなわちシグモイド(δs) = 0に誘導する。 0.71
Removing the channels with sigmoid(δs) = 0 causes no accuracy loss due to the consistency of the binary expression with the pruned structure sigmoid(δs) = 0 によるチャネルの除去は,二進式とプルーン構造との一貫性により,精度の低下を生じない 0.81
© 2017 Powered by QingbeiGuo2Stochasti c SuperNetLightweight NetworkConventional NetworkOptimal Sub-networkfreezing parameterstrainable parametersArchitectu re optimizationsigmoid( δs)W(γ,β)sConvBN SS ReLUWeight optimizationW(γ,β)sConvBN SS ReLUWL= L0+ λw||W||2L= L0+λaΣΣΣsigmoid(δs)W(γ,β)sConvBN SS ReLU෡𝑊L= L0+ λw||෡𝑊||2disabling layersFinetuningthe learned modelOptimal Sub-networkOptimal Sub-network 2017 © QingbeiGuo2Stochasti c SuperNet Lightweight NetworkConventional NetworkOptimal Sub-networkfreezing parameterstrainable parametersArchitectu re optimizationsigmoid( δs)W(γ,β)sConvBN SS ReLUWeight optimizationW(γ,β)sConvBN SS ReLUWL= L0+ λw||W||2L= L0+λa sigmoid(δs)W(γ,β)sConvBN SS ReLU*WL= L0+ λw||||2disabling LayerFinetuningThe learned modelOptimal Sub-networkOptimal Sub-networkOptimal Sub-network 0.67
英語(論文から抽出)日本語訳スコア
MANUSCRIPT configuration. マニクリプト 設定。 0.55
V. EXPERIMENTS In this section, we empirically evaluate the proposed DNAL method on CIFAR-10 [37] and ImageNet-1K [38] for classification by using state-of-the-art CNN architectures, which include conventional CNNs (e g , VGG [2] and ResNet [3]), lightweight CNNs (e g , MobileNetV2 [35]) and stochastic supernets (e g , ProxylessNAS [36]). V.実験 本稿では,従来のCNN(例:VGG [2],ResNet [3]),軽量CNN(例:MobileNetV2 [35]),確率的スーパーネット(例:ProxylessNAS [36])を含む最新のCNNアーキテクチャを用いて,CIFAR-10 [37]およびImageNet-1K [38]上の提案されたDNAL法を実験的に評価する。 0.69
We use PyTorch [46] to implement the proposed DNAL method. 提案手法の実装にはPyTorch [46] を用いる。 0.61
A. Datasets CIFAR-10. A. Datasets CIFAR-10 0.77
CIFAR-10 is a popular dataset of tiny images with 10 classes, and contains 50,000 images for training and 10,000 images for testing. CIFAR-10は、10クラスの小さな画像の一般的なデータセットであり、トレーニング用の50,000画像とテスト用の10,000画像が含まれています。 0.59
ImageNet-1K. ImageNet-1K 0.64
ImageNet-1K is a subset of the ImageNet Large Scale Visual Recognition Challenge dataset. ImageNet-1KはImageNet Large Scale Visual Recognition Challengeデータセットのサブセットである。 0.85
It contains 1.2M training images and 50K validation images as testing images, and is categorized into 1000 classes. テストイメージとして1.2Mのトレーニングイメージと50Kの検証イメージが含まれており、1000のクラスに分類される。 0.63
B. Classification on CIFAR-10 We evaluate the recognition performance on CIFAR-10, comparing against several popular convolutional neural networks, such as VGG16, ResNet56 and MobileNetV2. B. CIFAR-10の分類 CIFAR-10 の認識性能を評価し,VGG16,ResNet56,Mobi leNetV2 などの一般的な畳み込みニューラルネットワークと比較した。 0.78
Implementation. We use a variation of VGG16, as in [47]. 実装。 私たちは[47]のようにvgg16のバリエーションを使います。 0.63
In the first weight optimization stage, the initial model is trained for 100 epochs, and the learning rate is fixed to 0.1. 第1重み最適化段階では、初期モデルは100エポックで訓練され、学習率は0.1に固定される。 0.79
In the architecture optimization stage, we learn the optimal neural architecture for 20 epochs with a constant learning rate 0.1. アーキテクチャ最適化の段階では、定常学習率0.1の20エポックの最適ニューラルネットワークアーキテクチャを学習する。 0.73
The scale factor δ grows from 1 to 104 exponentially. スケール因子δは指数関数的に1から104に成長する。 0.77
In the last finetuning stage, the learning rate schedule is 0.1 for the first 30 epochs, 0.01 until the 80th epoch, and 0.001 to the 130the epoch. 最後の微調整段階では、最初の30エポックの学習率スケジュールは0.1、80エポックまでの0.01、130エポックまでの0.001である。 0.69
The batch-size is set to be 128, weight decay 1e-4 and momentum 0.9. バッチサイズは128、重量減衰1e−4、運動量0.9である。 0.59
For ResNet56, we follow the same setting as VGG16, except for reducing the batch-size to 64. ResNet56の場合、バッチサイズを64に減らす場合を除き、VGG16と同じ設定に従います。 0.75
For MobileNetV2, the setting is different from VGG16. MobileNetV2では、設定はVGG16とは異なる。 0.82
The weight optimization stage lasts for 150 epochs. 重量最適化段階は150エポック持続する。 0.69
The learned neural network is finetuned for 180 epochs. 学習したニューラルネットワークは180エポックで微調整される。 0.68
The learning rate is divided by 10 after 30 and 105 epochs. 学習率を30時間後と105時間後に10分する。 0.70
The weight decay is 4e-5. VGG16. 重量は4e-5。 VGG16。 0.73
Tab. I shows the performance of different compression methods. Tab。 異なる圧縮方法のパフォーマンスを示します。 0.78
Compared with Variational-pruning, DNAL achieves better accuracy (93.53% vs. 93.18%) with similar compression and acceleration rates. DNALはVariational-pruningと比較して精度(93.53%対93.18%)が高く、同様の圧縮速度と加速速度を持つ。 0.54
Compared with GAL-0.1, DNAL provides larger reductions in FLOPs and Params, while achieving better accuracy (93.75% vs. 93.42%). GAL-0.1と比較すると、DNALはFLOPsとParamsを大幅に削減するが、精度は93.75%(93.42%)である。 0.51
Compared with HRank, DNAL is significantly better in all respects (61.23 vs. 73.70 in FLOPs, 0.60 vs. 1.78 in Params and 92.33% vs. 91.23% in top-1 accuracy). HRankと比較すると、DNALはあらゆる点で著しく優れている(FLOPでは61.23対73.70、パラムでは0.60対1.78、トップ1の精度では92.33%対91.23%)。
訳抜け防止モード: HRankと比較すると、DNALはFLOPsでは61.23対73.70である。 0.60 vs. 1.78 in Params and 92.33 % vs. 91.23 % in top-1 accuracy )。
0.64
In addition, we tried for a higher compression and acceleration rate of up to about 90× and 20×, respectively, for mirconet, achieving 89.27% top-1 accuracy and 99.51% top-5 accuracy. さらに,mirconetでは圧縮速度と加速速度を90×20×まで向上させ,89.27%のtop-1精度と99.51%のtop-5精度を得た。 0.74
It demonstrates the ability of our proposed DNAL to find a more efficient neural networks. これは、提案したDNALがより効率的なニューラルネットワークを見つける能力を示す。 0.66
ResNet56. We show the results for ResNet56 in Tab. ResNet56。 Tab における ResNet56 の結果を示す。 0.85
II. The proposed DNAL outperforms HRank in all respects (83.11 vs. 88.72 in FLOPs, 0.59 vs. 0.71 in Params and 93.75% vs. II。 提案するdnalは、すべての点でhrank (83.11 対 88.72)、params で 0.59 対 0.71 対 93.75% を上回っている。 0.61
6 COMPARISON OF DNAL APPLIED TO VGG16 WITH DIFFERENT METHODS 6 VG16に応用されたDNAと異なる方法の比較 0.67
Table I ON CIFAR-10. テーブルi CIFAR-10所属。 0.70
Model Baseline DNAL(λa=1e-5) DNAL(λa=5e-5) Variational-pruning [14] GAL-0.1 [47] DNAL(λa=1e-4) HRank [39] DNAL(λa=2e-4) DNAL(λa=3e-4) DNAL(λa=4e-4) DNAL(λa=5e-4) モデルベースライン DNAL(λa=1e-5) DNAL(λa=5e-5) 変異切断 [14] GAL-0.1 [47] DNAL(λa=1e-4) HRank [39] DNAL(λa=2e-4) DNAL(λa=3e-4) DNAL(λa=4e-4) DNAL(λa=5e-4) DNAL(λa=5e-4) DNAL(λa=5e-4) 0.45
FLOPs (M) 313.47(1.00×) 211.89(1.48×) 195.14(1.61×) 190(1.65×) 171.89(1.82×) 161.97(1.94×) 73.70(4.25×) 61.23(5.12×) 29.77(10.53×) 22.04(14.22×) 16.65(18.83×) FLOPs (M) 313.47(1.00×) 211.89(1.48×) 195.14(1.61×) 190(1.65×) 171.89(1.82×) 161.97(1.94×) 73.70(4.25×) 61.23(5.12×) 29.77(10.53×) 22.04(14.22×) 16.65(18.83×) 0.57
Params (M) 14.99(1.00×) 5.51(2.72×) 3.73(4.02×) 3.92(3.82×) 2.67(5.61×) 2.10(7.14×) 1.78(8.42×) 0.60(24.98×) 0.29(51.69×) 0.24(62.46×) 0.17(88.18×) Params (M) 14.99(1.00×) 5.51(2.72×) 3.73(4.02×) 3.92(3.82×) 2.67(5.61×) 2.10(7.14×) 1.78(8.42×) 0.60(24.98×) 0.29(51.69×) 0.24(62.46×) 0.17(88.18×) 0.55
Top-1 (%) 93.77 93.82 93.53 93.18 93.42 93.75 91.23 92.33 89.93 89.92 89.27 Top-1 (%) 93.77 93.82 93.53 93.18 93.42 93.75 91.23 92.33 89.93 89.92 89.27 0.47
Top-5 (%) 99.73 99.71 99.7799.7299.69 99.62 99.41 99.51 Top-5 (%) 99.73 99.71 99.7799.7299.69 99.62 99.41 99.51 0.45
COMPARISON OF DNAL APPLIED TO RESNET56 WITH DIFFERENT 異なるレジネット56に結合したDNALの比較 0.46
METHODS ON CIFAR-10. CIFAR-10の方法 0.71
Table II Model Baseline DNAL(λa=1e-5) HRank [39] DNAL(λa=5e-5) NISP [48] AMC [49] KSE(G=4) [50] KSE(G=5) [50] GAL-0.8 [47] DNAL(λa=1e-4) HRank [39] DNAL(λa=2e-4) DNAL(λa=3e-4) DNAL(λa=4e-4) DNAL(λa=5e-4) 表II モデルベースラインDNAL(λa=1e-5) HRank [39] DNAL(λa=5e-5) NISP [48] AMC [49] KSE(G=4) [50] KSE(G=5) [50] GAL-0.8 [47] DNAL(λa=2e-4) HRank [39] DNAL(λa=2e-4) DNAL(λa=4e-4) DNAL(λa=4e-4) DNAL(λa=5e-4) DNAL(λa=5e-4) 0.68
FLOPs (M) 125.49(1.00×) 93.94(1.34×) 88.72(1.41×) 83.11(1.51×) 81.00(1.55×) 62.7(2.00×) 60(2.09×) 50(2.51×) 49.99(2.51×) 36.94(3.40×) 32.52(3.86×) 8.63(14.54×) 3.44(36.48×) 2.38(52.73×) 1.68(74.70×) FLOPs (M) 125.49(1.00×) 93.94(1.34×) 88.72(1.41×) 83.11(1.51×) 81.00(1.55×) 62.7(2.00×) 60(2.09×) 50(2.51×) 49.99(2.51×) 36.94(3.40×) 32.52(3.86×) 8.63(14.54×) 3.44(36.48×) 2.38(52.73×) 1.68(74.70×) 0.56
Params (M) 0.85(1.00×) 0.66(1.29×) 0.71(1.20×) 0.59(1.44×) 0.49(1.73×)0.43(1.98×) 0.36(2.36×) 0.29(2.93×) 0.25(3.40×) 0.27(3.15×) 0.060(14.17×) 0.022(38.64×) 0.013(65.38×) 0.007(121.43×) Params (M) 0.85(1.00×) 0.66(1.29×) 0.71(1.20×) 0.59(1.44×) 0.49(1.73×)0.43(1.98×) 0.36(2.36×) 0.29(2.93×) 0.25(3.40×) 0.27(3.15×) 0.060(14.17×) 0.022(38.64×) 0.013(65.38×) 0.007(121.43×) 0.55
Top-1 (%) 94.15 93.76 93.52 93.75 93.01 91.9 93.23 92.88 91.58 93.20 90.72 89.31 85.83 84.07 83.48 Top-1 (%) 94.15 93.76 93.52 93.75 93.01 91.9 93.23 92.88 91.58 93.20 90.72 89.31 85.83 84.07 83.48 0.45
Top-5 (%) 99.91 99.9199.8799.8999.66 99.45 99.31 99.19 Top-5 (%) 99.91 99.9199.8799.8999.66 99.45 99.31 99.19 0.42
93.52% in top-1 accuracy). 93.52%の精度)。 0.77
With a similar model size and computation complexity, we achieve better accuracy than NISP (93.75% vs. 93.01%). 同様のモデルサイズと計算の複雑さにより、NISP(93.75%対93.01%)よりも精度が高い。 0.74
DNAL yields 1.3% higher top-1 accuracy and about 2× faster speedup than AMC, and also yields 0.32% and 1.62% higher top-1 accuracy than KSE and GAL-0.8 with a smaller model size and faster speedup, respectively. DNALはAMCよりも1.3%高いトップ1精度と約2倍速いスピードアップを示し、また、それぞれモデルサイズが小さく、速度が速いKSEとGAL-0.8よりも0.32%、1.62%高いトップ1精度が得られる。 0.67
To explore more efficient neural models, we further compress the neural network, up to more than 70× for model size and more than 120× for computation complexity, achieving 83.48% and 99.19% in top-1 and top-5 accuracy, respectively. より効率的なニューラルモデルを探るために、モデルサイズは70×、計算複雑性は120×まで、それぞれ83.48%、top-1とtop-5は99.19%の精度でニューラルネットワークを圧縮する。 0.76
MobileNetV2. MobileNetV2。 0.84
The results for MobileNetV2 are shown in Tab. MobileNetV2の結果はタブに表示されます。 0.81
III. Since the network is already very computationally efficient, it is interesting to see whether it can be compressed further. III。 ネットワークは既に計算効率が非常に高いため、さらに圧縮できるかどうかを確認することは興味深い。 0.78
Compared with FLGC, DNAL again demonstrates its outstanding ability to find efficient neural networks. flgcと比較すると、dnalは効率的なニューラルネットワークを見つけるための優れた能力を示す。 0.54
When the acceleration rate is less than 2×, our DNAL achieves the best top-1 accuracy (94.30%), close to the baseline. 加速速度が2×未満の場合、DNALはベースラインに近い最高のトップ1精度(94.30%)を達成します。 0.72
When the acceleration rate exceeds 2×, our DNAL achieves 94.01% top-1 accuracy, which is still better than FLGC. 加速速度が2倍を超えると、我々のdnalは94.01%のtop-1精度を達成し、flgcよりも優れている。 0.53
Although it is much harder to further compress the lightweight model, DNAL still manages to obtain 87.85% top-1 accuracy and 99.62% top-5 accuracy with an acceleration rate of about 20× and compression rate of roughly 30×. 軽量モデルのさらなる圧縮は難しいが、dnalは87.85%のtop-1精度と99.62%のtop-5精度を約20倍の加速速度と約30倍の圧縮速度で得ることができる。 0.67
C. Classification on ImageNet-1K We further conduct the experiments for several popular CNNs, i.e., VGG16, ResNet50, MobileNetV2 and Proxyless- C. ImageNet-1Kの分類 VGG16, ResNet50, MobileNetV2, Proxylessといった人気CNNの実験をさらに実施する。 0.78
英語(論文から抽出)日本語訳スコア
MANUSCRIPT 7 COMPARISON DNAL APPLIED TO MOBILENETV2 WITH DIFFERENT マニクリプト 7 異なるモビルネット2に応用した比較DNA 0.62
COMPARISON OF DNAL APPLIED TO VGG16 WITH DIFFERENT METHODS VG16に応用されたDNAと異なる方法の比較 0.49
Table IV ON IMAGENET. 表IV imagenetで。 0.64
Table III METHODS ON CIFAR-10. 表III CIFAR-10の方法 0.73
Model Baseline FLGC(G=2) [42] FLGC(G=3) [42] DNAL(λa=1e-5) DNAL(λa=5e-5) FLGC(G=4) [42] FLGC(G=5) [42] FLGC(G=6) [42] FLGC(G=7) [42] FLGC(G=8) [42] DNAL(λa=1e-4) DNAL(λa=2e-4) DNAL(λa=3e-4) DNAL(λa=4e-4) DNAL(λa=5e-4) モデルベースラインFLGC(G=2) [42] FLGC(G=3) [42] DNAL(λa=5e-5) DNAL(λa=5e-5) [42] FLGC(G=5) [42] FLGC(G=6) [42] FLGC(G=7) [42] FLGC(G=8) [42] DNAL(λa=1e-4) DNAL(λa=2e-4) DNAL(λa=3e-4) DNAL(λa=4e-4) DNAL(λa=5e-4) DNAL(λa=5e-4) 0.66
FLOPs (M) 91.17(1.00×) 79(1.15×) 61(1.49×) 59.47(1.53×) 54.98(1.66×) 51.5(1.77×) 46(1.98×) 42.5(2.15×) 40(2.28×) 38(2.40×) 36.63(2.49×) 13.35(6.83×) 7.81(11.67×) 5.40(16.88×) 4.50(20.26×) FLOPs (M) 91.17(1.00×) 79(1.15×) 61(1.49×) 59.47(1.53×) 54.98(1.66×) 51.5(1.77×) 46(1.98×) 42.5(2.15×) 40(2.28×) 38(2.40×) 36.63(2.49×) 13.35(6.83×) 7.81(11.67×) 5.40(16.88×) 4.50(20.26×) 0.59
Params (M) 2.30(1.00×) 1.18(1.95×) 0.85(2.71×) 1.43(1.61×) 1.20(1.92×) 0.68(3.38×) 0.58(3.97×) 0.51(4.51×) 0.46(5.00×) 0.43(5.35×) 0.65(3.54×) 0.20(11.50×) 0.12(19.17×) 0.096(23.96×) 0.081(28.40×) Params (M) 2.30(1.00×) 1.18(1.95×) 0.85(2.71×) 1.43(1.61×) 1.20(1.92×) 0.68(3.38×) 0.58(3.97×) 0.51(4.51×) 0.46(5.00×) 0.43(5.35×) 0.65(3.54×) 0.20(11.50×) 0.12(19.17×) 0.096(23.96×) 0.081(28.40×) 0.55
Top-1 (%) 94.31 94.11 94.20 94.17 94.30 94.16 93.88 93.67 93.66 93.09 94.01 91.96 90.65 88.83 87.85 Top-1 (%) 94.31 94.11 94.20 94.17 94.30 94.16 93.88 93.67 93.66 93.09 94.01 91.96 90.65 88.83 87.85 0.45
Top-5 (%) 99.9099.89 99.8699.89 99.91 99.82 99.76 99.62 Top-5 (%) 99.9099.89 99.8699.89 99.91 99.82 99.76 99.62 0.45
Model Baseline GDP [51] GDP [51] ThiNet [40] DNAL(λa=1e-4) SSR-L2,1 [21] SSR-L2,0 [21] GDP [51] SSS [12] ThiNet [40] モデルベースラインGDP [51] GDP [51] ThiNet [40] DNAL (λa=1e-4) SSR-L2,1 [21] SSR-L2,0 [21] GDP [51] SSS [12] ThiNet [40] 0.83
FLOPs (G) 15.47(1.00×) 7.5(2.06×) 6.4(2.42×) 4.79(3.23×) 4.69(3.30×) 4.5(3.44×) 4.5(3.44×) 3.8(4.07×) 3.8(4.07×) 3.46(4.47×) FLOPs (G) 15.47(1.00×) 7.5(2.06×) 6.4(2.42×) 4.79(3.23×) 4.69(3.30×) 4.5(3.44×) 4.5(3.44×) 3.8(4.07×) 3.8(4.07×) 3.46(4.47×) 0.56
Params (M) 138.37(1.00×)131.44(1.05×) 77.05(1.80×) 126.7(1.09×) 126.2(1.10×)130.5(1.06×) 130.50(1.06×) m) 138.37(1.00×)131.44(1.05×) 77.05(1.80×) 126.7(1.09×) 126.2(1.10×)130.5(1.06×) 130.50(1.06×) 0.58
Top-1 (%) 76.13 69.88 68.80 69.74 69.80 69.80 69.99 67.51 68.53 69.11 Top-1 (%) 76.13 69.88 68.80 69.74 69.80 69.80 69.99 67.51 68.53 69.11 0.48
Top-5 (%) 92.86 89.16 88.77 89.41 89.42 89.53 89.42 87.95 88.20 88.86 Top-5 (%) 92.86 89.16 88.77 89.41 89.42 89.53 89.42 87.95 88.20 88.86 0.48
Search Cost (Epochs) 90 90+30+20 90+30+20 196+48 30+10+7090+30+20 100 196+48 9090+30+2090+30+20196+4830+10+7090+30+20100196+48 0.53
COMPARISON OF DNAL APPLIED TO RESNET50 WITH DIFFERENT 異なるレゾネット50に応用したDNALの比較 0.48
METHODS ON IMAGENET. イメージネットの方法。 0.55
Table V NAS, to evaluate the recognition performance on the large-scale ImageNet-1K. 表 V NASは、大規模なImageNet-1Kの認識性能を評価する。 0.74
Implementation. Both VGG16 and ResNet50 are initially trained for 30 epochs with a fixed learning rate 0.1. 実装。 VGG16とResNet50は、最初は30エポックで訓練され、学習率は0.1である。 0.60
Then, we optimize the architecture parameters for 10 epochs with a constant learning rate 0.01. 次に,一定の学習率0.01で10エポックのアーキテクチャパラメータを最適化する。 0.78
The optimal neural architectures are learned by the scaled sigmoid function method with the exponential scale factor δ ranging from 1 to 104. 最適な神経アーキテクチャは、1から104までの指数スケール係数δを持つスケールドシグモイド関数法によって学習される。 0.81
The architecture learning process is the same for other models, i.e., MobileNetV2 and ProxylessNAS. アーキテクチャ学習プロセスは、MobileNetV2 や ProxylessNAS といった他のモデルと同じである。 0.80
Finally, the derived neural networks are finetuned for 70 epochs. 最後に、派生したニューラルネットワークは70エポックで微調整される。 0.60
We use SGD with a mini-batch size of 256, a weight decay of 0.0001 and a momentum of 0.9. ミニバッチサイズ256のSGDと0.0001の重量崩壊と0.9の運動量を用いる。 0.75
The learning rate is divided by 10 at 10 and 40 epochs. 学習率は10エポックと40エポックで10に分割されます。 0.73
We train MobileNetV2 from scratch for 80 epochs. MobileNetV2をゼロから80エポックでトレーニングします。 0.60
The learning rate starts from 0.1, and is tuned with a cosine decaying schedule. 学習率は0.1から始まり、コサイン減衰スケジュールで調整される。 0.70
The derived neural networks are finetuned for 90 epochs. 導出したニューラルネットワークは90エポックで微調整される。 0.63
The weight decay is set to 4e-5. 重量減衰を4e−5とする。 0.66
The other hyper-parameters are the same for both VGG16 and ResNet50. 他のハイパーパラメータはVGG16とResNet50で同じである。 0.74
We remove the dropout from the last classifier layer of MobileNetV2. MobileNetV2の最後の分類層からドロップアウトを削除します。 0.80
We use the same search space as ProxylessNAS but without the zero operation. ProxylessNASと同じ検索スペースを使用しますが、ゼロ操作は不要です。 0.80
We train the stochastic supernet for 100 epochs from scratch. 我々は、確率的スーパーネットをスクラッチから100エポックまでトレーニングする。 0.49
The learning rate is set to 0.05 initially, and is tuned with the same decaying schedule as used for MobileNetV2. 学習率は当初0.05に設定されており、MobileNetV2と同じ減衰スケジュールで調整されています。 0.74
We finetune the derived neural networks for 110 epochs by SGD with a mini-batch size of 96. 我々は,sgdによる110エポックのニューラルネットワークを,ミニバッチサイズ96で細粒化する。 0.69
The other hyper-parameters are the same to MobileNetV2. 他のハイパーパラメータはMobileNetV2と同じです。 0.77
VGG16. Tab. VGG16。 Tab。 0.82
IV shows the performance of different methods. IVは、異なるメソッドのパフォーマンスを示す。 0.77
Compared with GDP, our DNAL method achieves a faster acceleration rate (3.23× vs. 2.42×) and 1% higher top-1 accuracy (69.80% vs. 68.80%). GDPと比較すると,DNAL法は加速速度(3.23× vs. 2.42×)が速く,トップ1の精度(69.80% vs. 68.80%)は1%高い。 0.64
Compared with both ThiNet and SSR, DNAL provides significantly better parameter reduction (77.05 vs. 131.44 and 77.05 vs. 126.7), while maintaining a comparable performance in top-1 accuracy. ThiNetとSSRの両方と比較して、DNALはパラメータ低減(77.05 vs. 131.44および77.05 vs. 126.7)を有意に改善する一方で、トップ1の精度で同等の性能を維持している。
訳抜け防止モード: ThiNet と SSR と比較して、DNAL はパラメータ削減を著しく改善する(77.05 対 131.44 対 77.05 対 126.7 )。 トップ1の精度で同等のパフォーマンスを維持しながら。
0.66
ResNet50. For ResNet50, we summarize the performance comparison with various methods in Tab. ResNet50。 ResNet50について、Tabの様々なメソッドのパフォーマンス比較を要約する。 0.79
V. We observe that DNAL outperforms SSR by a significant margin in all respects. V. DNALはすべての点でSSRより優れていることが観察された。 0.58
Similarly, DNAL achieves better performance than both GDP and GAL. 同様に、DNALはGDPとGALの両方よりも優れたパフォーマンスを達成する。 0.54
Compared with ThiNet-50, DNAL achieves 1.62% higher top-1 accuracy with similar FLOPs and parameter reductions (1.75 vs. 1.71 in FLOPs and 12.75 vs. 12.38 in ThiNet-50と比較して、DNALは類似のFLOPで1.62%高いトップ-1精度を達成し、パラメータ低減(1.75対1.71 in FLOP)と12.75対12.38 in 0.59
Model Baseline DNAL(λa=5e-5) SSR-L2,1 [21] SSR-L2,0 [21] GDP [51] GAL-0.5-joint [47] ABCPruner [52] DNAL(λa=6e-5) ThiNet-50 [40] SSR-L2,1 [21] SSR-L2,0 [21] GAL-1 [47] GDP [51] HRank [39] DNAL(λa=7e-5) ABCPruner [52] GAL-1-joint [47] ThiNet-30 [40] HRank [39] ABCPruner [52] DNAL(λa=1e-4) モデルベースラインDNAL(λa=5e-5) SSR-L2,1 [21] SSR-L2,0 [21] GDP [51] GAL-0.5-joint [47] ABCPruner [52] DNAL(λa=6e-5) ThiNet-50 [40] SSR-L2,1 [21] SSR-L2,0 [21] GAL-1 [47] GDP [51] HRank [39] DNAL(λa=7e-5) ABCPruner [52] GAL-1-joint [47] ThiNet-30 [40] ABCPruner [52] DNAL(λa=1-4) 0.70
FLOPs (G) 4.09(1.00×) 2.07(1.98×) 1.9(2.15×) 1.9(2.15×) 1.88(2.18×) 1.84(2.22×) 1.79(2.28×) 1.75(2.34×) 1.71(2.39×) 1.7(2.41×) 1.7(2.41×) 1.58(2.59×) 1.57(2.61×) 1.55(2.64×) 1.44(2.84×) 1.30(3.15×) 1.11(3.68×) 1.10(3.72×) 0.98(4.17×) 0.94(4.35×) 0.88(4.65×) FLOPs (G) 4.09(1.00×) 2.07(1.98×) 1.9(2.15×) 1.9(2.15×) 1.88(2.18×) 1.84(2.22×) 1.79(2.28×) 1.75(2.34×) 1.71(2.39×) 1.7(2.41×) 1.7(2.41×) 1.58(2.59×) 1.57(2.61×) 1.55(2.64×) 1.44(2.84×) 1.30(3.15×) 1.11(3.68×) 1.10(3.72×) 0.98(4.17×) 0.94(4.35×) 0.88(4.65×) 0.54
Params (M) 25.55(1.00×) 15.34(1.67×) 15.9(1.61×) 15.5(1.65×)19.31(1.32×) 11.24(2.27×) 12.75(2.00×) 12.38(2.06×) 12.2(2.09×) 12.0(2.13×) 14.67(1.74×)13.77(1.86×) 10.94(2.34×)10.21(2.50×) 8.66(2.95×) 8.27(3.09×)7.18(3.56×) Params (M) 25.55(1.00×) 15.34(1.67×) 15.9(1.61×) 15.5(1.65×)19.31(1.32×) 11.24(2.27×) 12.75(2.00×) 12.38(2.06×) 12.2(2.09×) 12.0(2.13×) 14.67(1.74×)13.77(1.86×) 10.94(2.34×)10.21(2.50×) 8.66(2.95×) 8.27(3.09×)7.18(3.56×) 0.54
Top-1 (%) 75.19 74.07 72.13 72.29 71.89 71.80 73.52 73.65 72.03 71.15 71.47 69.88 70.93 71.98 72.86 72.58 69.31 68.17 69.10 70.29 70.17 Top-1 (%) 75.19 74.07 72.13 72.29 71.89 71.80 73.52 73.65 72.03 71.15 71.47 69.88 70.93 71.98 72.86 72.58 69.31 68.17 69.10 70.29 70.17 0.44
Top-5 (%) 92.56 92.02 90.57 90.73 90.71 90.82 91.51 91.74 90.99 90.29 90.19 89.75 90.14 91.01 91.3489.12 88.86 89.5889.78 Top-5 (%) 92.56 92.02 90.57 90.73 90.71 90.82 91.51 91.74 90.99 90.29 90.19 89.75 90.14 91.01 91.3489.12 88.86 89.5889.78 0.42
Search Cost (Epochs) 90 30+10+7090+30+20 90+60 12+90 30+10+70 196+4890+60 90+30+2030+10+70 12+90 90+60 196+4812+90 30+10+70 90 30+10+7090+30+2090+60 12+90 30+10+70 196+4890+60 90+2030+10+70 12+90 90+60 196+4812+90 30+10+70 0.38
Params). Similar observations can be found when comparing with HRank. パラメータ)。 同様の観測はHRankとの比較でも見られる。 0.68
DNAL yields 0.88% and 1.07% higher top-1 accuracy than HRank, respectively, while maintaining lower computation complexity. DNALはそれぞれHRankよりも0.88%と1.07%高く、計算の複雑さを低く保ちます。 0.69
Compared with ABCPruner, DNAL is a slightly better in accuracy (73.65% vs. 73.52%) with fewer FLOPs (1.75 vs. 1.79). ABCPrunerと比較すると、DNALは精度が73.65%対73.52%でFLOPが少ない(1.75対1.79)。 0.76
MobileNetV2. MobileNetV2。 0.84
To further demonstrate the effectiveness of our DNAL method, we also test it on modern efficient neural networks, i.e., MobileNetV2. さらにDNAL法の有効性を実証するため,現代のニューラルネットワーク,すなわちMobileNetV2上でも検証を行った。 0.72
The results are presented in Tab. 結果はタブで表示されます。 0.74
VI. Here we compare DNAL with the state-of-theart autoML model compression method, i.e. VI。 ここではDNALを最先端のAutoMLモデル圧縮法と比較する。 0.71
AMC. DNAL outperforms AMC by more than 0.2% with approximate FLOPs (217.24 vs. 211), and even beats it by 0.11% at smaller computation complexity (207.25 vs. 211). AMC。 DNALは、近似FLOP(217.24対211)でAMCを0.2%以上上回り、より小さな計算複雑性(207.25対211)で0.11%も上回る。 0.78
Its ability to compress the lightweight neural networks further is surprising. 軽量ニューラルネットワークをさらに圧縮する能力は驚くべきことです。 0.79
ProxylessNAS. ProxylessNAS。 0.80
We show the compression performance of different NAS methods in Tab. Tab で異なる NAS メソッドの圧縮性能を示します。 0.75
VII. These searched models are divided into three categories according to the underlying NAS methods used. VII。 これらの探索モデルは、基礎となるNAS法に従って3つのカテゴリに分けられる。 0.70
Our DNAL achieves 75.0% top-1 and 92.5% top5 accuracy on ImageNet with only 3.6M parameters, which is a new state-of-the-art accuracy among different NAS methods. 当社のDNALは、ImageNetの75.0%のtop-1と92.5%のtop5精度をわずか3.6Mパラメータで達成しています。 0.65
Compared with the EA-based NAS methods, DNAL is more than 2% and about 1% higher than CARS in top-1 and top-5 accuracy, respectively, with slightly fewer parameters. EAに基づくNAS法と比較して、DNALは、それぞれ上位1のCARSよりも2%以上、上位5の精度は1%高く、パラメータはわずかに少ない。 0.62
It even それも 0.72
英語(論文から抽出)日本語訳スコア
MANUSCRIPT 8 COMPARISON OF DNAL APPLIED TO MOBILENETV2 WITH DIFFERENT マニクリプト 8 異種を有するMobilenetV2に作用するDNALの比較 0.60
Table VI METHODS ON IMAGENET. 表 VI イメージネットの方法。 0.68
Model Baseline DNAL(λa=6e-5) AMC [49] DNAL(λa=7e-5) モデルベースラインDNAL(λa=6e-5) AMC[49] DNAL(λa=7e-5) 0.60
FLOPs (M) 300.79(1.00×) 217.24(1.38×) 211(1.43×) 207.25(1.45×) FLOPs (M) 300.79(1.00×) 217.24(1.38×) 211(1.43×) 207.25(1.45×) 0.63
Params (M) 3.50(1.00×) 2.87(1.22×)2.78(1.26×) params (m) 3.50(1.00×) 2.87(1.22×)2.78(1.26×) 0.60
Top-1 (%) 71.52 71.02 70.8 70.91 Top-1 (%) 71.52 71.02 70.8 70.91 0.56
Top-5 (%) 90.15 89.9689.79 Top-5 (%) 90.15 89.9689.79 0.55
Search Cost (Epochs) 120 80+10+9080+10+90 検索コスト(Epochs)12080+10+9080+10+90 0.55
COMPARISON OF DNAL APPLIED TO PROXYLESSNAS WITH DIFFERENT METHODS ON IMAGENET. 画像上の異なる方法によるプロキセサナに応用したDNAの比較 0.57
HERE, EA AND RL ARE THE ABBREVIATION FOR ここ、EA と RL の略です。 0.51
EVOLUTIONARY ALGORITHM AND REINFORCEMENT LEARNING, 進化的アルゴリズムと強化学習、 0.57
Table VII RESPECTIVELY. Top-5 (%) 92.5 92.5 92.5 91.6 91.6 91.3 91.091.3 92.5- 第7表 参照。 Top-5 (%) 92.5 92.5 92.5 91.6 91.6 91.3 91.091.3 92.5- 0.51
Top-1 (%) 75.7 75.0 75.2 72.8 74.0 72.8 72.5 74.8 73.0 73.3 75.1 73.0 74.1 74.9 Top-1 (%) 75.7 75.0 75.2 72.8 74.0 72.8 72.5 74.8 73.0 73.3 75.1 73.0 74.1 74.9 0.46
Params (M) 16.0 3.6 5.1 3.7 5.3 5.3 4.9 4.4 3.6 4.7 7.1 4.3 4.5 5.5 Params (M) 16.0 3.6 5.1 3.7 5.3 5.3 4.9 4.4 3.6 4.7 7.1 4.3 4.5 5.5 0.48
Search methodgradient EA EA RL RL RL RL RL gradient gradient gradient gradient gradient EA EA RL RL RL RL 勾配勾配勾配勾配勾配の探索法 0.65
Search Cost Model (Epochs) Baseline 150 DNAL(λa=6e-5) 100+10+110 CARS-I [19]CARS-A [19]NASNet-A [34]NASNet-B [34]NASNet-C [34] MnasNet-92 [53]MnasNet-65 [53] 6001+250 DARTS [32] ProxylessNAS [36] 200+150 90+360 FBNet-A [20] FBNet-B [20] 90+360 90+360 FBNet-C [20] approximate to the CARS-I model in accuracy with about 1.5× fewer parameters. 検索コストモデル(Epochs)ベースライン150 DNAL(λa=6e-5) 100+10+110 CARS-I [19]CARS-A [19]NASNet-A [34]NASNet-B [34]NASNet-C [34]MnasNet-92 [53]6001+250 DARTS [32] ProxylessNAS [36] 200+150 90+360 FBNet-A [20] FBNet-B [20] 90+360 90+360 FBNet-C [20] CARS-Iモデルに約1.5×少ないパラメータで近似する。 0.77
Compared to the based-RL NAS methods, DNAL model attains a significantly better performance than both NASNet and MnasNet, while requiring fewer parameters. ベースRLのNAS法と比較して、DNALモデルはNASNetとMnasNetの両方よりも大幅に性能が良く、パラメータは少ない。 0.74
Our DNAL also surpasses DARTS by 1.7% and 1.2% in top1 and top-5 accuracy, respectively, with significantly fewer parameters, and achieves almost the same top-1 accuracy as ProxylessNAS, but with 2× fewer parameters. 我々のDNALは、それぞれ1.7%、トップ5の精度でDARTSを1.2%上回り、パラメータは著しく少なく、ProxylessNASとほぼ同じトップ1の精度で、2倍のパラメータで達成している。 0.67
And it achieves higher accuracy and fewer parameters than FBNet. また、FBNetよりも精度が高く、パラメータも少ない。 0.69
Therefore, it fully demonstrates that our DNAL owns a stronger representability than those state-of-the-art NAS methods. したがって、我々のDNALは最先端のNAS法よりも強い表現性を持っていることが完全に証明されている。 0.41
Efficiency. In this part, we further analyze the efficiency of the proposed DNAL method. 効率性。 本研究では,提案するDNAL法の効率を解析する。 0.68
To demonstrate its efficiency, we choose the number of training epochs, which is hardwareindependent, as a metric of learning efficiency, for fair comparison. その効率性を示すために、ハードウェアに依存しないトレーニング期間の数を、公平な比較のために学習効率の指標として選択する。
訳抜け防止モード: 効率を示すためです 訓練期間の数を選べば 公平な比較のために 学習効率の指標として ハードウェアに依存していません
0.81
The experimental results are reported in Tab. 実験結果はtabで報告されている。 0.72
IV, V, VI and VII. IV、V、VI、VII。 0.67
We easily observe that DNAL typically features high efficiency. DNALは一般的に高効率である。 0.57
For both VGG16 and ResNet50, to reach optimality, DNAL requires the minimum number of training iterations, with the exception of ABCPruner. VGG16とResNet50の両方が最適に達するためには、ABCPrunerを除いて、DNALは最小限のトレーニング反復数を必要とする。 0.63
DNAL is more than 2.2× more efficient than ThiNet. DNALはThiNetより2.2倍効率が高い。 0.74
For the other two neural networks, i.e., MobileNetV2 and ProxylessNAS, our gradient-based DNAL method is empirically more efficient than the NAS methods based on reinforcement learning (e g , AMC) and evolutionary optimisation algorithm (e g , CARS), which in any case are much expensive in terms of the search cost due to the evaluation of lots of candidate neural architectures. 他の2つのニューラルネットワーク、すなわちMobileNetV2とProxylessNASでは、私たちの勾配ベースのDNAL法は強化学習(例:AMC)と進化最適化アルゴリズム(例:CARS)に基づくNAS法よりも経験的に効率的である。
訳抜け防止モード: 他の2つのニューラルネットワーク、すなわちMobileNetV2とProxylessNASの場合。 私たちのグラデーションベースのDNAL法は、強化学習(例えば、)に基づくNAS法よりも経験的に効率的です。 AMC)および進化最適化アルゴリズム(例えば、CARS)。 いずれにせよ、候補となるニューラルネットワークの評価のために検索コストの面では、はるかに高価です。
0.68
Among the gradientbased NAS methods, DNAL is still superior in efficiency. 勾配に基づくNAS法のうち、DNALは依然として効率が優れている。 0.49
The 1the number of searching epochs is related to the proxy task, i.e., searching for convolutional cells on CIFAR-10. 1検索エポックの数はプロキシタスク、すなわちCIFAR-10上の畳み込みセルの探索に関連している。 0.67
(a) (b) Figure 3. (a) (b) 図3。 0.81
Architecture binarization results with different scale factors (%). アーキテクチャのバイナライゼーションは、異なるスケールファクタ(%)で結果します。 0.56
(a) VGG16 on CIFAR-10. (a) CIFAR-10のVGG16。 0.76
(b) MobileNetV2 on CIFAR-10. (b) CIFAR-10のMobileNetV2。 0.72
cost of searching for the optimal neural architectures of our DNAL method is particularly low, i.e., 20 epochs for CIFAR10 and 10 epochs for ImageNet. DNAL法で最適な神経アーキテクチャを探すコストは特に低く、CIFAR10では20エポック、ImageNetでは10エポックである。 0.59
We argue that the DNAL’s high efficiency derives from its differentiability of the objective function thanks to the scaled sigmoid method. 我々は、DNALの高効率は、スケールドシグモイド法による客観的関数の微分性に由来すると主張している。 0.73
VI. ABLATION STUDY VI。 ABLATION 研究 0.78
In this section, we report the results of an ablation study set up to investigate the impact of different factors on both VGG16 and MobileNetV2 using the classification task of CIFAR-10 as a vehicle. 本稿では,車種としてCIFAR-10の分類タスクを用いて,VGG16とMobileNetV2に異なる要因が与える影響を調査するためのアブレーション研究の結果を報告する。 0.89
Effect of the scale factor δ. スケール因子δの効果。 0.64
As the scale factor increases, the scaled sigmoid function has a larger saturation zone, which helps to binarize the neural architectures. スケール係数が増加するにつれて、スケールされたsgmoid関数は飽和ゾーンが大きくなり、ニューラルネットワークアーキテクチャのバイナリ化に役立ちます。 0.68
Fig 3 shows the distribution of the scaled sigmoid activations obtained with different scale factors. 図3は、異なるスケール因子で得られたスケールしたシグモイドの活性化の分布を示す。 0.74
We initialize the scale factor to δ = 1 and the architecture parameter to s = 0 at the beginning of the architecture optimization step, i.e., sigmoid(δs) = 0.5. スケールファクタを δ = 1 に初期化し、アーキテクチャパラメータを s = 0 に初期化します。
訳抜け防止モード: スケール係数をδ = 1 に初期化し、アーキテクチャ最適化ステップの開始時に s = 0 にアーキテクチャパラメータを初期化する。 すなわち、シグモノイド(δs ) = 0.5 である。
0.77
We can see that the many scaled sigmoid activations are induced to zero under the influence of the scaled sigmoid regularization as the scale factor increases. スケール係数が増加すると,スケールドシグモイドの正則化の影響で多数のスケールドシグモイド活性化がゼロに誘導されることが明らかとなった。 0.73
When δ = 104, all the channels are binarized. δ = 104 の場合、すべてのチャネルがバイナライズされる。 0.77
The number of channels with sigmoid(δs) = 1 defines the efficiency of the resulting neural networks. sigmoid(δs) = 1 のチャネル数は、得られたニューラルネットワークの効率を定義します。 0.80
Effect of the order of SS layer. SS層の順序の影響。 0.59
We explore the effect of different placement of the SS layer in conjunction with three network configurations, i.e., Conv-SS-BN-ReLU, Conv-BN-SSReLU and Conv-BN-ReLU-SS configurations. 3つのネットワーク構成、すなわち、Conv-SS-BN-ReLU、Conv-BN-SSReLU、Conv-BN-ReLU-SS構成との組み合わせでSS層の異なる配置の効果を検討する。 0.59
Fig 4 shows the test accuracy achieved with different network configurations. 図4は、異なるネットワーク構成で達成されたテスト精度を示している。 0.68
We observe that both the Conv-BN-SS-ReLU and ConvBN-ReLU-SS configurations are close in the recognition performance, which is significantly better than Conv-SS-BNReLU. 本研究では, Conv-BN-SS-ReLU と ConvBN-ReLU-SS の両構成が, 認識性能に優れており, Conv-SS-BNReLU よりもかなり優れていることを示す。 0.56
In the weight optimization stage, these three networks are identical because the SS layer is disabled. 重量最適化段階では、SS層が無効であるため、これら3つのネットワークは同じです。 0.67
Thus, their behaviours are also consistent. したがって、彼らの行動も一貫している。 0.46
In the architecture optimization stage, their network configurations become different due to the enabling SS layers. アーキテクチャ最適化の段階では、SS層を有効にするため、ネットワーク構成が異なる。 0.77
For both the Conv-BN-SS-ReLU and Conv-BN-ReLU-SS configurations, the optimized architectures improve the accuracy at the beginning of the architecture optimization. Conv-BN-SS-ReLU構成とConv-BN-ReLU-SS構成の両方において、最適化されたアーキテクチャはアーキテクチャ最適化の開始時の精度を向上させる。 0.53
However, as the number of pruned channels increases, their performance gradually degrades. しかし、刈り取られたチャンネルの数が増えるにつれて、その性能は徐々に低下する。 0.62
By contrast, the Conv-SS-BN-ReLU’s performance reduces dramatically. 対照的に、Conv-SS-BN-ReLUの性能は劇的に低下します。 0.50
After finetuning, all exhibit improved performance, but both the Conv-BN-SS-ReLU and Conv-BN-ReLU-SS configurations are significantly better than Conv-SS-BN-ReLU. 微調整後、性能は改善されたが、Conv-BN-SS-ReLUおよびConv-BN-ReLU-SS構成はConv-SS-ReLUよりも有意に優れている。 0.49
00.10.20.30.40.50.60 .70.80.91010002000 = 1.5800.10.20.30.40.5 0.60.70.80.910100200 = 10.0000.10.20.30.40. 50.60.70.80.91050010 00 = 25.1200.10.20.30.40. 50.60.70.80.91sigmoi d(s)020004000the number of channels (n) = 10400.10.20.30.40.50 .60.70.80.9102000400 0 = 1.5800.10.20.30.40.5 0.60.70.80.910100020 00 = 10.0000.10.20.30.40. 50.60.70.80.91010002 000 = 25.1200.10.20.30.40. 50.60.70.80.91sigmoi d(s)0500010000the number of channels (n) = 104 00.10.20.30.30.50.60 .70.80.91010002000 = 1.5800.10.20.30.40.5 0.60.70.80.910100200 = 10.0000.10.20.30.40. 50.60.70.80.91050010 00 = 25.1200.10.20.30.30. 30.60.60.70.80.91sig moid(s)020004000 チャネル数 (n) = 10400.10.30.30.50.60 .70.80.9102000400040 00 = 1.5800.10.30.50.50.6 0.70.80.91010002000 = 10.0000.10.30.30.30. 30.50.50.60.60.70.70 .70.70.70.70.90.90.9 0.70.70.90.70.70.70. 70.70.70.70.70.70.70 .70.70.70.70.70シグロイド(n) 0.19
英語(論文から抽出)日本語訳スコア
MANUSCRIPT 9 (a) マニクリプト 9 (a) 0.73
(b) Figure 4. Classification accuracy with different configurations (%). (b) 図4。 異なる構成(%)の分類精度。 0.77
(a) VGG16 on CIFAR-10. (a) CIFAR-10のVGG16。 0.76
(b) MobileNetV2 on CIFAR-10. (b) CIFAR-10のMobileNetV2。 0.72
(a) (b) Figure 5. (a) (b) 図5。 0.82
Classification accuracy with different optimization strategies but with but similar efficiency (%). 最適化戦略が異なるが、類似の効率(%)を持つ分類精度。 0.82
(a) VGG16 on CIFAR-10. (a) CIFAR-10のVGG16。 0.76
(b) MobileNetV2 on CIFAR-10. (b) CIFAR-10のMobileNetV2。 0.72
As we can see, setting the SS layer behind the BN layer helps to improve the recognition accuracy. ご覧のとおり、BNレイヤーの後ろにSSレイヤーを設定すると、認識精度が向上します。 0.65
We argue that the BN layer normalizes the distribution of feature maps for each layer, which enables the SS layer to operate under the same distribution of feature maps. BN層は各層に対する特徴写像の分布を正規化し,SS層が同じ特徴写像の分布の下で動作できるようにする。 0.74
Effect of the joint optimization. In this paper, we optimize the weights and architecture parameters in a sequential manner. 共同最適化の効果。 本稿では,重みと構造パラメータを逐次的に最適化する。 0.68
However, they can be optimized jointly. しかし、これらは共同で最適化できます。 0.62
We compare these two optimization strategies in Fig 5. この2つの最適化戦略を図5で比較する。 0.73
For a fair comparison, the searched models are similar in the computational efficiency. 公正な比較として、探索されたモデルは計算効率に類似している。 0.75
At the beginning of the network optimization, the joint strategy has a faster convergence, and exhibits better accuracy. ネットワークの最適化の始めに、共同戦略はより速い収束があり、よりよい正確さを示します。 0.75
However, as the network continuous to be optimised, the performance gradually degrades in accuracy. しかし、ネットワークが継続的に最適化されるにつれて、パフォーマンスは徐々に精度が低下します。 0.59
For the sequential strategy, after the architecture optimization, the resulting network rapidly recovers its performance by finetuning, surpassing the joint strategy optimization in accuracy. 逐次的戦略では、アーキテクチャ最適化後、結果のネットワークは微調整により迅速に性能を回復し、精度で共同戦略最適化を超越する。 0.77
This confirms that the joint optimization is hindered by the vanishing gradient problem. これは接合部の最適化が消える勾配問題によって妨げられることを確認します。 0.61
With the increasing scale factors δ, more channels enter the saturation zone where the gradients of the architecture parameters are zero. スケール因子δの増大に伴い、アーキテクチャパラメータの勾配がゼロとなる飽和領域により多くのチャネルが入る。 0.78
This results in inefficient network optimization and in consequence a loss of accuracy. その結果、ネットワーク最適化の効率が悪くなり、結果として精度が低下する。 0.61
After the architecture optimization, DNAL disables the SS layer and optimizes only the weights, which avoids the vanishing gradient problem caused. アーキテクチャ最適化の後、DNALはSS層を無効にし、重量のみを最適化する。
訳抜け防止モード: アーキテクチャ最適化の後、DNALはSS層を無効にし、重量のみを最適化する。 これは消失する勾配の問題を避けるためです
0.60
VII. CONCLUSION We have presented a differentiable neural architecture learning method (DNAL). VII。 結論 我々は、差別化可能な神経アーキテクチャ学習法(DNAL)を提示した。 0.63
DNAL utilizes the scaled sigmoid function to relax the discrete architecture space into a continuous architecture space, and gradually converts the continuous DNALはスケールしたシグモイド関数を用いて離散的なアーキテクチャ空間を連続的なアーキテクチャ空間に緩和し、徐々に連続を変換する。
訳抜け防止モード: DNALはスケールドシグモイド機能を利用する 個別の建築空間を 連続的な建築空間へと ゆるめます 連続体を徐々に変換し
0.83
optimization problem into the binary optimization problem. 二進最適化問題への最適化問題。 0.78
The optimal neural architecture is learned by gradient-based methods without the need to evaluation candidate architectures individually, thus significantly improving the search efficiency. 最適なニューラルアーキテクチャは、候補アーキテクチャを個別に評価することなく、勾配に基づく手法によって学習され、探索効率が著しく向上する。 0.62
We introduced a new SS module layer to implement the scaled sigmoid activation function, enriching the module family of neural networks for the optimization of neural architectures. スケールドシグモイドアクティベーション機能を実装するための新しいSSモジュール層を導入し、ニューラルネットワークのモジュールファミリをニューラルネットワークの最適化のために強化しました。 0.76
The proposed DNAL method was applied to conventional CNNs, lightweight CNNs and stochastic supernets. 提案手法は,従来のCNN,軽量CNN,確率的スーパーネットに適用された。 0.59
Extensive experiments on CIFAR-10 and ImageNet-1K demonstrated that DNAL delivers state-of-the-art performance in terms of accuracy, model size and computational complexity, especially search cost. CIFAR-10とImageNet-1Kの大規模な実験により、DNALは精度、モデルサイズ、計算の複雑さ、特に検索コストの点で最先端のパフォーマンスを提供することを示した。 0.51
ACKNOWLEDGMENT This work is supported by the National Key R&D Program of China (Grant No. 情報 この事業は中国国家鍵研究開発プログラム(Grant No.)が支援している。 0.52
2018YFB1004901), by the National Natural Science Foundation of China (Grant No.61672265, U1836218), by the 111 Project of Ministry of Education of China (Grant No. 2018YFB1004901, by the National Natural Science Foundation of China (Grant No.61672265, U1836218), by the 111 Project of Education of China (Grant No。 0.80
B12018), by UK EPSRC GRANT EP/N007743/1, MURI/EPSRC/DSTL GRANT EP/R018456/1. B12018) by UK EPSRC GRANT EP/N007743/1, MURI/EPSRC/DSTL GRANT EP/R018456/1。 0.52
REFERENCES [1] A. Krizhevsky, I. Sutskever, and G. E. Hinton, “Imagenet classification with deep convolutional neural networks,” in Advances in neural information processing systems, 2012, pp. 参考 [1] a. krizhevsky, i. sutskever, g. e. hinton, “imagenet classification with deep convolutional neural networks” in advances in neural information processing systems, pp. pp. pp. 0.66
1097–1105. 1097–1105. 0.71
[2] K. Simonyan and A. Zisserman, “Very deep convolutional networks for large-scale image recognition,” arXiv preprint arXiv:1409.1556, 2014. [2] K. Simonyan, A. Zisserman, “Very deep convolutional network for large-scale image recognition” arXiv preprint arXiv:1409.1556, 2014 0.93
[3] K. He, X. Zhang, S. Ren, and J. [3]K.He,X.Zhang,S. Ren,J. 0.79
Sun, “Deep residual learning for image recognition,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, pp. the ieee conference on computer vision and pattern recognition, 2016 pp. ^ “deep residual learning for image recognition” を参照。 0.62
770–778. [4] G. Huang, Z. Liu, L. Van Der Maaten, and K. Q. Weinberger, “Densely connected convolutional networks,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2017, pp. 770–778. G. Huang, Z. Liu, L. Van Der Maaten, and K. Q. Weinberger, “Densely connected convolutional network” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2017 pp. 2017年9月1日閲覧。 0.80
4700–4708. 4700–4708. 0.71
[5] R. Girshick, J. Donahue, T. Darrell, and J. Malik, “Rich feature hierarchies for accurate object detection and semantic segmentation,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2014, pp. R. Girshick, J. Donahue, T. Darrell, and J. Malik, “Rich feature hierarchies for accurate object detection and semantic segmentation” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2014 pp. pp。 0.80
580–587. [6] R. Girshick, “Fast r-cnn,” in Proceedings of the IEEE international conference on computer vision, 2015, pp. 580–587. 6] r. girshick, “fast r-cnn” in proceedings of the ieee international conference on computer vision, 2015 pp。 0.70
1440–1448. 1440–1448. 0.71
[7] S. Ren, K. He, R. Girshick, and J. [7]S. Ren, K. He, R. Girshick, J. 0.89
Sun, “Faster r-cnn: Towards real-time object detection with region proposal networks,” in Advances in neural information processing systems, 2015, pp. sun, “faster r-cnn: towards real-time object detection with region proposal networks” in advances in neural information processing systems, 2015, pp. ^ (英語) 0.86
91–99. [8] J. 91–99. [8]j。 0.70
Long, E. Shelhamer, and T. Darrell, “Fully convolutional networks for semantic segmentation,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2015, pp. Long, E. Shelhamer, T. Darrell, “Fully convolutional network for semantic segmentation” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2015 pp。 0.77
3431–3440. 3431–3440. 0.71
[9] O. Ronneberger, P. Fischer, and T. Brox, “U-net: Convolutional networks for biomedical image segmentation,” in International Conference on Medical image computing and computer-assisted intervention. 9] o. ronneberger, p. fischer, t. brox, “u-net: convolutional networks for biomedical image segmentation” in international conference on medical image computing and computer-assisted intervention”。 0.88
Springer, 2015, pp. 234–241. 2015年春、p。 234–241. 0.58
[10] Z. Zhou, M. M. R. Siddiquee, N. Tajbakhsh, and J. Liang, “Unet++: A nested u-net architecture for medical image segmentation,” in Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. 10] z. zhou, m. m. r. siddiquee, n. tajbakhsh, j. liang, “unet++: a nested u-net architecture for medical image segmentation” in deep learning in medical image analysis and multimodal learning for clinical decision support。 0.85
Springer, 2018, pp. スプリンガー、2018年、p。 0.40
3–11. [11] K. He, G. Gkioxari, P. Doll´ar, and R. Girshick, “Mask r-cnn,” in Proceedings of the IEEE international conference on computer vision, 2017, pp. 3–11. K. He, G. Gkioxari, P. Doll ́ar, R. Girshick, “Mask r-cnn” in Proceedings of the IEEE International conference on computer vision, 2017 pp。 0.76
2961–2969. 2961–2969. 0.71
[12] Z. Huang and N. Wang, “Data-driven sparse structure selection for deep neural networks,” in Proceedings of the European Conference on Computer Vision (ECCV), 2018, pp. Z. Huang and N. Wang, “Data-driven sparse structure selection for Deep Neural Network” in Proceedings of the European Conference on Computer Vision (ECCV) 2018, pp。 0.74
304–320. [13] Z. Liu, J. Li, Z. Shen, G. Huang, S. Yan, and C. Zhang, “Learning efficient convolutional networks through network slimming,” in Proceedings of the IEEE International Conference on Computer Vision, 2017, pp. 304–320. Z. Liu, J. Li, Z. Shen, G. Huang, S. Yan, C. Zhang, “Learning efficient convolutional network through network Slimming” in Proceedings of the IEEE International Conference on Computer Vision, 2017 pp。
訳抜け防止モード: 304–320. [13 ]Z.Liu,J.Li,Z.Shen, G. Huang, S. Yan, C. Zhang, ネットワークスリム化による効率的な畳み込みネットワークの学習”。 In Proceedings of the IEEE International Conference on Computer Vision, 2017, pp。
0.80
2736– 2744. 2736– 2744. 0.94
[14] C. Zhao, B. Ni, J. Zhang, Q. Zhao, W. Zhang, and Q. Tian, “Variational convolutional neural network pruning,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp. C. Zhao, B. Ni, J. Zhang, Q. Zhao, W. Zhang, and Q. Tian, “Variational Convolutional Neural Network pruning” (IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp. 2019) に参加して 0.84
2780–2789. 2780–2789. 0.71
050100150200250epoch (n)10203040506070809 0100accuracy (%)Conv-BN-SS-ReLUCo nv-BN-ReLU-SSConv-SS -BN-ReLU050100150200 250300350epoch (n)10203040506070809 0100accuracy (%)Conv-BN-SS-ReLUCo nv-BN-ReLU-SSConv-SS -BN-ReLU020406080100 120140160180200epoch (n)5060708090100accu racy (%)Alternative optimizationJoint optimization05010015 0200250300epoch (n)5060708090100accu racy (%)Alternative optimizationJoint optimization 05010015050505050epo ch (n)10203040506070901 00accuracy (%)Conv-BN-SS-ReLUCo nv-BN-ReLU-SSConv-SS -ReLU050150150150150 300350epoch (n)10203040607080909 0100accuracy (%)Conv-BN-ReLUConv- BN-ReLU-SS-BN-ReLU02 04060601001401801801 80180200epoch (n)5060708090100100a ccuracy (%)Alternative optimizationJoint optimization05010015 0150150150300300epoc h (n)50607090909010010 0accuracy (%)Alternative optimizationJointの最適化。 0.50
英語(論文から抽出)日本語訳スコア
MANUSCRIPT 10 [15] G. Huang, S. Liu, L. Van der Maaten, and K. Q. Weinberger, “Condensenet: An efficient densenet using learned group convolutions,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp. マニクリプト 10 15] G. Huang, S. Liu, L. Van der Maaten, K. Q. Weinberger, “Condensenet: an efficient densenet using learned group convolutions” は、IEEE Conference on Computer Vision and Pattern Recognition, 2018 pp. 2018で発表された。 0.72
2752–2761. 2752–2761. 0.71
[16] A. G. Howard, M. Zhu, B. Chen, D. Kalenichenko, W. Wang, T. Weyand, M. Andreetto, and H. Adam, “Mobilenets: Efficient convolutional neural networks for mobile vision applications,” arXiv preprint arXiv:1704.04861, 2017. 16] A.G. Howard, M. Zhu, B. Chen, D. Kalenichenko, W. Wang, T. Weyand, M. Andreetto, H. Adam, “Mobilenets: Efficient Convolutional Neural Network for Mobile Vision Applications” arXiv preprint arXiv:1704.04861, 2017 0.95
[17] X. Zhang, X. Zhou, M. Lin, and J. [17] X. Zhang, X. Zhou, M. Lin, J. 0.91
Sun, “Shufflenet: An extremely efficient convolutional neural network for mobile devices,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp. Sun, “Shufflenet: a very efficient convolutional neural network for mobile devices” は、IEEE Conference on Computer Vision and Pattern Recognition, 2018 pp. のProceedingsに掲載されました。 0.84
6848–6856. 6848–6856. 0.71
[18] M. Tan, B. Chen, R. Pang, V. Vasudevan, M. Sandler, A. Howard, and Q. V. Le, “Mnasnet: Platform-aware neural architecture search for mobile,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp. 18] M. Tan, B. Chen, R. Pang, V. Vasudevan, M. Sandler, A. Howard, Q. V. Le, “Mnasnet: Platform-aware neural architecture search for mobile” は、IEEE Conference on Computer Vision and Pattern Recognition, 2019, ppのProceedingsにある。 0.94
2820–2828. 2820–2828. 0.71
[19] Z. Yang, Y. Wang, X. Chen, B. Shi, C. Xu, C. Xu, Q. Tian, and C. Xu, “Cars: Continuous evolution for efficient neural architecture search,” arXiv preprint arXiv:1909.04977, 2019. 19] Z. Yang, Y. Wang, X. Chen, B. Shi, C. Xu, C. Xu, Q. Tian, C. Xu, “Cars: Continuous Evolution for efficient neural architecture search” arXiv preprint arXiv:1909.04977, 2019。 0.96
[20] B. Wu, X. Dai, P. Zhang, Y. Wang, F. Sun, Y. Wu, Y. Tian, P. Vajda, Y. Jia, and K. Keutzer, “Fbnet: Hardware-aware efficient convnet design via differentiable neural architecture search,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp. 20] B. Wu, X. Dai, P. Zhang, Y. Wang, F. Sun, Y. Wu, Y. Tian, P. Vajda, Y. Jia, and K. Keutzer, “Fbnet: Hardware-aware efficient convnet design via differentiable neural architecture search” は、IEEE Conference on Computer Vision and Pattern Recognition, 2019, ppのProceedingsに載っている。 0.91
10 734–10 742. 10 734–10 742. 0.84
[21] S. Lin, R. Ji, Y. Li, C. Deng, and X. Li, “Towards compact convnets via structure-sparsity regularized filter pruning,” in IEEE Transactions on Neural Networks and Learning Systems, 2019. IEEE Transactions on Neural Networks and Learning Systems, 2019.[21] S. Lin, R. Ji, Y. Li, C. Deng, X. Li, “Towards compact convnets via Structure-sparsity regularized filter pruning”. IEEE Transactions on Neural Networks and Learning Systems, 2019. 0.81
[22] Y. He, X. Zhang, and J. [22] Y。 彼, X. Zhang, J。 0.74
Sun, “Channel pruning for accelerating very deep neural networks,” in Proceedings of the IEEE International Conference on Computer Vision, 2017, pp. Sun, “Channel pruning for accelerating very Deep Neural Network” in Proceedings of the IEEE International Conference on Computer Vision, 2017 pp. 0.76
1389–1397. 1389–1397. 0.71
[23] M. Courbariaux, Y. Bengio, and J.-P. David, “Binaryconnect: Training deep neural networks with binary weights during propagations,” in Advances in neural information processing systems, 2015, pp. 23] m. courbariaux, y. bengio, j.-p. david, “binaryconnect: training deep neural networks with binary weights during propagations” in advances in neural information processing systems, 2015, pp. (英語) 0.85
3123– 3131. 3123– 3131. 0.94
[24] F. Li, B. Zhang, and B. Liu, “Ternary weight networks,” arXiv preprint arXiv:1605.04711, 2016. 24] F. Li, B. Zhang, and B. Liu, "Ternary weight network" arXiv preprint arXiv:1605.04711, 2016 0.95
[25] B. Peng, W. Tan, Z. Li, S. Zhang, D. Xie, and S. Pu, “Extreme network compression via filter group approximation,” in Proceedings of the European Conference on Computer Vision (ECCV), 2018, pp. 25] B. Peng, W. Tan, Z. Li, S. Zhang, D. Xie, and S. Pu, “Extreme network compression via filter group approximation” in Proceedings of the European Conference on Computer Vision (ECCV), 2018 pp。 0.84
300–316. [26] X. Yu, T. Liu, X. Wang, and D. Tao, “On compressing deep models by low rank and sparse decomposition,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017, pp. 300–316. 926] X. Yu, T. Liu, X. Wang, D. Tao, “On compressing deep model by low rank and sparse decomposition” in Proceedings on IEEE Conference on Computer Vision and Pattern Recognition, 2017 pp。 0.72
7370–7379. 7370–7379. 0.71
[27] G. Hinton, O. Vinyals, and J. 27] G. Hinton, O. Vinyals, J. 0.78
Dean, “Distilling the knowledge in a neural network,” arXiv preprint arXiv:1503.02531, 2015. Dean, “Distilling the knowledge in a neural network” arXiv preprint arXiv:1503.02531, 2015 0.92
[28] B. Baker, O. Gupta, N. Naik, and R. Raskar, “Designing neural network architectures using reinforcement learning,” arXiv preprint arXiv:1611.02167, 2016. B. Baker, O. Gupta, N. Naik, R. Raskar, “Designing neural network architectures using reinforcement learning, arXiv preprint arXiv:1611.02167, 2016”。 0.90
[29] I. Bello, B. Zoph, V. Vasudevan, and Q. V. Le, “Neural optimizer search with reinforcement learning,” in Proceedings of the 34th International Conference on Machine Learning-Volume 70, 2017, pp. I. Bello, B. Zoph, V. Vasudevan, and Q. V. Le, "Neural optimizationr search with reinforcement Learning" in Proceedings of the 34th International Conference on Machine Learning-Volume 70, 2017 pp。 0.83
459–468. [30] E. Real, S. Moore, A. Selle, S. Saxena, Y. L. Suematsu, J. Tan, Q. V. Le, and A. Kurakin, “Large-scale evolution of image classifiers,” in Proceedings of the 34th International Conference on Machine LearningVolume 70, 2017, pp. 459–468. E. Real, S. Moore, A. Selle, S. Saxena, Y. L. Suematsu, J. Tan, Q. V. Le, A. Kurakin, “Large-scale evolution of image classifications” in Proceedings of the 34th International Conference on Machine LearningVolume 70, 2017 pp。 0.81
2902–2911. 2902–2911. 0.71
[31] E. Real, A. Aggarwal, Y. Huang, and Q. V. Le, “Regularized evolution for image classifier architecture search,” in Proceedings of the aaai conference on artificial intelligence (AAAI), 2019, pp. E. Real, A. Aggarwal, Y. Huang, and Q. V. Le, “Regularized evolution for image classification architecture search” in Proceedings of the aaai conference on Artificial Intelligence (AAAI, 2019, pp。
訳抜け防止モード: 31 ] E. Real, A. Aggarwal, Y. Huang, and Q.V.Le, “Regularized Evolution for image Classifier Architecture Search, ” in Proceedings of the aaai conference on artificial Intelligence (AAAI ), 2019, pp. で紹介されました。
0.90
4780–4789. 4780–4789. 0.71
[32] H. Liu, K. Simonyan, and Y. Yang, “Darts: Differentiable architecture search,” arXiv preprint arXiv:1806.09055, 2018. 32] H. Liu, K. Simonyan, Y. Yang, “Darts: Differentiable architecture search” arXiv preprint arXiv:1806.09055, 2018 0.90
[33] A. Wan, X. Dai, P. Zhang, Z. 33] A. Wan、X. Dai、P. Zhang、Z。 0.84
He, Y. Tian, S. Xie, B. Wu, M. Yu, T. Xu, K. Chen et al , “Fbnetv2: Differentiable neural architecture search for spatial and channel dimensions,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. He, Y. Tian, S. Xie, B. Wu, M. Yu, T. Xu, K. Chen et al , “Fbnetv2: differentiable neural architecture search for space and channel dimensions”, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp。 0.94
12 965–12 974. 12 965–12 974. 0.84
[34] B. Zoph, V. Vasudevan, J. Shlens, and Q. V. Le, “Learning transferable architectures for scalable image recognition,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, pp. B.Zoph, V. Vasudevan, J. Shlens, Q. V. Le, “Learning transferable architectures for scalable image recognition” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, pp。 0.79
8697–8710. 8697–8710. 0.71
[35] M. Sandler, A. Howard, M. Zhu, A. Zhmoginov, and L. Chen, “Inverted residuals and linear bottlenecks: Mobile networks for classification, detection and segmentation. 35] M. Sandler、A. Howard、M. Zhu、A. Zhmoginov、L. Chenは次のように述べています。
訳抜け防止モード: 35 ] M. Sandler, A. Howard, M. Zhu, A. Zhmoginov, and L. Chen, “Inverted Residials and linear bottlenecks : 分類、検出、セグメンテーションのためのモバイルネットワーク。
0.89
arxiv 2018,” arXiv preprint arXiv:1801.04381, 2018. arxiv 2018" arXiv preprint arXiv:1801.04381, 2018" 0.85
[36] H. Cai, L. Zhu, and S. Han, “Proxylessnas: Direct neural architecture search on target task and hardware,” in Proceedings of the international conference on learning representations (ICLR), 2019. [36] H. Cai, L. Zhu, and S. Han, “Proxylessnas: Direct neural architecture search on target task and hardware” は、2019年の国際学習表現会議(ICLR)のProceedingsで発表された。 0.88
[37] A. Krizhevsky and G. Hinton, “Learning multiple layers of features from tiny images,” Citeseer, Tech. 37] A. KrizhevskyとG. Hintonは、"小さな画像から複数の機能層を学ぶ"、Citeseer、Tech。 0.73
Rep., 2009. [38] O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein et al , “Imagenet large scale visual recognition challenge,” International journal of computer vision, vol. 2009年、退社。 38] O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein et al, “Imagenet large scale visual recognition challenge”, International Journal of Computer Vision, vol。 0.83
115, no. 3, pp. 115年だ 3、p。 0.53
211–252, 2015. 211–252, 2015. 0.84
[39] Y. W. Y. [39] Y. W. Y. 0.94
Z. B. Z. Y. T. S. L. Mingbao Lin, Rongrong Ji*, “Hrank: Filter pruning using high-rank feature map,” in IEEE International Conference on Computer Vision and Pattern Recognition, 2020. Z。 B。 Z.Y.T.S.L.Mingbao Lin, Rongrong Ji*, “Hrank: Filter pruning using High-rank feature map” がIEEE International Conference on Computer Vision and Pattern Recognition, 2020で発表された。 0.79
[40] J.-H. Luo, H. Zhang, H.-Y. [40] J.-H. Luo, H. Zhang, H.-Y. 0.78
Zhou, C.-W. Xie, J. Wu, and W. Lin, “Thinet: pruning cnn filters for a thinner net,” IEEE transactions on pattern analysis and machine intelligence, 2018. Zhou, C.-W. Xie, J. Wu, W. Lin, “Thinet: pruning cnn filters for a thinner net”, IEEEのパターン分析とマシンインテリジェンスに関するトランザクションは2018年だ。 0.92
[41] T. Zhang, G.-J. 41] T. Zhang、G.-J。 0.85
Qi, B. Xiao, and J. Wang, “Interleaved group convolutions,” in Proceedings of the IEEE International Conference on Computer Vision, 2017, pp. Qi, B. Xiao, J. Wang, “Interleaved group convolutions” in Proceedings of the IEEE International Conference on Computer Vision, 2017 pp。 0.78
4373–4382. 4373–4382. 0.71
[42] X. Wang, M. Kan, S. Shan, and X. Chen, “Fully learnable group convolution for acceleration of deep neural networks,” arXiv preprint arXiv:1904.00346, 2019. X. Wang, M. Kan, S. Shan, X. Chen, “Fully learnable group convolution forAcceler of Deep Neural Network” arXiv preprint arXiv:1904.00346, 2019。 0.84
[43] Q. Guo, X.-J. [43] Q. Guo, X.-J. 0.88
Wu, J. Kittlerz, and Z. Feng, “Self-grouping convolutional neural networks,” Neural Networks, vol. Wu, J. Kittlerz, Z. Feng, “Self-grouping convolutional neural network”, Neural Networks, vol。 0.88
132, pp. 491–505, 2020. 132, pp。 491–505, 2020. 0.82
[44] X. Zhang, Z. Li, C. Change Loy, and D. Lin, “Polynet: A pursuit of structural diversity in very deep networks,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017, pp. The Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017 pp.[44] X. Zhang, Z. Li, C. Change Loy, D. Lin, “Polynet: A pursue of Structure diversity in very Deep Network”. 2017年9月1日閲覧。 0.87
718–726. [45] E. L. Allgower and K. Georg, Numerical continuation methods: an introduction. 718–726. [45] E.L. AllgowerとK. Georg、数値連続法:紹介。 0.74
Springer Science & Business Media, 2012, vol. Springer Science & Business Media, 2012 vol。 0.71
13. [46] A. Paszke, S. Gross, S. Chintala, G. Chanan, E. Yang, Z. DeVito, Z. Lin, A. Desmaison, L. Antiga, and A. Lerer, “Automatic differentiation in pytorch,” 2017. 13. 946] A. Paszke, S. Gross, S. Chintala, G. Chanan, E. Yang, Z. DeVito, Z. Lin, A. Desmaison, L. Antiga, A. Lerer, “Automatic differentiation in pytorch” 2017 0.87
[47] S. Lin, R. Ji, C. Yan, B. Zhang, L. Cao, Q. Ye, F. Huang, and D. Doermann, “Towards optimal structured cnn pruning via generative the IEEE Conference on adversarial Computer Vision and Pattern Recognition, 2019, pp. [47]S. Lin, R. Ji, C. Yan, B. Zhang, L. Cao, Q. Ye, F. Huang, D. Doermann, “最適な構造化cnnプルーニングは、IEEE Conference on adversarial Computer Vision and Pattern Recognition, 2019, pp.”。 0.94
2790–2799. 2790–2799. 0.71
[48] R. Yu, A. Li, C.-F. Chen, J.-H. Lai, V. I. Morariu, X. Han, M. Gao, C.-Y. [48]R. Yu, A. Li, C.-F. Chen, J.-H. Lai, V. I. Morariu, X. Han, M. Gao, C.-Y。 0.76
Lin, and L. S. Davis, “Nisp: Pruning networks using neuron importance score propagation,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp. Lin, and L.S. Davis, “Nisp: Pruning Network using neuron importance score propagation” は、IEEE Conference on Computer Vision and Pattern Recognition, 2018 pp. において発表された。 0.86
9194–9203. 9194–9203. 0.71
[49] Y. He, J. Lin, Z. Liu, H. Wang, L.-J. 49) であった。 J. Lin, Z. Liu, H. Wang, L.-J 0.78
Li, and S. Han, “Amc: Automl for model compression and acceleration on mobile devices,” in Proceedings of the European Conference on Computer Vision (ECCV), 2018, pp. ac: automl for model compression and acceleration on mobile devices” in proceedings of the european conference on computer vision (eccv), 2018, pp. “amc: automl for model compression and acceleration on mobile devices” (英語) 0.76
784–800. [50] Y. Li, S. Lin, B. Zhang, J. Liu, D. Doermann, Y. Wu, F. Huang, and R. Ji*, “Exploiting kernel sparsity and entropy for interpretable cnn compression,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp. 784–800. 50] Y. Li, S. Lin, B. Zhang, J. Liu, D. Doermann, Y. Wu, F. Huang, and R. Ji*, “Exploiting kernel sparsity and entropy for interpretable cnn compression” は、IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp. 2019で発表された。 0.81
8847–8856. 8847–8856. 0.71
[51] S. Lin, R. Ji, Y. Li, Y. Wu, F. Huang, and B. Zhang, “Accelerating convolutional networks via global & dynamic filter pruning.” in IJCAI, 2018, pp. [51] S. Lin, R. Ji, Y. Li, Y. Wu, F. Huang, B. Zhang, “Global and dynamic filter pruning.” in IJCAI, 2018, pp. 0.82
2425–2432. 2425–2432. 0.71
[52] Y. Z. 52) であった。 Z。 0.69
B. Z. Y. W. Y. T. Mingbao Lin, Rongrong Ji*, “Channel pruning via automatic structure search,” in International Joint Conference on Artificial Intelligence, 2020. B。 Z.Y.W.Y.T.Mingbao Lin, Rongrong Ji*, “Channel pruning via Automatic structure search”. International Joint Conference on Artificial Intelligence, 2020. (英語) 0.84
[53] M. Tan, B. Chen, R. Pang, V. Vasudevan, and Q. V. Le, “Mnasnet: Platform-aware neural architecture search for mobile,” arXiv preprint arXiv:1807.11626, 2018. M. Tan, B. Chen, R. Pang, V. Vasudevan, Q. V. Le, “Mnasnet: Platform-aware Neural Architecture search for mobile”, arXiv preprint arXiv:1807.11626, 2018. 0.94
learning,” in Proceedings of 学習する」という手順は 0.69
Qingbei Guo received the M.S. Qingbei GuoはM.S.を受け取りました。 0.57
degree from the School of Computer Science and Technology, Shandong University, Jinan, China, in 2006. 2006年、中国・江南省山東大学コンピュータ科学・技術学部卒業。 0.52
He is a member of the Shandong Provincial Key Laboratory of Network based Intelligent Computing and the lecturer in the School of Information Science and Engineering, University of Jinan. 彼は山東省のネットワークベースのインテリジェントコンピューティング研究所(英語版)の会員であり、ジナン大学情報工学科の講師である。 0.63
He is now a Ph.D. student at Jiangnan University, Wuxi, China. 現在は中国武西省江南大学の博士課程の学生である。 0.67
His current research interests include wireless sensor networks, deep learning/machine learning, computer vision and neuron networks. 現在の研究対象は、ワイヤレスセンサーネットワーク、ディープラーニング/機械学習、コンピュータビジョン、ニューロンネットワークである。 0.68
英語(論文から抽出)日本語訳スコア
MANUSCRIPT 11 Zhiquan Feng received his M.S. マニクリプト 11 Zhiquan FengはM.S.を取得した。 0.63
degree in Computer Software from Northwestern Polytechnical University, China, in 1995, and Ph.D. degree in Computer Science & Engineering from Shandong University, China, in 2006. 1995年に中国北西部工科大学からコンピュータソフトウェア学士号を、2006年に山東大学からコンピュータ科学と工学のPh.D.を取得。 0.78
He is currently a Professor at University of Jinan, China. 現在は中国・江南大学の教授を務めている。 0.69
Dr. Feng is a visiting Professor of Sichuang Mianyang Normal University. Feng博士は四川美陽師範大学の客員教授です。 0.64
As the first author or corresponding author he has published more than 100 papers in international journals and conference proceedings, 2 books, and 30 patents in the areas of human hand recognition and human-computer interaction. 最初の著者または対応する著者として、彼は100以上の論文を国際ジャーナルや会議の手続、2本の本、30の特許を人間の手認識と人間とコンピュータの相互作用の分野で発表しています。 0.64
He has served as the Deputy Director of Shandong Provincial Key Laboratory of network based Intelligent Computing, group leader of Human Computer Interaction based on natural hand, editorial board member of Computer Aided Drafting Design and Manufacturing, CADDM, and also an editorial board member of The Open Virtual Reality Journal. shandong provincial key laboratory of network based intelligent computing, group leader of human computer interaction based by natural hand, editor board member of computer assisted drafting design and manufacturing, caddm, and editor board member of the open virtual reality journalの編集者を務めた。 0.68
He is a deputy editor of World Research Journal of Pattern Recognition and a member of Computer Graphics professional committee. 彼はWorld Research Journal of Pattern Recognitionの副編集長であり、Computer Graphicsの専門家委員会のメンバーです。 0.79
Dr. Feng’s research interests are in human hand tracking/recognition /interaction, virtual reality, human-computer interaction, and image processing. Feng博士の研究関心は、人間の手の追跡/認識/相互作用、仮想現実、人間とコンピュータの相互作用、および画像処理です。 0.65
His research has been extensively supported by the Key R&D Projects of the Ministry of Science and Technology, Natural Science Foundation of China, Key Projects of Natural Science Foundation of Shandong Province, and Key R&D Projects of Shandong Province with total grant funding over three million RMB. 彼の研究は、科学技術省の主要r&dプロジェクト、中国自然科学財団、山東省自然科学財団の主要プロジェクト、山東省の主要r&dプロジェクトによって広く支持されており、合計で300万rpm以上の助成金を受けている。 0.67
For more information, please refer to http://nbic.ujn.edu. cn/nbic/index.php. 詳細はhttp://nbic.ujn.edu. cn/nbic/index.phpを参照。 0.52
Xiao-jun Wu received his B.S. Xiao-jun WuはB.S.を取得しました。 0.45
degree in mathematics from Nanjing Normal University, Nanjing, PR China in 1991 and M.S. 南京師範大学, 南京, PR China, 1991年, M.S.の数学の学位取得 0.80
degree in 1996, and Ph.D. degree in Pattern Recognition and Intelligent System in 2002, both from Nanjing University of Science and Technology, Nanjing, PR China, respectively. 1996年の学位、2002年のパターン認識とインテリジェントシステムにおけるph.d.の学位は、それぞれ南京の南京科学技術大学から取得している。 0.78
He was a fellow of United Nations University, International Institute for Software Technology (UNU/IIST) from 1999 to 2000. 1999年から2000年まで、united nations university, international institute for software technology (unu/iist) のフェローを務めた。 0.76
From 1996 to 2006, he taught in the School of Electronics and Information, Jiangsu University of Science and Technology where he was an exceptionally promoted professor. 1996年から2006年まで江蘇科学技術大学電子情報学部で教鞭を執り、特別に昇進した教授であった。
訳抜け防止モード: 1996年から2006年まで、彼は電子情報学部で教鞭をとった。 彼は例外的に昇進した教授だった江蘇科学技術大学。
0.71
He joined the School of Information Engineering, Jiangnan University in 2006 where he is a professor. 2006年に江南大学情報工学科に入学し、教授となる。 0.57
He won the most outstanding postgraduate award by Nanjing University of Science and Technology. 彼は南京科学技術大学から最も優れた大学院賞を受賞しました。 0.76
He has published more than 300 papers in his fields of research. 彼は300以上の論文を研究分野に発表している。 0.81
He was a visiting researcher in the Centre for Vision, Speech, and Signal Processing (CVSSP), University of Surrey, UK from 2003 to 2004. 2003年から2004年までイギリスのサリー大学のCVSSP(Center for Vision, Speech, and Signal Processing)の客員研究員を務めた。 0.67
His current research interests are pattern recognition, computer vision, fuzzy systems, neural networks and intelligent systems. 彼の現在の研究分野は、パターン認識、コンピュータビジョン、ファジィシステム、ニューラルネットワーク、インテリジェントシステムである。 0.75
Josef Kittler received the B.A., Ph.D., and D.Sc. ジョゼフ・キトラーはB.A.、Ph.D.、D.Scを取得した。 0.37
degrees from the University of Cambridge, in 1971, 1974, and 1991, respectively. 1971年、1974年、1991年にケンブリッジ大学から学位を取得した。 0.62
He is a distinguished Professor of Machine Intelligence at the Centre for Vision, Speech and Signal Processing, University of Surrey, Guildford, U.K. イギリスのギルフォードにあるサリー大学ビジョン・スピーチ・シグナル処理センター(英語版)の機械知能の著名な教授である。
訳抜け防止モード: 彼は視覚・音声・信号処理センター(Central for Vision, Speech and Signal Processing)の機械情報学の著名な教授である。 サリー大学ギルフォード校(イギリス)
0.67
He conducts research in biometrics, video and image database retrieval, medical image analysis, and cognitive vision. バイオメトリックス、ビデオおよび画像データベースの検索、医療画像分析、認知ビジョンの研究を行っています。 0.73
He published the textbook Pattern Recognition: A Statistical Approach and over 700 scientific papers. 彼は教科書Pattern Recognition: A Statistical Approachと700以上の科学論文を出版した。 0.79
His publications have been cited more than 66,000 times (Google Scholar). 彼の著作は66,000回以上引用されている(Google Scholar)。 0.71
He is series editor of Springer Lecture Notes on Computer Science. Springer Lecture Notes on Computer Scienceのシリーズ編集者である。 0.75
He currently serves on the Editorial Boards of Pattern Recognition Letters, Pattern Recognition and Artificial Intelligence, Pattern Analysis and Applications. 現在は、Patent Recognition Letters, Pattern Recognition and Artificial Intelligence, Pattern Analysis and Applicationsの編集委員を務めている。 0.75
He also served as a member of the Editorial Board of IEEE Transactions on Pattern Analysis and Machine Intelligence during 1982-1985. 1982-1985年にはIEEE Transactions on Pattern Analysis and Machine Intelligenceの編集委員も務めた。 0.63
He served on the Governing Board of the International Association for Pattern Recognition (IAPR) as one of the two British representatives during the period 1982-2005, President of the IAPR during 1994-1996. 彼は、国際パターン認識協会(iapr)の運営委員会で、1982-2005年の2人の英国代表のうちの1人として、1994-1996年のiaprの会長を務めた。
訳抜け防止モード: 1982年から2005年にかけては、国際パターン認識協会(IAPR)の統治委員会(Governing Board)を務めた。 1994年から1996年までIAPR会長を務めた。
0.69
                       ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。