論文の概要: Towards Improving the Consistency, Efficiency, and Flexibility of
Differentiable Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2101.11342v1
- Date: Wed, 27 Jan 2021 12:16:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-01 19:32:36.057259
- Title: Towards Improving the Consistency, Efficiency, and Flexibility of
Differentiable Neural Architecture Search
- Title（参考訳）: 微分可能なニューラルアーキテクチャ探索の一貫性,効率,柔軟性向上に向けて
- Authors: Yibo Yang, Shan You, Hongyang Li, Fei Wang, Chen Qian, Zhouchen Lin
- Abstract要約: 最も微分可能なニューラルアーキテクチャ探索法は、探索用のスーパーネットを構築し、そのサブグラフとしてターゲットネットを導出する。
本稿では,エンジンセルとトランジットセルからなるEnTranNASを紹介する。
また,検索処理の高速化を図るため,メモリや計算コストの削減も図っている。
- 参考スコア（独自算出の注目度）: 84.4140192638394
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most differentiable neural architecture search methods construct a super-net
for search and derive a target-net as its sub-graph for evaluation. There
exists a significant gap between the architectures in search and evaluation. As
a result, current methods suffer from an inconsistent, inefficient, and
inflexible search process. In this paper, we introduce EnTranNAS that is
composed of Engine-cells and Transit-cells. The Engine-cell is differentiable
for architecture search, while the Transit-cell only transits a sub-graph by
architecture derivation. Consequently, the gap between the architectures in
search and evaluation is significantly reduced. Our method also spares much
memory and computation cost, which speeds up the search process. A feature
sharing strategy is introduced for more balanced optimization and more
efficient search. Furthermore, we develop an architecture derivation method to
replace the traditional one that is based on a hand-crafted rule. Our method
enables differentiable sparsification, and keeps the derived architecture
equivalent to that of Engine-cell, which further improves the consistency
between search and evaluation. Besides, it supports the search for topology
where a node can be connected to prior nodes with any number of connections, so
that the searched architectures could be more flexible. For experiments on
CIFAR-10, our search on the standard space requires only 0.06 GPU-day. We
further have an error rate of 2.22% with 0.07 GPU-day for the search on an
extended space. We can also directly perform the search on ImageNet with
topology learnable and achieve a top-1 error rate of 23.8% in 2.1 GPU-day.
- Abstract（参考訳）: 最も微分可能なニューラルアーキテクチャ探索法は、探索用のスーパーネットを構築し、そのサブグラフとしてターゲットネットを導出する。
検索と評価のアーキテクチャの間には、大きなギャップがある。
その結果、現在の手法は不整合、非効率、非フレキシブルな探索プロセスに悩まされている。
本稿では、エンジンセルとトランジットセルからなるEnTranNASについて紹介する。
エンジンセルはアーキテクチャ探索において微分可能であり、トランジットセルはアーキテクチャの導出によってのみサブグラフを転送する。
その結果、検索と評価におけるアーキテクチャ間のギャップは大幅に減少する。
また,検索処理の高速化を図るため,メモリや計算コストの削減も図っている。
よりバランスのとれた最適化とより効率的な検索のために機能共有戦略が導入された。
さらに、手づくりのルールに基づいた伝統的なものを置き換えるアーキテクチャ導出法も開発しています。
本手法は微分可能なスパーシフィケーションを可能にし,派生したアーキテクチャをエンジンセルと同等に保ち,検索と評価の一貫性をさらに向上させる。
さらに、ノードが複数のコネクションを持つ前のノードと接続できるトポロジーの検索もサポートするので、検索されたアーキテクチャをより柔軟にすることができる。
CIFAR-10の実験では、標準空間での検索はわずか0.06 GPU-dayである。
さらに、拡張スペースでの検索では、エラーレートが2.22%、GPUが0.07日です。
また、ImageNet上でトポロジを学習可能で直接検索でき、2.1GPU日でトップ1エラー率23.8%を達成することができる。
関連論文リスト
- DASS: Differentiable Architecture Search for Sparse neural networks [0.5735035463793009]
識別可能なアーキテクチャ探索手法により高密度ネットワーク用に設計されたアーキテクチャは,プルーニング機構を適用した場合,有効ではないことがわかった。
本稿では,スパシティフレンドリなニューラルアーキテクチャを探索する新しい手法を提案する。
検索空間に2つの新しいスパース操作を追加し、探索目的を変更することでこれを行う。
論文 参考訳（メタデータ） (2022-07-14T14:53:50Z) - Partially-Connected Differentiable Architecture Search for Deepfake and
Spoofing Detection [14.792884010821762]
本稿では,darts( differentiable architecture search)アプローチをdeepfakeおよびspoofing検出問題に適用した最初の事例について報告する。
DARTSは連続的かつ微分可能な検索空間で動作し、アーキテクチャとパラメータの両方を勾配降下により最適化することができる。
論文 参考訳（メタデータ） (2021-04-07T13:53:20Z) - ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse
Coding [86.40042104698792]
スパース符号問題としてニューラルアーキテクチャ探索を定式化する。
実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。
本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-10-13T04:34:24Z) - Disentangled Neural Architecture Search [7.228790381070109]
本稿では,制御器の隠蔽表現を意味論的に意味のある概念に解き放つ,アンタングル型ニューラルネットワーク探索(DNAS)を提案する。
DNASは、オペレーションの選択、接続のスキップ、レイヤ数など、アーキテクチャ表現のアンタングルに成功している。
センスサンプリングは、より高い効率とより良いパフォーマンスでニューラルネットワーク検索につながる。
論文 参考訳（メタデータ） (2020-09-24T03:35:41Z) - Off-Policy Reinforcement Learning for Efficient and Effective GAN
Architecture Search [50.40004966087121]
本稿では,GANアーキテクチャ探索のための強化学習に基づくニューラルアーキテクチャ探索手法を提案する。
鍵となる考え方は、よりスムーズなアーキテクチャサンプリングのためのマルコフ決定プロセス(MDP)として、GANアーキテクチャ探索問題を定式化することである。
我々は,従来の政策によって生成されたサンプルを効率的に活用する,非政治的なGANアーキテクチャ探索アルゴリズムを利用する。
論文 参考訳（メタデータ） (2020-07-17T18:29:17Z) - GOLD-NAS: Gradual, One-Level, Differentiable [100.12492801459105]
GOLD-NAS (Gradual One-Level Differentiable Neural Architecture Search) という新しいアルゴリズムを提案する。
1レベル最適化に可変リソース制約を導入し、弱い演算子をスーパーネットワークから徐々に追い出す。
論文 参考訳（メタデータ） (2020-07-07T10:37:49Z) - Multi-Objective Neural Architecture Search Based on Diverse Structures
and Adaptive Recommendation [4.595675084986132]
畳み込みニューラルネットワーク(CNN)のためのニューラルネットワーク探索(NAS)の検索空間は巨大である。
本稿では,既存の研究結果と過去の情報を利用して,軽量かつ高精度なアーキテクチャを迅速に発見するMoARRアルゴリズムを提案する。
実験結果から,CIFAR-10上でのMoARRは6GPU時間で1.9%の誤差率と2.3Mパラメータを持つ,強力で軽量なモデルを実現することができた。
論文 参考訳（メタデータ） (2020-07-06T13:42:33Z) - Cyclic Differentiable Architecture Search [99.12381460261841]
微分可能なArchiTecture Search(DARTS)は、ニューラルアーキテクチャサーチにおいて大きな注目を集めている。
我々はCDARTSと呼ばれる新しい共同目標と新しい周期微分可能なArchiTecture Searchフレームワークを提案する。
DARTS検索の分野では、CIFAR10で97.52%、ImageNetで76.3%、トップ1で76.3%の精度を達成した。
論文 参考訳（メタデータ） (2020-06-18T17:55:19Z) - Latency-Aware Differentiable Neural Architecture Search [113.35689580508343]
近年、探索コストの低さと検索空間設計の柔軟性から、微分可能なニューラルネットワーク探索法が人気を博している。
しかし、これらの手法はネットワーク最適化の難しさに悩まされており、検索されたネットワークはハードウェアに不便な場合が多い。
本稿では,この問題を最適化に微分可能な遅延損失項を追加することにより,精度とレイテンシのトレードオフをバランス係数で行うことができる。
論文 参考訳（メタデータ） (2020-01-17T15:55:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。