論文の概要: FNAS: Uncertainty-Aware Fast Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2105.11694v1
- Date: Tue, 25 May 2021 06:32:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-26 14:32:33.904115
- Title: FNAS: Uncertainty-Aware Fast Neural Architecture Search
- Title（参考訳）: FNAS:不確実性を意識した高速ニューラルネットワーク検索
- Authors: Jihao Liu and Ming Zhang and Yangting Sun and Boxiao Liu and Guanglu
Song and Yu Liu and Hongsheng Li
- Abstract要約: 強化学習(Reinforcement Learning, RL)に基づくニューラルアーキテクチャサーチ(NAS)は一般的に、収束性の向上を保証するが、巨大な計算資源の要求に悩まされる。
NASにおけるロールアウトプロセスとRLプロセスの収束を加速する汎用パイプラインを提案する。
Mobile Neural Architecture Search (MNAS)サーチスペースの実験では、提案するFast Neural Architecture Search (FNAS)が標準のRLベースのNASプロセスを10倍高速化することを示した。
- 参考スコア（独自算出の注目度）: 54.49650267859032
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning (RL)-based neural architecture search (NAS) generally
guarantees better convergence yet suffers from the requirement of huge
computational resources compared with gradient-based approaches, due to the
rollout bottleneck -- exhaustive training for each sampled generation on proxy
tasks. In this paper, we propose a general pipeline to accelerate the
convergence of the rollout process as well as the RL process in NAS. It is
motivated by the interesting observation that both the architecture and the
parameter knowledge can be transferred between different experiments and even
different tasks. We first introduce an uncertainty-aware critic (value
function) in Proximal Policy Optimization (PPO) to utilize the architecture
knowledge in previous experiments, which stabilizes the training process and
reduces the searching time by 4 times. Further, an architecture knowledge pool
together with a block similarity function is proposed to utilize parameter
knowledge and reduces the searching time by 2 times. It is the first to
introduce block-level weight sharing in RLbased NAS. The block similarity
function guarantees a 100% hitting ratio with strict fairness. Besides, we show
that a simply designed off-policy correction factor used in "replay buffer" in
RL optimization can further reduce half of the searching time. Experiments on
the Mobile Neural Architecture Search (MNAS) search space show the proposed
Fast Neural Architecture Search (FNAS) accelerates standard RL-based NAS
process by ~10x (e.g. ~256 2x2 TPUv2 x days / 20,000 GPU x hour -> 2,000 GPU x
hour for MNAS), and guarantees better performance on various vision tasks.
- Abstract（参考訳）: 強化学習(rl)ベースのニューラルネットワーク検索(nas)は一般的に、コンバージェンスの改善を保証するが、プロキシタスクのサンプル生成毎に徹底的なトレーニングを行うロールアウトボトルネックのため、勾配ベースのアプローチと比較して、巨大な計算リソースを必要とする。
本稿では,nasにおけるrlプロセスと同様にロールアウトプロセスの収束を加速する一般的なパイプラインを提案する。
アーキテクチャとパラメータの知識の両方が異なる実験と異なるタスクの間で移動可能であるという興味深い観察から動機づけられている。
まず,事前実験におけるアーキテクチャ知識を活用し,学習過程を安定化し,探索時間を4倍短縮するために,近方政策最適化(ppo)における不確実性認識批判(価値関数)を導入する。
さらに、パラメータ知識を利用するためにブロック類似度関数と共にアーキテクチャ知識プールを提案し、探索時間を2倍短縮する。
rlベースのnasでブロックレベルの重量共有を導入した最初の例である。
ブロック類似度関数は、厳密な公正度で100%ヒット比を保証する。
さらに,RL最適化における「リプレイバッファ」に使用される単純なオフポリティ補正係数により,検索時間の半減効果が得られた。
Mobile Neural Architecture Search (MNAS) サーチスペースの実験では、提案されたFast Neural Architecture Search (FNAS) が標準のRLベースのNASプロセスを約10倍加速することを示した。
256 2x2 TPUv2 x days / 20,000 GPU x hour -> 2,000 GPU x hour for MNAS) は、様々なビジョンタスクのパフォーマンスを保証する。
関連論文リスト
- Search-time Efficient Device Constraints-Aware Neural Architecture
Search [6.527454079441765]
コンピュータビジョンや自然言語処理といったディープラーニング技術は、計算コストが高く、メモリ集約的です。
ニューラルアーキテクチャサーチ(NAS)によるデバイス制約に最適化されたタスク固有のディープラーニングアーキテクチャの構築を自動化する。
本稿では,エッジデバイス制約を組み込んだ高速ニューラルネットワークアーキテクチャ探索の原理的手法であるDCA-NASを提案する。
論文 参考訳（メタデータ） (2023-07-10T09:52:28Z) - DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit
CNNs [53.82853297675979]
バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。
自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。
本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
論文 参考訳（メタデータ） (2023-06-27T11:28:29Z) - POPNASv2: An Efficient Multi-Objective Neural Architecture Search
Technique [7.497722345725035]
本稿では,POPNASv2と呼ばれるパレート最適プログレッシブ・ニューラル・アーキテクチャ・サーチの新バージョンを提案する。
私たちのアプローチは、最初のバージョンを強化し、パフォーマンスを改善します。
POPNASv2は平均4倍の検索時間でPNASライクな性能を実現することができる。
論文 参考訳（メタデータ） (2022-10-06T14:51:54Z) - $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture
Search [85.84110365657455]
本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。
NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
論文 参考訳（メタデータ） (2022-03-03T11:47:14Z) - BaLeNAS: Differentiable Architecture Search via the Bayesian Learning
Rule [95.56873042777316]
近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。
本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。
ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
論文 参考訳（メタデータ） (2021-11-25T18:13:42Z) - L$^{2}$NAS: Learning to Optimize Neural Architectures via
Continuous-Action Reinforcement Learning [23.25155249879658]
微分可能なアーキテクチャサーチ(NAS)は、ディープニューラルネットワーク設計において顕著な結果を得た。
L$2$は,DART201ベンチマークやNASS,Imse-for-All検索ポリシで,最先端の結果が得られることを示す。
論文 参考訳（メタデータ） (2021-09-25T19:26:30Z) - Memory-Efficient Hierarchical Neural Architecture Search for Image
Restoration [68.6505473346005]
メモリ効率の高い階層型NAS HiNAS(HiNAS)を提案する。
単一の GTX1080Ti GPU では、BSD 500 でネットワークを消すのに約 1 時間、DIV2K で超解像構造を探すのに 3.5 時間しかかかりません。
論文 参考訳（メタデータ） (2020-12-24T12:06:17Z) - AdvantageNAS: Efficient Neural Architecture Search with Credit
Assignment [23.988393741948485]
ワンショット・スパース伝播NAS(AdvantageNAS)の新たな探索戦略を提案する。
アドバンテージNASは、アーキテクチャ更新の勾配推定にクレジット割り当てを導入することで検索効率を向上させるグラデーションベースのアプローチです。
NAS-Bench-201およびPTBデータセットの実験は、AdvantageNASが限られた時間予算でより高いパフォーマンスのアーキテクチャを発見することを示しています。
論文 参考訳（メタデータ） (2020-12-11T05:45:03Z) - DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution
Pruning [135.27931587381596]
DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。
検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。
提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
論文 参考訳（メタデータ） (2019-05-28T06:35:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。