論文の概要: L$^{2}$NAS: Learning to Optimize Neural Architectures via
Continuous-Action Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2109.12425v1
- Date: Sat, 25 Sep 2021 19:26:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-28 15:49:26.696263
- Title: L$^{2}$NAS: Learning to Optimize Neural Architectures via
Continuous-Action Reinforcement Learning
- Title（参考訳）: l$^{2}$nas:連続動作強化学習によるニューラルネットワークの最適化
- Authors: Keith G. Mills, Fred X. Han, Mohammad Salameh, Seyed Saeed Changiz
Rezaei, Linglong Kong, Wei Lu, Shuo Lian, Shangling Jui and Di Niu
- Abstract要約: 微分可能なアーキテクチャサーチ(NAS)は、ディープニューラルネットワーク設計において顕著な結果を得た。
L$2$は,DART201ベンチマークやNASS,Imse-for-All検索ポリシで,最先端の結果が得られることを示す。
- 参考スコア（独自算出の注目度）: 23.25155249879658
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural architecture search (NAS) has achieved remarkable results in deep
neural network design. Differentiable architecture search converts the search
over discrete architectures into a hyperparameter optimization problem which
can be solved by gradient descent. However, questions have been raised
regarding the effectiveness and generalizability of gradient methods for
solving non-convex architecture hyperparameter optimization problems. In this
paper, we propose L$^{2}$NAS, which learns to intelligently optimize and update
architecture hyperparameters via an actor neural network based on the
distribution of high-performing architectures in the search history. We
introduce a quantile-driven training procedure which efficiently trains
L$^{2}$NAS in an actor-critic framework via continuous-action reinforcement
learning. Experiments show that L$^{2}$NAS achieves state-of-the-art results on
NAS-Bench-201 benchmark as well as DARTS search space and Once-for-All
MobileNetV3 search space. We also show that search policies generated by
L$^{2}$NAS are generalizable and transferable across different training
datasets with minimal fine-tuning.
- Abstract（参考訳）: neural architecture search (nas) はディープニューラルネットワークの設計において顕著な結果をもたらしている。
微分可能なアーキテクチャ探索は、離散アーキテクチャ上の探索を勾配降下によって解けるハイパーパラメータ最適化問題に変換する。
しかし、非凸アーキテクチャハイパーパラメータ最適化問題の解法における勾配法の有効性と一般化性について疑問が提起されている。
本稿では,探索履歴における高性能アーキテクチャの分布に基づいて,アクタニューラルネットワークによるアーキテクチャハイパーパラメータのインテリジェントな最適化と更新を学習するL$^{2}$NASを提案する。
本稿では,アクター・クリティカル・フレームワークにおけるL$^{2}$NASを,連続的行動強化学習により効率的に訓練する量子駆動学習手法を提案する。
L$^{2}$NAS は NAS-Bench-201 ベンチマークや DARTS サーチスペースや Once-for-All MobileNetV3 サーチスペースで最先端の結果が得られることを示した。
また,L$^{2}$NASによって生成された検索ポリシーは,最小限の微調整で異なるトレーニングデータセット間で一般化可能であり,転送可能であることを示す。
関連論文リスト
- DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit
CNNs [53.82853297675979]
バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。
自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。
本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
論文 参考訳（メタデータ） (2023-06-27T11:28:29Z) - GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。
そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
論文 参考訳（メタデータ） (2023-05-15T12:44:54Z) - LayerNAS: Neural Architecture Search in Polynomial Complexity [18.36070437021082]
我々は多目的NASの課題に対処するためにLayerNASを提案する。
LayerNASグループは、モデルサイズやレイテンシなどの1つの目的に基づいて候補をモデル化し、別の目的に基づいて最適なモデルを探す。
実験の結果,LayerNASは様々な検索空間にまたがる優れたモデルを見つけることができることがわかった。
論文 参考訳（メタデータ） (2023-04-23T02:08:00Z) - Novelty Driven Evolutionary Neural Architecture Search [6.8129169853808795]
進化的アルゴリズム(EA)ベースのニューラルアーキテクチャサーチ(NAS)は、各アーキテクチャをスクラッチからトレーニングすることで評価する。
NEvoNASと呼ばれる手法では、NAS問題は2つの目的を持つ多目的問題として提起される: (i) アーキテクチャの新規性を最大化し、 (ii) アーキテクチャの適合性と正確性を最大化する。
NSGA-IIはNAS問題のためのテキストパレート最適フロントを見つけるのに使われ、検索されたアーキテクチャとしてパレートフロントで最高のアーキテクチャが返される。
論文 参考訳（メタデータ） (2022-04-01T03:32:55Z) - iDARTS: Differentiable Architecture Search with Stochastic Implicit
Gradients [75.41173109807735]
微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。
暗黙の関数定理に基づいてDARTSの過次計算に取り組む。
提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
論文 参考訳（メタデータ） (2021-06-21T00:44:11Z) - Memory-Efficient Hierarchical Neural Architecture Search for Image
Restoration [68.6505473346005]
メモリ効率の高い階層型NAS HiNAS(HiNAS)を提案する。
単一の GTX1080Ti GPU では、BSD 500 でネットワークを消すのに約 1 時間、DIV2K で超解像構造を探すのに 3.5 時間しかかかりません。
論文 参考訳（メタデータ） (2020-12-24T12:06:17Z) - Smooth Variational Graph Embeddings for Efficient Neural Architecture
Search [41.62970837629573]
本研究では,探索空間からニューラルネットワークをスムーズにエンコードし,正確に再構築できる2面変分グラフオートエンコーダを提案する。
ENASアプローチ,NAS-Bench-101およびNAS-Bench-201探索空間で定義されたニューラルネットワークに対する提案手法の評価を行った。
論文 参考訳（メタデータ） (2020-10-09T17:05:41Z) - Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。
9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
論文 参考訳（メタデータ） (2020-09-08T15:51:23Z) - DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。
最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。
微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
論文 参考訳（メタデータ） (2020-06-18T08:23:02Z) - ADWPNAS: Architecture-Driven Weight Prediction for Neural Architecture
Search [6.458169480971417]
ニューラルアーキテクチャ探索(NAS)のためのアーキテクチャ駆動重み予測(ADWP)手法を提案する。
提案手法では,まずアーキテクチャ集約型検索空間を設計し,次にアーキテクチャパラメータをエンコードすることでハイパーネットワークワークを訓練する。
結果は、CIFAR-10上で1つの探索手順を4.0GPU時間で完了することを示す。
論文 参考訳（メタデータ） (2020-03-03T05:06:20Z) - DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution
Pruning [135.27931587381596]
DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。
検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。
提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
論文 参考訳（メタデータ） (2019-05-28T06:35:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。