論文の概要: Optimizing Neural Architecture Search using Limited GPU Time in a
Dynamic Search Space: A Gene Expression Programming Approach
- arxiv url: http://arxiv.org/abs/2005.07669v1
- Date: Fri, 15 May 2020 17:32:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-02 22:17:20.317592
- Title: Optimizing Neural Architecture Search using Limited GPU Time in a
Dynamic Search Space: A Gene Expression Programming Approach
- Title（参考訳）: 動的検索空間における限定GPU時間を用いたニューラルアーキテクチャ探索の最適化:遺伝子発現プログラミングアプローチ
- Authors: Jeovane Honorio Alves, Lucas Ferrari de Oliveira
- Abstract要約: 本稿では,畳み込みモデルの効率的な発見のための進化的ニューラルネットワーク探索手法を提案する。
効率的な検索環境と表現型表現により、遺伝子発現プログラミングはネットワークのセル生成に適応する。
提案手法は手動で設計した畳み込みネットワークやNAS生成ネットワークと類似し, 同様に制約された進化に基づくNAS作業にも勝っている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Efficient identification of people and objects, segmentation of regions of
interest and extraction of relevant data in images, texts, audios and videos
are evolving considerably in these past years, which deep learning methods,
combined with recent improvements in computational resources, contributed
greatly for this achievement. Although its outstanding potential, development
of efficient architectures and modules requires expert knowledge and amount of
resource time available. In this paper, we propose an evolutionary-based neural
architecture search approach for efficient discovery of convolutional models in
a dynamic search space, within only 24 GPU hours. With its efficient search
environment and phenotype representation, Gene Expression Programming is
adapted for network's cell generation. Despite having limited GPU resource time
and broad search space, our proposal achieved similar state-of-the-art to
manually-designed convolutional networks and also NAS-generated ones, even
beating similar constrained evolutionary-based NAS works. The best cells in
different runs achieved stable results, with a mean error of 2.82% in CIFAR-10
dataset (which the best model achieved an error of 2.67%) and 18.83% for
CIFAR-100 (best model with 18.16%). For ImageNet in the mobile setting, our
best model achieved top-1 and top-5 errors of 29.51% and 10.37%, respectively.
Although evolutionary-based NAS works were reported to require a considerable
amount of GPU time for architecture search, our approach obtained promising
results in little time, encouraging further experiments in evolutionary-based
NAS, for search and network representation improvements.
- Abstract（参考訳）: 近年,画像,テキスト,音声,ビデオの関心領域の分節化,関心領域の抽出など,人や物体の効率的な識別や対象物の同定が盛んに行われており,近年の深層学習手法と計算資源の改善が相まって,その成果に大きく貢献している。
優れたポテンシャルはあるものの、効率的なアーキテクチャとモジュールの開発には専門家の知識と利用可能なリソース時間が必要である。
本稿では,24gpu時間以内の動的探索空間における畳み込みモデルの効率的な発見のための進化型ニューラルネットワーク探索手法を提案する。
効率的な検索環境と表現型表現により、遺伝子発現プログラミングはネットワークのセル生成に適応する。
GPUリソース時間と広い検索スペースの制限にもかかわらず、我々の提案は手作業で設計された畳み込みネットワークとNAS生成ネットワークに類似した最先端技術を実現した。
CIFAR-10データセットの平均誤差は2.82%(最良のモデルでは2.67%)、CIFAR-100では18.83%(ベストモデルでは18.16%)であった。
モバイル環境ではimagenetがトップ1とトップ5のエラーをそれぞれ29.51%と10.37%で達成しました。
進化型NASはアーキテクチャ探索に相当なGPU時間を要すると報告されているが,本手法は少ない時間で有望な結果を得られ,進化型NASのさらなる実験を奨励し,探索とネットワーク表現の改善を図った。
関連論文リスト
- Knowledge-aware Evolutionary Graph Neural Architecture Search [49.13787973318586]
グラフニューラルネットワーク検索(GNAS)は、特定のグラフタスクやデータセットに対して、高性能なグラフニューラルネットワークアーキテクチャをカスタマイズすることができる。
既存のGNAS手法は、探索効率を向上させる可能性のある事前知識を無視して、ゼロ知識状態からアーキテクチャを探し始める。
本研究では,新しいグラフデータセット上での多目的進化探索を高速化するために,そのような先行知識を活用することを提案する。
論文 参考訳（メタデータ） (2024-11-26T11:32:45Z) - A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。
NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。
SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
論文 参考訳（メタデータ） (2024-07-22T12:46:22Z) - DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。
提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。
当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
論文 参考訳（メタデータ） (2024-03-02T22:16:47Z) - $\alpha$NAS: Neural Architecture Search using Property Guided Synthesis [1.2746672439030722]
我々は,より大規模な設計空間において,効率的なニューラルアーキテクチャ探索(NAS)を可能にする技術を開発した。
1) 抽象的な検索空間は元の検索空間よりもかなり小さく,(2) 類似したプログラム特性を持つアーキテクチャも類似した性能を持つ。
我々は進化的フレームワーク内に$alpha$NASというアプローチを実装し、プログラムの特性によって変異が導かれる。
論文 参考訳（メタデータ） (2022-05-08T21:48:03Z) - Guided Evolution for Neural Architecture Search [1.0499611180329804]
進化的ニューラルネットワーク探索(NAS)のための新しい手法を提案する。
G-EAの背後にある理論的根拠は、各世代における複数のアーキテクチャの生成と評価によって、検索空間を探索することである。
G-EAは、親突然変異による探索を強制しながら、子孫世代による最も優れたネットワークの活用を強制する。
論文 参考訳（メタデータ） (2021-10-28T15:43:20Z) - NAS-FCOS: Efficient Search for Object Detection Architectures [113.47766862146389]
簡易なアンカーフリー物体検出器の特徴ピラミッドネットワーク (FPN) と予測ヘッドを探索し, より効率的な物体検出手法を提案する。
慎重に設計された検索空間、検索アルゴリズム、ネットワーク品質を評価するための戦略により、8つのV100 GPUを使用して、4日以内に最高のパフォーマンスの検知アーキテクチャを見つけることができる。
論文 参考訳（メタデータ） (2021-10-24T12:20:04Z) - EEEA-Net: An Early Exit Evolutionary Neural Architecture Search [6.569256728493014]
限られた計算資源を持つオンデバイスプロセッサに適した畳み込みニューラルネットワーク(CNN)アーキテクチャの探索。
The Early Exit Population Initialisation (EE-PI) for Evolutionary Algorithm (EA)。
CIFAR-10は2.46%、CIFAR-100は15.02%、ImageNetデータセットは23.8%である。
論文 参考訳（メタデータ） (2021-08-13T10:23:19Z) - DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。
最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。
微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
論文 参考訳（メタデータ） (2020-06-18T08:23:02Z) - DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution
Pruning [135.27931587381596]
DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。
検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。
提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
論文 参考訳（メタデータ） (2019-05-28T06:35:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。