論文の概要: Multi-Objective Neural Architecture Search Based on Diverse Structures and Adaptive Recommendation

• arxiv url: http://arxiv.org/abs/2007.02749v2
• Date: Thu, 13 Aug 2020 15:14:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-13 01:50:24.735705
• Title: Multi-Objective Neural Architecture Search Based on Diverse Structures and Adaptive Recommendation
• Title（参考訳）: 多様な構造と適応的推薦に基づく多目的ニューラルネットワーク探索
• Authors: Chunnan Wang, Hongzhi Wang, Guosheng Feng, Fei Geng
• Abstract要約: 畳み込みニューラルネットワーク(CNN)のためのニューラルネットワーク探索(NAS)の検索空間は巨大である。 本稿では,既存の研究結果と過去の情報を利用して,軽量かつ高精度なアーキテクチャを迅速に発見するMoARRアルゴリズムを提案する。 実験結果から,CIFAR-10上でのMoARRは6GPU時間で1.9%の誤差率と2.3Mパラメータを持つ,強力で軽量なモデルを実現することができた。
• 参考スコア（独自算出の注目度）: 4.595675084986132
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The search space of neural architecture search (NAS) for convolutional neural network (CNN) is huge. To reduce searching cost, most NAS algorithms use fixed outer network level structure, and search the repeatable cell structure only. Such kind of fixed architecture performs well when enough cells and channels are used. However, when the architecture becomes more lightweight, the performance decreases significantly. To obtain better lightweight architectures, more flexible and diversified neural architectures are in demand, and more efficient methods should be designed for larger search space. Motivated by this, we propose MoARR algorithm, which utilizes the existing research results and historical information to quickly find architectures that are both lightweight and accurate. We use the discovered high-performance cells to construct network architectures. This method increases the network architecture diversity while also reduces the search space of cell structure design. In addition, we designs a novel multi-objective method to effectively analyze the historical evaluation information, so as to efficiently search for the Pareto optimal architectures with high accuracy and small parameter number. Experimental results show that our MoARR can achieve a powerful and lightweight model (with 1.9% error rate and 2.3M parameters) on CIFAR-10 in 6 GPU hours, which is better than the state-of-the-arts. The explored architecture is transferable to ImageNet and achieves 76.0% top-1 accuracy with 4.9M parameters.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)のためのニューラルネットワーク探索(NAS)の検索空間は巨大である。 探索コストを削減するため、ほとんどのNASアルゴリズムは固定外ネットワークレベル構造を使用し、繰り返し可能なセル構造のみを探索する。 このような固定アーキテクチャは、十分なセルやチャネルを使用するとうまく機能する。 しかし、アーキテクチャがより軽量になると、性能は大幅に低下する。 より軽量なアーキテクチャを得るためには、より柔軟で多様なニューラルアーキテクチャが求められており、より効率的な方法がより広い検索空間向けに設計されるべきである。 そこで本研究では,既存の研究結果と過去の情報を利用して,軽量かつ高精度なアーキテクチャを迅速に見つけるMoARRアルゴリズムを提案する。 検出した高性能セルを用いてネットワークアーキテクチャを構築する。 この方法ではネットワークアーキテクチャの多様性が向上すると同時に,セル構造設計の検索スペースも減少する。 さらに,従来の評価情報を効果的に分析し,高精度かつ少ないパラメータ数でパレート最適アーキテクチャを効率的に探索する,新しい多目的手法を考案した。 実験結果から,CIFAR-10では6時間で1.9%の誤差率と2.3Mパラメータを持つ,パワフルで軽量なモデルを実現することができた。 探索されたアーキテクチャはImageNetに転送可能で、4.9Mパラメータで76.0%のトップ-1精度を実現している。

関連論文リスト

• EM-DARTS: Hierarchical Differentiable Architecture Search for Eye Movement Recognition [54.99121380536659]
  眼球運動バイオメトリックスは、高い安全性の識別により注目されている。 深層学習(DL)モデルは近年,眼球運動認識に成功している。 DLアーキテクチャはまだ人間の事前知識によって決定されている。 眼球運動認識のためのDLアーキテクチャを自動設計する階層的微分可能なアーキテクチャ探索アルゴリズムEM-DARTSを提案する。
  論文  参考訳（メタデータ） (2024-09-22T13:11:08Z)
• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• Flexible Channel Dimensions for Differentiable Architecture Search [50.33956216274694]
  本稿では,効率的な動的チャネル割当アルゴリズムを用いた新しい微分可能なニューラルアーキテクチャ探索法を提案する。 提案するフレームワークは,タスク精度と推論遅延において,従来の手法と等価なDNNアーキテクチャを見つけることができることを示す。
  論文  参考訳（メタデータ） (2023-06-13T15:21:38Z)
• D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
  微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。 セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-20T09:07:01Z)
• Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
  微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。 本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。 提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
  論文  参考訳（メタデータ） (2021-08-10T00:53:39Z)
• Evolving Neural Architecture Using One Shot Model [5.188825486231326]
  EvNAS(Evolving Neural Architecture using One Shot Model)と呼ばれるNAS問題に単純な遺伝的アルゴリズムを適用する新しい手法を提案する。 EvNASはプロキシデータセット、すなわちアーキテクチャを検索する。 CIFAR-10 for 4.4 GPU day on a single GPU and achieve a top-1 test error of 2.47%。 アーキテクチャ探索問題の解法における進化的手法の可能性を示す。
  論文  参考訳（メタデータ） (2020-12-23T08:40:53Z)
• Disentangled Neural Architecture Search [7.228790381070109]
  本稿では,制御器の隠蔽表現を意味論的に意味のある概念に解き放つ,アンタングル型ニューラルネットワーク探索(DNAS)を提案する。 DNASは、オペレーションの選択、接続のスキップ、レイヤ数など、アーキテクチャ表現のアンタングルに成功している。 センスサンプリングは、より高い効率とより良いパフォーマンスでニューラルネットワーク検索につながる。
  論文  参考訳（メタデータ） (2020-09-24T03:35:41Z)
• Off-Policy Reinforcement Learning for Efficient and Effective GAN Architecture Search [50.40004966087121]
  本稿では,GANアーキテクチャ探索のための強化学習に基づくニューラルアーキテクチャ探索手法を提案する。 鍵となる考え方は、よりスムーズなアーキテクチャサンプリングのためのマルコフ決定プロセス(MDP)として、GANアーキテクチャ探索問題を定式化することである。 我々は,従来の政策によって生成されたサンプルを効率的に活用する,非政治的なGANアーキテクチャ探索アルゴリズムを利用する。
  論文  参考訳（メタデータ） (2020-07-17T18:29:17Z)
• Fine-Grained Stochastic Architecture Search [6.277767522867666]
  Fine-Grained Architecture Search (FiGS) は、より大きな候補アーキテクチャの集合を探索する微分可能な検索手法である。 FiGSは、構造化スパース正規化ペナルティを適用して、検索空間内の演算子を同時に選択・変更する。 既存の3つの検索空間にまたがって結果を示し、元の検索アルゴリズムのマッチングや性能を向上する。
  論文  参考訳（メタデータ） (2020-06-17T01:04:14Z)
• ADWPNAS: Architecture-Driven Weight Prediction for Neural Architecture Search [6.458169480971417]
  ニューラルアーキテクチャ探索(NAS)のためのアーキテクチャ駆動重み予測(ADWP)手法を提案する。 提案手法では,まずアーキテクチャ集約型検索空間を設計し,次にアーキテクチャパラメータをエンコードすることでハイパーネットワークワークを訓練する。 結果は、CIFAR-10上で1つの探索手順を4.0GPU時間で完了することを示す。
  論文  参考訳（メタデータ） (2020-03-03T05:06:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。