論文の概要: DC-NAS: Divide-and-Conquer Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2005.14456v1
• Date: Fri, 29 May 2020 09:02:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 22:56:58.706844
• Title: DC-NAS: Divide-and-Conquer Neural Architecture Search
• Title（参考訳）: DC-NAS: ダイバード・アンド・コンキュアニューラルアーキテクチャ検索
• Authors: Yunhe Wang, Yixing Xu, Dacheng Tao
• Abstract要約: 本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
• 参考スコア（独自算出の注目度）: 108.57785531758076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most applications demand high-performance deep neural architectures costing limited resources. Neural architecture searching is a way of automatically exploring optimal deep neural networks in a given huge search space. However, all sub-networks are usually evaluated using the same criterion; that is, early stopping on a small proportion of the training dataset, which is an inaccurate and highly complex approach. In contrast to conventional methods, here we present a divide-and-conquer (DC) approach to effectively and efficiently search deep neural architectures. Given an arbitrary search space, we first extract feature representations of all sub-networks according to changes in parameters or output features of each layer, and then calculate the similarity between two different sampled networks based on the representations. Then, a k-means clustering is conducted to aggregate similar architectures into the same cluster, separately executing sub-network evaluation in each cluster. The best architecture in each cluster is later merged to obtain the optimal neural architecture. Experimental results conducted on several benchmarks illustrate that DC-NAS can overcome the inaccurate evaluation problem, achieving a $75.1\%$ top-1 accuracy on the ImageNet dataset, which is higher than that of state-of-the-art methods using the same search space.
• Abstract（参考訳）: ほとんどのアプリケーションは、限られたリソースを消費する高性能なディープニューラルネットワークを必要とする。 ニューラルネットワークは、与えられた巨大な検索空間内で最適なディープニューラルネットワークを自動的に探索する方法である。 しかしながら、すべてのサブネットワークは、通常同じ基準を用いて評価される。すなわち、不正確で複雑なアプローチであるトレーニングデータセットのごく一部に早期停止する。 本稿では,従来の手法とは対照的に,ディープニューラルアーキテクチャを効果的かつ効率的に探索するための分断探索(dc)手法を提案する。 任意の探索空間が与えられると、まず各層のパラメータや出力特性の変化に応じて全てのサブネットワークの特徴表現を抽出し、その表現に基づいて2つの異なるサンプルネットワーク間の類似度を計算する。 次に、k平均クラスタリングを行い、同一クラスタに類似したアーキテクチャを集約し、各クラスタでサブネットワーク評価を別々に実行する。 各クラスタの最適なアーキテクチャは後にマージされ、最適なニューラルネットワークアーキテクチャを得る。 いくつかのベンチマークで実施された実験結果は、DC-NASが不正確な評価問題を克服し、ImageNetデータセットで75.1\%$ Top-1精度を実現していることを示している。

関連論文リスト

• Neural Architecture Search using Particle Swarm and Ant Colony Optimization [0.0]
  本稿では,OpenNASのSwarm Intelligence (SI)コンポーネントを用いたCNNのトレーニングと最適化に焦点を当てる。 画像の分類において,OpenNAS(Neural Architecture Search)のオープンソースツールを統合するシステムを開発した。
  論文  参考訳（メタデータ） (2024-03-06T15:23:26Z)
• SimQ-NAS: Simultaneous Quantization Policy and Neural Architecture Search [6.121126813817338]
  最近のワンショットニューラルネットワーク検索アルゴリズムは、特定のタスクに適したハードウェアに依存しないスーパーネットワークをトレーニングし、異なるハードウェアプラットフォームのための効率的なサブネットワークを抽出する。 我々は,光学習された予測器と組み合わせた多目的探索アルゴリズムを用いることで,サブネットワークアーキテクチャとそれに対応する量子化ポリシーの両方を効率的に探索できることを示す。
  論文  参考訳（メタデータ） (2023-12-19T22:08:49Z)
• GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
  最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。 そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
  論文  参考訳（メタデータ） (2023-05-15T12:44:54Z)
• OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
  once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。 我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
  論文  参考訳（メタデータ） (2023-03-23T21:30:29Z)
• Efficient Search of Multiple Neural Architectures with Different Complexities via Importance Sampling [3.759936323189417]
  本研究では、2つのメトリクスの重み付け和からなる目的関数を最適化するアーキテクチャの複雑性を考慮したワンショットNASに焦点を当てた。 提案手法は,CIAFR-10およびImageNetデータセット上の畳み込みニューラルネットワークのアーキテクチャ探索に適用される。
  論文  参考訳（メタデータ） (2022-07-21T07:06:03Z)
• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
  One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。 Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。 Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2022-03-29T03:06:16Z)
• Trilevel Neural Architecture Search for Efficient Single Image Super-Resolution [127.92235484598811]
  本稿では,高効率単一画像超解像(SR)のための3レベルニューラルネットワーク探索法を提案する。 離散探索空間をモデル化するために、離散探索空間に新たな連続緩和を適用し、ネットワークパス、セル操作、カーネル幅の階層的混合を構築する。 階層型スーパーネット方式による最適化を行うため,効率的な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-17T12:19:49Z)
• Hierarchical Neural Architecture Search for Deep Stereo Matching [131.94481111956853]
  本稿では, ディープステレオマッチングのための最初のエンドツーエンド階層型NASフレームワークを提案する。 我々のフレームワークは、タスク固有の人間の知識をニューラルアーキテクチャ検索フレームワークに組み込んでいる。 KITTI stereo 2012、2015、Middleburyベンチマークで1位、SceneFlowデータセットで1位にランクインしている。
  論文  参考訳（メタデータ） (2020-10-26T11:57:37Z)
• Neural Inheritance Relation Guided One-Shot Layer Assignment Search [44.82474044430184]
  CIFAR-100上でのレイヤ割り当てのアーキテクチャデータセットを構築することにより,異なるレイヤ割り当てがネットワーク性能に与える影響について検討する。 層割り当てが異なるネットワーク間の神経継承関係、すなわち、深いネットワークに最適な層割り当ては、浅いネットワークには常に継承される。 このニューラル継承関係に着想を得て,遺伝サンプリングによる効率的なワンショット層割当て探索手法を提案する。
  論文  参考訳（メタデータ） (2020-02-28T07:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。