論文の概要: TND-NAS: Towards Non-differentiable Objectives in Progressive Differentiable NAS Framework

• arxiv url: http://arxiv.org/abs/2111.03892v1
• Date: Sat, 6 Nov 2021 14:19:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-09 14:24:15.330155
• Title: TND-NAS: Towards Non-differentiable Objectives in Progressive Differentiable NAS Framework
• Title（参考訳）: TND-NAS:進歩的微分可能なNASフレームワークにおける非微分可能な目的に向けて
• Authors: Bo Lyu, Shiping Wen, Zheng Yan, Kaibo Shi, Ke Li, Tingwen Huang
• Abstract要約: 微分可能なアーキテクチャサーチは、ニューラルネットワークサーチ(NAS)分野において、徐々に主流の研究トピックになりつつある。 本稿では,非微分可能なTND-NASを対象としたエンドツーエンドアーキテクチャ検索フレームワークを提案する。 微分可能なNASフレームワークの下では、探索空間の連続的な緩和により、TND-NASは離散空間で最適化されたアーキテクチャパラメータ(alpha$)を持つ。
• 参考スコア（独自算出の注目度）: 27.157293728330036
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiable architecture search has gradually become the mainstream research topic in the field of Neural Architecture Search (NAS) for its capability to improve efficiency compared with the early NAS (EA-based, RL-based) methods. Recent differentiable NAS also aims at further improving search efficiency, reducing the GPU-memory consumption, and addressing the "depth gap" issue. However, these methods are no longer capable of tackling the non-differentiable objectives, let alone multi-objectives, e.g., performance, robustness, efficiency, and other metrics. We propose an end-to-end architecture search framework towards non-differentiable objectives, TND-NAS, with the merits of the high efficiency in differentiable NAS framework and the compatibility among non-differentiable metrics in Multi-objective NAS (MNAS). Under differentiable NAS framework, with the continuous relaxation of the search space, TND-NAS has the architecture parameters ($\alpha$) been optimized in discrete space, while resorting to the search policy of progressively shrinking the supernetwork by $\alpha$. Our representative experiment takes two objectives (Parameters, Accuracy) as an example, we achieve a series of high-performance compact architectures on CIFAR10 (1.09M/3.3%, 2.4M/2.95%, 9.57M/2.54%) and CIFAR100 (2.46M/18.3%, 5.46/16.73%, 12.88/15.20%) datasets. Favorably, under real-world scenarios (resource-constrained, platform-specialized), the Pareto-optimal solutions can be conveniently reached by TND-NAS.
• Abstract（参考訳）: 差別化可能なアーキテクチャ検索は、初期のnas(eaベース、rlベース)法と比較して効率性を向上させる能力から、ニューラルネットワーク検索(nas)の分野で徐々に主流となっている。 最近の差別化可能なNASは、検索効率の向上、GPUメモリ消費の削減、"深みのギャップ"問題への対処も目標としている。 しかし、これらの手法は、例えば性能、堅牢性、効率、その他の指標など、微分不可能な目的に対処することができない。 本稿では,多目的nas (multi-objective nas) における非微分可能メトリクス間の高い効率性と非微分可能メトリクス間の互換性というメリットを生かした,非微分可能目的のためのエンドツーエンドアーキテクチャ探索フレームワークtnd-nasを提案する。 微分可能なNASフレームワークの下では、探索空間の連続的な緩和により、TND-NASは離散空間で最適化されたアーキテクチャパラメータ($\alpha$)を持つ一方で、スーパーネットワークを$\alpha$で徐々に縮小する検索ポリシーを利用する。 例えば、cifar10 (1.09m/3.3%, 2.4m/2.95%, 9.57m/2.54%) と cifar100 (2.46m/18.3%, 5.46/16.73%, 12.88/15.20%) のデータセット上で、高性能なコンパクトアーキテクチャを実現する。 好ましくは、現実のシナリオ(リソース制限、プラットフォーム特化)では、pareto-optimalソリューションはtnd-nasによって便利に到達できる。

関連論文リスト

• Delta-NAS: Difference of Architecture Encoding for Predictor-based Evolutionary Neural Architecture Search [5.1331676121360985]
  我々は,NASの微粒化を低コストで行うアルゴリズムを構築した。 類似ネットワークの精度の差を予測することにより,問題を低次元空間に投影することを提案する。
  論文  参考訳（メタデータ） (2024-11-21T02:43:32Z)
• Lightweight Neural Architecture Search for Temporal Convolutional Networks at the Edge [21.72253397805102]
  この研究は特に、時系列処理のための畳み込みモデルであるTCN(Temporal Convolutional Networks)に焦点を当てている。 我々は,TNの最も特異なアーキテクチャパラメータの最適化を明示的に目標とする最初のNASツールを提案する。 提案したNASは,音声および生体信号を含む4つの実世界のエッジ関連タスクでテストする。
  論文  参考訳（メタデータ） (2023-01-24T19:47:40Z)
• U-Boost NAS: Utilization-Boosted Differentiable Neural Architecture Search [50.33956216274694]
  ターゲットプラットフォームにおけるリソース利用の最適化は、DNN推論時に高いパフォーマンスを達成するための鍵となる。 本稿では,タスクの正確性や推論遅延を最適化するだけでなく,資源利用のためのハードウェア対応NASフレームワークを提案する。 我々は,従来のハードウェア対応NAS法と比較して,DNN推論の2.8～4倍の高速化を実現している。
  論文  参考訳（メタデータ） (2022-03-23T13:44:15Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• NAS-Bench-360: Benchmarking Diverse Tasks for Neural Architecture Search [18.9676056830197]
  既存のニューラルアーキテクチャサーチ(NAS)ベンチマークとアルゴリズムは、よく研究されたタスクのパフォーマンスを優先している。 我々は、畳み込みニューラルネットワーク(CNN)のための最先端NAS手法を評価するベンチマークスイートであるNAS-Bench-360を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:13:18Z)
• AdvantageNAS: Efficient Neural Architecture Search with Credit Assignment [23.988393741948485]
  ワンショット・スパース伝播NAS(AdvantageNAS)の新たな探索戦略を提案する。 アドバンテージNASは、アーキテクチャ更新の勾配推定にクレジット割り当てを導入することで検索効率を向上させるグラデーションベースのアプローチです。 NAS-Bench-201およびPTBデータセットの実験は、AdvantageNASが限られた時間予算でより高いパフォーマンスのアーキテクチャを発見することを示しています。
  論文  参考訳（メタデータ） (2020-12-11T05:45:03Z)
• Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
  バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
  論文  参考訳（メタデータ） (2020-09-08T15:51:23Z)
• DSNAS: Direct Neural Architecture Search without Parameter Retraining [112.02966105995641]
  この観測に基づいて,タスク固有のエンドツーエンドであるNASの新たな問題定義を提案する。 低バイアスモンテカルロ推定でアーキテクチャとパラメータを同時に最適化する効率的な微分可能なNASフレームワークであるDSNASを提案する。 DSNASは、420GPU時間でImageNetで同等の精度(74.4%)のネットワークを発見し、総時間を34%以上削減した。
  論文  参考訳（メタデータ） (2020-02-21T04:41:47Z)
• NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search [55.12928953187342]
  我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。 NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。 我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
  論文  参考訳（メタデータ） (2020-01-02T05:28:26Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。