論文の概要: HardCoRe-NAS: Hard Constrained diffeRentiable Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2102.11646v1
• Date: Tue, 23 Feb 2021 11:56:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-24 14:13:17.272702
• Title: HardCoRe-NAS: Hard Constrained diffeRentiable Neural Architecture Search
• Title（参考訳）: HardCoRe-NAS - Hard Constrained diffeRentiable Neural Architecture Search
• Authors: Niv Nayman, Yonathan Aflalo, Asaf Noy, Lihi Zelnik-Manor
• Abstract要約: フィッティングネットワークを見つけるための一般的なアプローチは、制約付きニューラルネットワーク検索(NAS)です。 従来の方法は、制約をソフトにのみ強制します。 したがって、結果のネットワークはリソース制約に厳密に従わないため、その正確性は損なわれる。 本研究では,期待されるリソース要件の正確な定式化と,検索全体にわたるハード制約を満たすスケーラブルな検索手法に基づく,ハード制約付きdiffeRentiable NAS(HardCoRe-NAS)を導入することで,この問題を解決する。
• 参考スコア（独自算出の注目度）: 12.607519627904963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Realistic use of neural networks often requires adhering to multiple constraints on latency, energy and memory among others. A popular approach to find fitting networks is through constrained Neural Architecture Search (NAS), however, previous methods enforce the constraint only softly. Therefore, the resulting networks do not exactly adhere to the resource constraint and their accuracy is harmed. In this work we resolve this by introducing Hard Constrained diffeRentiable NAS (HardCoRe-NAS), that is based on an accurate formulation of the expected resource requirement and a scalable search method that satisfies the hard constraint throughout the search. Our experiments show that HardCoRe-NAS generates state-of-the-art architectures, surpassing other NAS methods, while strictly satisfying the hard resource constraints without any tuning required.
• Abstract（参考訳）: ニューラルネットワークの現実的な使用には、レイテンシ、エネルギー、メモリなどに関する複数の制約に従う必要があります。 適合するネットワークを見つけるための一般的なアプローチは、制約付きニューラルネットワーク検索(nas)である。 したがって、結果のネットワークはリソース制約に厳密に従わないため、その正確性は損なわれる。 本研究では,期待されるリソース要件の正確な定式化と,検索全体にわたるハード制約を満たすスケーラブルな検索手法に基づく,ハード制約付きdiffeRentiable NAS(HardCoRe-NAS)を導入することで,この問題を解決する。 実験の結果,HardCoRe-NASはNAS法を超越して最先端のアーキテクチャを生成する一方で,チューニングを必要とせず,厳密な資源制約を満たすことがわかった。

関連論文リスト

• Delta-NAS: Difference of Architecture Encoding for Predictor-based Evolutionary Neural Architecture Search [5.1331676121360985]
  我々は,NASの微粒化を低コストで行うアルゴリズムを構築した。 類似ネットワークの精度の差を予測することにより,問題を低次元空間に投影することを提案する。
  論文  参考訳（メタデータ） (2024-11-21T02:43:32Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Generalizable Lightweight Proxy for Robust NAS against Diverse Perturbations [59.683234126055694]
  最近のニューラルアーキテクチャサーチ(NAS)フレームワークは、与えられた条件に対して最適なアーキテクチャを見つけるのに成功している。 クリーン画像と摂動画像の両方の特徴,パラメータ,勾配の整合性を考慮した,軽量で堅牢なゼロコストプロキシを提案する。 提案手法は,多種多様な摂動にまたがる堅牢性を示す一般化可能な特徴を学習可能な,効率的かつ迅速なニューラルアーキテクチャの探索を容易にする。
  論文  参考訳（メタデータ） (2023-06-08T08:34:26Z)
• Robust Neural Architecture Search [19.214462477848535]
  我々は、新しいNAS手法、Robust Neural Architecture Search (RNAS)を提案する。 精度とロバスト性のバランスをとるために正規化項を設計するために、RNASは高い精度と良好なロバスト性の両方でアーキテクチャを生成する。 実験により、RNASは画像分類と敵攻撃の両方において最先端(SOTA)性能を達成することが示された。
  論文  参考訳（メタデータ） (2023-04-06T03:21:24Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• You Only Search Once: On Lightweight Differentiable Architecture Search for Resource-Constrained Embedded Platforms [10.11289927237036]
  微分可能なニューラルアーキテクチャサーチ(NAS)は、競合するディープニューラルネットワーク(DNN)を自動設計する最も有力な代替品として進化してきた。 我々は、LightNASと呼ばれる軽量ハードウェア対応の差別化可能なNASフレームワークを導入し、ワンタイム検索によって必要なアーキテクチャを見つけ出そうとしている。 従来の最先端技術よりもLightNASの方が優れていることを示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-08-30T02:23:23Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• Understanding and Accelerating Neural Architecture Search with Training-Free and Theory-Grounded Metrics [117.4281417428145]
  この作業は、ニューラルネットワークサーチ(NAS)のための原則的で統一的なトレーニングフリーフレームワークの設計を目標としている。 NASは、高性能ニューラルネットワークの発見を自動化するために爆発的に研究されてきたが、資源消費に悩まされ、しばしば訓練や近似によって探索バイアスを引き起こす。 我々は,検索ネットワークの「TEG」特性を解消し,NASを理解し,加速するための統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2021-08-26T17:52:07Z)
• Neural Architecture Search for Image Super-Resolution Using Densely Constructed Search Space: DeCoNAS [18.191710317555952]
  ニューラルアーキテクチャサーチ(NAS)手法を用いて,DeCoNASNetという,軽量で高密度なネットワークを探索する。 画像の超解像を解くための複雑性に基づくペナルティを定義し、多目的問題とみなすことができる。 実験により、当社のDeCoNASNetは、ハンドクラフト法と既存のNASベースの設計で設計された最先端の軽量スーパーリゾリューションネットワークを上回っています。
  論文  参考訳（メタデータ） (2021-04-19T04:51:16Z)
• Searching Efficient Model-guided Deep Network for Image Denoising [61.65776576769698]
  モデルガイド設計とNAS(MoD-NAS)をつなぐ新しいアプローチを提案する。 MoD-NASは、再利用可能な幅探索戦略と密結合された探索ブロックを用いて、各層の操作を自動的に選択する。 いくつかの一般的なデータセットに対する実験結果から、我々のMoD-NASは現在の最先端手法よりもPSNR性能が向上していることが示された。
  論文  参考訳（メタデータ） (2021-04-06T14:03:01Z)
• AdvantageNAS: Efficient Neural Architecture Search with Credit Assignment [23.988393741948485]
  ワンショット・スパース伝播NAS(AdvantageNAS)の新たな探索戦略を提案する。 アドバンテージNASは、アーキテクチャ更新の勾配推定にクレジット割り当てを導入することで検索効率を向上させるグラデーションベースのアプローチです。 NAS-Bench-201およびPTBデータセットの実験は、AdvantageNASが限られた時間予算でより高いパフォーマンスのアーキテクチャを発見することを示しています。
  論文  参考訳（メタデータ） (2020-12-11T05:45:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。