論文の概要: Delta-NAS: Difference of Architecture Encoding for Predictor-based Evolutionary Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2411.14498v1
• Date: Thu, 21 Nov 2024 02:43:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:03:09.198388
• Title: Delta-NAS: Difference of Architecture Encoding for Predictor-based Evolutionary Neural Architecture Search
• Title（参考訳）: Delta-NAS:予測子に基づく進化的ニューラルネットワーク探索のためのアーキテクチャエンコーディングの違い
• Authors: Arjun Sridhar, Yiran Chen,
• Abstract要約: 我々は,NASの微粒化を低コストで行うアルゴリズムを構築した。 類似ネットワークの精度の差を予測することにより,問題を低次元空間に投影することを提案する。
• 参考スコア（独自算出の注目度）: 5.1331676121360985
• License:
• Abstract: Neural Architecture Search (NAS) continues to serve a key roll in the design and development of neural networks for task specific deployment. Modern NAS techniques struggle to deal with ever increasing search space complexity and compute cost constraints. Existing approaches can be categorized into two buckets: fine-grained computational expensive NAS and coarse-grained low cost NAS. Our objective is to craft an algorithm with the capability to perform fine-grain NAS at a low cost. We propose projecting the problem to a lower dimensional space through predicting the difference in accuracy of a pair of similar networks. This paradigm shift allows for reducing computational complexity from exponential down to linear with respect to the size of the search space. We present a strong mathematical foundation for our algorithm in addition to extensive experimental results across a host of common NAS Benchmarks. Our methods significantly out performs existing works achieving better performance coupled with a significantly higher sample efficiency.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)は、タスク固有のデプロイメントのためのニューラルネットワークの設計と開発において、引き続き重要な役割を担っている。 現代のNAS技術は、検索空間の複雑さと計算コストの制約の増大に苦慮している。 既存のアプローチは、微粒な計算コストNASと粗粒の低コストNASの2つのバケットに分類することができる。 本研究の目的は,NASの微粒化を行うアルゴリズムを低コストで構築することである。 類似ネットワークの精度の差を予測することにより,問題を低次元空間に投影することを提案する。 このパラダイムシフトにより、探索空間のサイズに関して、計算複雑性を指数関数から線形に減らすことができる。 我々は、NASベンチマークのホストにまたがる広範な実験結果に加えて、アルゴリズムの強力な数学的基礎を提示する。 提案手法は, 試料効率を著しく向上させるとともに, 性能向上を図っている。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• SiGeo: Sub-One-Shot NAS via Information Theory and Geometry of Loss Landscape [14.550053893504764]
  ゼロショットとワンショットNASの間のブリッジとして機能する"サブワンショット"パラダイムを導入する。 サブワンショットNASでは、スーパーネットはトレーニングデータの小さなサブセットのみを使用してトレーニングされる。 提案するプロキシは,スーパーネットウォームアップとプロキシの有効性を結びつける,新しい理論フレームワーク上に構築されたプロキシである。
  論文  参考訳（メタデータ） (2023-11-22T05:25:24Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• TransNAS-Bench-101: Improving Transferability and Generalizability of Cross-Task Neural Architecture Search [98.22779489340869]
  本研究では、7つの視覚タスクにわたるネットワーク性能を含むベンチマークデータセットであるTransNAS-Bench-101を提案する。 セルレベルの検索空間とマクロレベルの検索空間という,基本的に異なるタイプの検索空間を探索する。 7つのタスクで7,352のバックボーンが評価され、詳細なトレーニング情報を備えた51,464のトレーニングモデルが提供される。
  論文  参考訳（メタデータ） (2021-05-25T12:15:21Z)
• AdvantageNAS: Efficient Neural Architecture Search with Credit Assignment [23.988393741948485]
  ワンショット・スパース伝播NAS(AdvantageNAS)の新たな探索戦略を提案する。 アドバンテージNASは、アーキテクチャ更新の勾配推定にクレジット割り当てを導入することで検索効率を向上させるグラデーションベースのアプローチです。 NAS-Bench-201およびPTBデータセットの実験は、AdvantageNASが限られた時間予算でより高いパフォーマンスのアーキテクチャを発見することを示しています。
  論文  参考訳（メタデータ） (2020-12-11T05:45:03Z)
• Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
  バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
  論文  参考訳（メタデータ） (2020-09-08T15:51:23Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)
• NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search [55.12928953187342]
  我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。 NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。 我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
  論文  参考訳（メタデータ） (2020-01-02T05:28:26Z)
• NAS evaluation is frustratingly hard [1.7188280334580197]
  Neural Architecture Search(NAS)は、2012年のConvolutional Neural Networksと同じくらい、ゲームチェンジャーになることを約束する、エキサイティングな新しい分野だ。 異なるメソッドの比較は、まだ非常にオープンな問題です。 最初のコントリビューションは、データセット5ドルに対する8ドルのNASメソッドのベンチマークです。
  論文  参考訳（メタデータ） (2019-12-28T21:24:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。