論文の概要: DAS: Neural Architecture Search via Distinguishing Activation Score
- arxiv url: http://arxiv.org/abs/2212.12132v1
- Date: Fri, 23 Dec 2022 04:02:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 17:03:06.979417
- Title: DAS: Neural Architecture Search via Distinguishing Activation Score
- Title（参考訳）: DAS: アクティベーションスコアの廃止によるニューラルアーキテクチャ検索
- Authors: Yuqiao Liu, Haipeng Li, Yanan Sun, Shuaicheng Liu
- Abstract要約: ニューラルアーキテクチャサーチ(NAS)は、特定のタスクに対して優れたアーキテクチャを探索する自動手法である。
Darts-training-bench(DTB)と呼ばれるデータセットを提案し、既存のデータセットでアーキテクチャのトレーニング状態が存在しないギャップを埋める。
提案手法は,NAS-Bench-101,Network Design Spaces,提案DBBの1.04$times$ - 1.56$times$の改善を実現している。
- 参考スコア（独自算出の注目度）: 21.711985665733653
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Architecture Search (NAS) is an automatic technique that can search
for well-performed architectures for a specific task. Although NAS surpasses
human-designed architecture in many fields, the high computational cost of
architecture evaluation it requires hinders its development. A feasible
solution is to directly evaluate some metrics in the initial stage of the
architecture without any training. NAS without training (WOT) score is such a
metric, which estimates the final trained accuracy of the architecture through
the ability to distinguish different inputs in the activation layer. However,
WOT score is not an atomic metric, meaning that it does not represent a
fundamental indicator of the architecture. The contributions of this paper are
in three folds. First, we decouple WOT into two atomic metrics which represent
the distinguishing ability of the network and the number of activation units,
and explore better combination rules named (Distinguishing Activation Score)
DAS. We prove the correctness of decoupling theoretically and confirmed the
effectiveness of the rules experimentally. Second, in order to improve the
prediction accuracy of DAS to meet practical search requirements, we propose a
fast training strategy. When DAS is used in combination with the fast training
strategy, it yields more improvements. Third, we propose a dataset called
Darts-training-bench (DTB), which fills the gap that no training states of
architecture in existing datasets. Our proposed method has 1.04$\times$ -
1.56$\times$ improvements on NAS-Bench-101, Network Design Spaces, and the
proposed DTB.
- Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)は、特定のタスクに対して優れたアーキテクチャを探索する自動手法である。
NASは多くの分野において人間設計アーキテクチャを超えるが、高い計算コストのアーキテクチャ評価が開発を妨げる。
可能な解決策は、トレーニングなしでアーキテクチャの初期段階でメトリクスを直接評価することである。
nas without training (wot)スコアは、アクティベーション層で異なる入力を識別する能力を通じて、アーキテクチャの最終的なトレーニングされた精度を推定する指標である。
しかしながら、wotスコアはアトミックメトリックではなく、アーキテクチャの基本的な指標を表すものではない。
この論文の貢献は3つある。
まず、wotをネットワークの識別能力とアクティベーションユニットの数を表す2つのアトミックメトリックに分離し、das(distinguishing activation score)と呼ばれるより良い組み合わせルールを探索する。
分離の正当性を理論的に証明し,ルールの有効性を実験的に確認した。
第2に,実用的な探索条件を満たすために,dasの予測精度を向上させるため,高速訓練戦略を提案する。
高速トレーニング戦略と組み合わせてDASを使用すると、さらなる改善がもたらされる。
第3に,既存のデータセットにおけるアーキテクチャのトレーニング状態がないというギャップを埋める,darts-training-bench(dtb)というデータセットを提案する。
提案手法は,nas-bench-101,ネットワーク設計空間,提案するdtbに対して1.04$\times$1.56$\times$改善を行った。
関連論文リスト
- BaLeNAS: Differentiable Architecture Search via the Bayesian Learning
Rule [95.56873042777316]
近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。
本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。
ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
論文 参考訳（メタデータ） (2021-11-25T18:13:42Z) - AceNAS: Learning to Rank Ace Neural Architectures with Weak Supervision
of Weight Sharing [6.171090327531059]
空間から最高のアーキテクチャを選択するためのLearning to Rank手法を紹介します。
また,スーパーネットから得られた弱いラベルのアーキテクチャ表現を事前学習することで,重み共有から弱い管理を活用することを提案する。
NASベンチマークと大規模検索空間を用いた実験により,提案手法はSOTAよりも検索コストが大幅に削減された。
論文 参考訳（メタデータ） (2021-08-06T08:31:42Z) - Rapid Neural Architecture Search by Learning to Generate Graphs from
Datasets [42.993720854755736]
本稿では,データセットと事前学習ネットワークからなるデータベース上で1度トレーニングした,効率的なニューラルサーチ(NAS)フレームワークを提案する。
我々は,NAS-Bench 201の検索空間から,ImageNet-1Kのサブセットとアーキテクチャに基づいてメタ学習を行った。
論文 参考訳（メタデータ） (2021-07-02T06:33:59Z) - iDARTS: Differentiable Architecture Search with Stochastic Implicit
Gradients [75.41173109807735]
微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。
暗黙の関数定理に基づいてDARTSの過次計算に取り組む。
提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
論文 参考訳（メタデータ） (2021-06-21T00:44:11Z) - The Nonlinearity Coefficient -- A Practical Guide to Neural Architecture
Design [3.04585143845864]
我々は、アーキテクチャが比較的高いテストやトレーニング後のタスクのトレーニングエラーを達成できるかどうかを、トレーニングなしで予測できる手法を開発する。
その後、アーキテクチャ定義自体の観点でエラーを説明し、アーキテクチャを変更するツールを開発します。
最初の大きな貢献は、ニューラルネットワークアーキテクチャの'非線形性の度合い'がそのパフォーマンスの背後にある重要な因果的要因であることを示すことです。
論文 参考訳（メタデータ） (2021-05-25T20:47:43Z) - Contrastive Neural Architecture Search with Neural Architecture
Comparators [46.45102111497492]
neural architecture search(nas)における重要なステップの1つは、候補アーキテクチャのパフォーマンスを見積もることである。
既存のメソッドは、バリデーションパフォーマンスを直接使用するか、あるいは予測子を学習してパフォーマンスを見積もる。
本稿では,アーキテクチャ間の比較結果を報奨としてアーキテクチャ探索を行うCTNAS(Contrastive Neural Architecture Search)手法を提案する。
論文 参考訳（メタデータ） (2021-03-08T11:24:07Z) - Weak NAS Predictors Are All You Need [91.11570424233709]
最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。
私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。
NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
論文 参考訳（メタデータ） (2021-02-21T01:58:43Z) - Stage-Wise Neural Architecture Search [65.03109178056937]
ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。
これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。
各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。
しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
論文 参考訳（メタデータ） (2020-04-23T14:16:39Z) - PONAS: Progressive One-shot Neural Architecture Search for Very
Efficient Deployment [9.442139459221783]
我々は,進歩的NASとワンショット手法の利点を組み合わせた,プログレッシブワンショットニューラルアーキテクチャサーチ(PONAS)を提案する。
PONASは10秒で特別なネットワークのアーキテクチャを見つけることができる。
ImageNetの分類では、75.2%のトップ1の精度が得られる。
論文 参考訳（メタデータ） (2020-03-11T05:00:31Z) - Semi-Supervised Neural Architecture Search [185.0651567642238]
SemiNASは、多くの未ラベルアーキテクチャを活用する半教師付きニューラルアーキテクチャサーチ(NAS)アプローチである(評価なしで、ほぼコストがかからない)。
NASBench-101で94.02%のテスト精度を達成し、同じ数のアーキテクチャを使用する場合、すべてのベースラインを上回ります。
低リソース環境では97%のインテリジェンス率、ロバストネス環境では15%のテストエラー率、ベースラインではそれぞれ9%、7%の改善を実現している。
論文 参考訳（メタデータ） (2020-02-24T17:23:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。