論文の概要: Efficient Architecture Search for Diverse Tasks
- arxiv url: http://arxiv.org/abs/2204.07554v1
- Date: Fri, 15 Apr 2022 17:21:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-18 15:02:41.978187
- Title: Efficient Architecture Search for Diverse Tasks
- Title（参考訳）: 多様なタスクの効率的なアーキテクチャ探索
- Authors: Junhong Shen, Mikhail Khodak, Ameet Talwalkar
- Abstract要約: 多様な問題を効率的に解くために,ニューラルネットワーク探索(NAS)について検討する。
本稿では,畳み込みのフーリエ対角化を用いた混合動作を計算する,微分可能なNASアルゴリズムであるDASHを紹介する。
DASH-Bench-360は多様な領域におけるNASベンチマークのために設計された10のタスクスイートである。
- 参考スコア（独自算出の注目度）: 29.83517145790238
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While neural architecture search (NAS) has enabled automated machine learning
(AutoML) for well-researched areas, its application to tasks beyond computer
vision is still under-explored. As less-studied domains are precisely those
where we expect AutoML to have the greatest impact, in this work we study NAS
for efficiently solving diverse problems. Seeking an approach that is fast,
simple, and broadly applicable, we fix a standard convolutional network (CNN)
topology and propose to search for the right kernel sizes and dilations its
operations should take on. This dramatically expands the model's capacity to
extract features at multiple resolutions for different types of data while only
requiring search over the operation space. To overcome the efficiency
challenges of naive weight-sharing in this search space, we introduce DASH, a
differentiable NAS algorithm that computes the mixture-of-operations using the
Fourier diagonalization of convolution, achieving both a better asymptotic
complexity and an up-to-10x search time speedup in practice. We evaluate DASH
on NAS-Bench-360, a suite of ten tasks designed for benchmarking NAS in diverse
domains. DASH outperforms state-of-the-art methods in aggregate, attaining the
best-known automated performance on seven tasks. Meanwhile, on six of the ten
tasks, the combined search and retraining time is less than 2x slower than
simply training a CNN backbone that is far less accurate.
- Abstract（参考訳）: neural architecture search(nas)は、よく研究された領域で自動機械学習(automl)を可能にするが、コンピュータビジョン以外のタスクへの応用はまだ未検討である。
学習不足のドメインは、automlが最も大きな影響を与えると私たちが期待する領域であるので、本研究では、nasを効率的に様々な問題を解決するために研究します。
高速で単純で広く適用可能なアプローチを求めて、標準畳み込みネットワーク(cnn)トポロジーを修正し、その操作が行うべき適切なカーネルサイズと拡張を探すことを提案する。
これによりモデルの容量が劇的に拡大し、異なるタイプのデータに対して複数の解像度で特徴を抽出することができる。
この検索空間におけるナイーブウェイトシェアリングの効率上の課題を克服するため,我々は,畳み込みのフーリエ対角化を用いて操作の混合を計算するための微分可能なnasアルゴリズムであるdashを導入する。
NAS-Bench-360は,多様な領域でNASをベンチマークするために設計された10のタスクからなる。
dashは最先端のメソッドをアグリゲートで上回り、7つのタスクで最もよく知られた自動パフォーマンスを達成します。
一方、10のタスクのうち6つのタスクでは、検索と再トレーニングを組み合わせた時間は、単にCNNのバックボーンをトレーニングするよりも2倍も遅い。
関連論文リスト
- Delta-NAS: Difference of Architecture Encoding for Predictor-based Evolutionary Neural Architecture Search [5.1331676121360985]
我々は,NASの微粒化を低コストで行うアルゴリズムを構築した。
類似ネットワークの精度の差を予測することにより,問題を低次元空間に投影することを提案する。
論文 参考訳（メタデータ） (2024-11-21T02:43:32Z) - A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。
NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。
SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
論文 参考訳（メタデータ） (2024-07-22T12:46:22Z) - TransNAS-Bench-101: Improving Transferability and Generalizability of
Cross-Task Neural Architecture Search [98.22779489340869]
本研究では、7つの視覚タスクにわたるネットワーク性能を含むベンチマークデータセットであるTransNAS-Bench-101を提案する。
セルレベルの検索空間とマクロレベルの検索空間という,基本的に異なるタイプの検索空間を探索する。
7つのタスクで7,352のバックボーンが評価され、詳細なトレーニング情報を備えた51,464のトレーニングモデルが提供される。
論文 参考訳（メタデータ） (2021-05-25T12:15:21Z) - Efficient Model Performance Estimation via Feature Histories [27.008927077173553]
ニューラルネットワーク設計のタスクにおける重要なステップは、モデルの性能を評価することである。
この研究では、トレーニングの初期段階におけるネットワークの機能の進化履歴を使用して、プロキシ分類器を構築します。
本手法は,複数の探索アルゴリズムと組み合わせ,より幅広いタスクに対するより良い解を見つけることができることを示す。
論文 参考訳（メタデータ） (2021-03-07T20:41:57Z) - Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。
9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
論文 参考訳（メタデータ） (2020-09-08T15:51:23Z) - CATCH: Context-based Meta Reinforcement Learning for Transferrable
Architecture Search [102.67142711824748]
CATCHは、転送可能なarChitecture searcHのための、Context-bAsed meTa強化学習アルゴリズムである。
メタラーニングとRLの組み合わせにより、CATCHは検索空間に依存しないまま、新しいタスクに効率的に適応できる。
また、ImageNet、COCO、Cityscapesの競合ネットワークとしてクロスドメインアーキテクチャサーチを扱うこともできる。
論文 参考訳（メタデータ） (2020-07-18T09:35:53Z) - MTL-NAS: Task-Agnostic Neural Architecture Search towards
General-Purpose Multi-Task Learning [71.90902837008278]
汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。
異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。
また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-03-31T09:49:14Z) - DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution
Pruning [135.27931587381596]
DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。
検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。
提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
論文 参考訳（メタデータ） (2019-05-28T06:35:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。