論文の概要: Learning Where To Look -- Generative NAS is Surprisingly Efficient
- arxiv url: http://arxiv.org/abs/2203.08734v1
- Date: Wed, 16 Mar 2022 16:27:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-17 14:17:35.974603
- Title: Learning Where To Look -- Generative NAS is Surprisingly Efficient
- Title（参考訳）: 見るべき場所を学ぶ -- 生成的なnasは驚くほど効率的
- Authors: Jovita Lukasik, Steffen Jung, Margret Keuper
- Abstract要約: 本稿では,より有望な潜在部分空間からサンプルを生成することを反復的に学習する,代理予測器と組み合わせた生成モデルを提案する。
このアプローチは、クエリ量を低く保ちながら、非常に効率的で効率的なアーキテクチャ検索をもたらす。
- 参考スコア（独自算出の注目度）: 11.83842808044211
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The efficient, automated search for well-performing neural architectures
(NAS) has drawn increasing attention in the recent past. Thereby, the
predominant research objective is to reduce the necessity of costly evaluations
of neural architectures while efficiently exploring large search spaces. To
this aim, surrogate models embed architectures in a latent space and predict
their performance, while generative models for neural architectures enable
optimization-based search within the latent space the generator draws from.
Both, surrogate and generative models, have the aim of facilitating
query-efficient search in a well-structured latent space. In this paper, we
further improve the trade-off between query-efficiency and promising
architecture generation by leveraging advantages from both, efficient surrogate
models and generative design. To this end, we propose a generative model,
paired with a surrogate predictor, that iteratively learns to generate samples
from increasingly promising latent subspaces. This approach leads to very
effective and efficient architecture search, while keeping the query amount
low. In addition, our approach allows in a straightforward manner to jointly
optimize for multiple objectives such as accuracy and hardware latency. We show
the benefit of this approach not only w.r.t. the optimization of architectures
for highest classification accuracy but also in the context of hardware
constraints and outperform state-of-the art methods on several NAS benchmarks
for single and multiple objectives. We also achieve state-of-the-art
performance on ImageNet.
- Abstract（参考訳）: 高性能なニューラルアーキテクチャ(NAS)の効率的な自動検索は、近年注目を集めている。
これにより、大規模な探索空間を効率的に探索しながら、ニューラルネットワークアーキテクチャのコスト評価の必要性を低減することが主な研究目的である。
この目的のために、サーロゲートモデルは潜在空間にアーキテクチャを埋め込んでその性能を予測し、一方ニューラルアーキテクチャの生成モデルは、ジェネレータが引き出す潜在空間内の最適化ベースの探索を可能にする。
surrogateモデルとgenerativeモデルの両方が、よく構造化された潜在空間におけるクエリー効率の高い検索を容易にすることを目的としている。
本稿では,効率的なサロゲートモデルと生成設計の両方の利点を生かして,クエリ効率と有望なアーキテクチャ生成のトレードオフをさらに改善する。
そこで本研究では, サロゲート予測器と組み合わせた生成モデルを提案し, 有望な潜在部分空間からのサンプル生成を反復的に学習する。
このアプローチはクエリ量を低く保ちながら、非常に効率的で効率的なアーキテクチャ検索をもたらす。
さらに,本手法は,精度やハードウェア遅延といった複数の目的に対して,直接的に最適化することができる。
このアプローチの利点は、高い分類精度のためのアーキテクチャの最適化だけでなく、ハードウェア制約や、複数のNASベンチマークにおいて、単一および複数目的のための最先端の手法よりも優れていることを示す。
ImageNetでも最先端のパフォーマンスを実現しています。
関連論文リスト
- POMONAG: Pareto-Optimal Many-Objective Neural Architecture Generator [4.09225917049674]
Transferable NASが登場し、データセット依存からタスク依存への探索プロセスを一般化した。
本稿では多目的拡散プロセスを通じて拡散NAGを拡張するPOMONAGを紹介する。
結果は、NAS201とMobileNetV3の2つの検索スペースで検証され、15の画像分類データセットで評価された。
論文 参考訳（メタデータ） (2024-09-30T16:05:29Z) - A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。
NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。
SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
論文 参考訳（メタデータ） (2024-07-22T12:46:22Z) - Learning Interpretable Models Through Multi-Objective Neural
Architecture Search [0.9990687944474739]
本稿では,タスク性能と「イントロスペクタビリティ」の両方を最適化するフレームワークを提案する。
タスクエラーとイントロスペクタビリティを共同で最適化することは、エラー内で実行されるより不整合でデバッグ可能なアーキテクチャをもたらすことを実証する。
論文 参考訳（メタデータ） (2021-12-16T05:50:55Z) - iDARTS: Differentiable Architecture Search with Stochastic Implicit
Gradients [75.41173109807735]
微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。
暗黙の関数定理に基づいてDARTSの過次計算に取り組む。
提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
論文 参考訳（メタデータ） (2021-06-21T00:44:11Z) - Evolving Search Space for Neural Architecture Search [70.71153433676024]
最適化された検索空間サブセットを維持することにより,前回の取り組みから得られた結果を増幅するニューラルサーチ空間進化(NSE)方式を提案する。
我々は333万のFLOPでImageNet上で77.3%のトップ1リトレーニング精度を実現し、最先端の性能を得た。
遅延制約が適用された場合、我々の結果は、77.9%のTop-1再トレーニング精度を持つ、以前の最高のパフォーマンスのモバイルモデルよりも優れた性能が得られる。
論文 参考訳（メタデータ） (2020-11-22T01:11:19Z) - Smooth Variational Graph Embeddings for Efficient Neural Architecture
Search [41.62970837629573]
本研究では,探索空間からニューラルネットワークをスムーズにエンコードし,正確に再構築できる2面変分グラフオートエンコーダを提案する。
ENASアプローチ,NAS-Bench-101およびNAS-Bench-201探索空間で定義されたニューラルネットワークに対する提案手法の評価を行った。
論文 参考訳（メタデータ） (2020-10-09T17:05:41Z) - Off-Policy Reinforcement Learning for Efficient and Effective GAN
Architecture Search [50.40004966087121]
本稿では,GANアーキテクチャ探索のための強化学習に基づくニューラルアーキテクチャ探索手法を提案する。
鍵となる考え方は、よりスムーズなアーキテクチャサンプリングのためのマルコフ決定プロセス(MDP)として、GANアーキテクチャ探索問題を定式化することである。
我々は,従来の政策によって生成されたサンプルを効率的に活用する,非政治的なGANアーキテクチャ探索アルゴリズムを利用する。
論文 参考訳（メタデータ） (2020-07-17T18:29:17Z) - Interpretable Neural Architecture Search via Bayesian Optimisation with
Weisfeiler-Lehman Kernels [17.945881805452288]
現在のニューラルアーキテクチャサーチ(NAS)戦略は、単一の優れたアーキテクチャを見つけることに集中している。
そこで我々は,Weisfeiler-Lehmanグラフカーネルとガウス過程サロゲートを組み合わせたNASに対するベイズ最適化手法を提案する。
提案手法は,有用なネットワーク特徴とそれに伴うネットワーク性能への影響を発見することによって,解釈可能性を実現する。
論文 参考訳（メタデータ） (2020-06-13T04:10:34Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z) - Stage-Wise Neural Architecture Search [65.03109178056937]
ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。
これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。
各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。
しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
論文 参考訳（メタデータ） (2020-04-23T14:16:39Z) - Neural Architecture Generator Optimization [9.082931889304723]
我々はまず,NASを最適ネットワーク生成器の探索問題として検討する。
本稿では,非常に多様なネットワークタイプを表現可能な,階層的でグラフベースの検索空間を提案する。
論文 参考訳（メタデータ） (2020-04-03T06:38:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。