Fugu-MT 論文翻訳(概要): PONAS: Progressive One-shot Neural Architecture Search for Very Efficient Deployment

論文の概要: PONAS: Progressive One-shot Neural Architecture Search for Very Efficient Deployment

arxiv url: http://arxiv.org/abs/2003.05112v2
Date: Thu, 9 Apr 2020 05:27:40 GMT
ステータス: 処理完了
システム内更新日: 2022-12-24 14:40:35.716076
Title: PONAS: Progressive One-shot Neural Architecture Search for Very Efficient Deployment
Title（参考訳）: PONAS: 極めて効率的なデプロイのためのプログレッシブワンショットニューラルネットワーク検索
Authors: Sian-Yao Huang and Wei-Ta Chu
Abstract要約: 我々は,進歩的NASとワンショット手法の利点を組み合わせた,プログレッシブワンショットニューラルアーキテクチャサーチ(PONAS)を提案する。 PONASは10秒で特別なネットワークのアーキテクチャを見つけることができる。 ImageNetの分類では、75.2%のトップ1の精度が得られる。
参考スコア（独自算出の注目度）: 9.442139459221783
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We achieve very efficient deep learning model deployment that designs neural network architectures to fit different hardware constraints. Given a constraint, most neural architecture search (NAS) methods either sample a set of sub-networks according to a pre-trained accuracy predictor, or adopt the evolutionary algorithm to evolve specialized networks from the supernet. Both approaches are time consuming. Here our key idea for very efficient deployment is, when searching the architecture space, constructing a table that stores the validation accuracy of all candidate blocks at all layers. For a stricter hardware constraint, the architecture of a specialized network can be very efficiently determined based on this table by picking the best candidate blocks that yield the least accuracy loss. To accomplish this idea, we propose Progressive One-shot Neural Architecture Search (PONAS) that combines advantages of progressive NAS and one-shot methods. In PONAS, we propose a two-stage training scheme, including the meta training stage and the fine-tuning stage, to make the search process efficient and stable. During search, we evaluate candidate blocks in different layers and construct the accuracy table that is to be used in deployment. Comprehensive experiments verify that PONAS is extremely flexible, and is able to find architecture of a specialized network in around 10 seconds. In ImageNet classification, 75.2% top-1 accuracy can be obtained, which is comparable with the state of the arts.
Abstract（参考訳）: 異なるハードウェア制約に適合するようにニューラルネットワークアーキテクチャを設計する、非常に効率的なディープラーニングモデルデプロイメントを実現しています。制約が与えられた場合、ほとんどのニューラルネットワーク探索(nas)メソッドは、事前訓練された精度予測器に従って一連のサブネットワークをサンプリングするか、スーパーネットから特殊なネットワークを進化させる進化的アルゴリズムを採用するかのどちらかである。どちらのアプローチも時間がかかる。ここで、非常に効率的なデプロイメントのキーとなるアイデアは、アーキテクチャ空間を検索する際に、すべてのレイヤですべての候補ブロックの検証精度を格納するテーブルを構築することです。より厳密なハードウェア制約に対して、この表に基づいて、最小精度の損失をもたらす最適な候補ブロックを選択することにより、特殊ネットワークのアーキテクチャを極めて効率的に決定することができる。このアイデアを実現するために,プログレッシブNASとワンショット手法の利点を組み合わせたプログレッシブワンショットニューラルアーキテクチャサーチ(PONAS)を提案する。 ponasでは,メタトレーニングステージと微調整ステージを含む2段階のトレーニングスキームを提案する。探索中、異なるレイヤの候補ブロックを評価し、デプロイに使用する精度テーブルを構築する。総合的な実験では、PONASは極めて柔軟であり、約10秒で特殊なネットワークのアーキテクチャを見つけることができる。 imagenet分類では、75.2%のtop-1精度が得られ、これはstate of the artsに匹敵する。

関連論文リスト

GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
論文参考訳（メタデータ） (2023-05-15T12:44:54Z)
OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
論文参考訳（メタデータ） (2023-03-23T21:30:29Z)
DAS: Neural Architecture Search via Distinguishing Activation Score [21.711985665733653]
ニューラルアーキテクチャサーチ(NAS)は、特定のタスクに対して優れたアーキテクチャを探索する自動手法である。 Darts-training-bench(DTB)と呼ばれるデータセットを提案し、既存のデータセットでアーキテクチャのトレーニング状態が存在しないギャップを埋める。提案手法は,NAS-Bench-101,Network Design Spaces,提案DBBの1.04$times$ - 1.56$times$の改善を実現している。
論文参考訳（メタデータ） (2022-12-23T04:02:46Z)
Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
論文参考訳（メタデータ） (2022-06-02T17:58:54Z)
AceNAS: Learning to Rank Ace Neural Architectures with Weak Supervision of Weight Sharing [6.171090327531059]
空間から最高のアーキテクチャを選択するためのLearning to Rank手法を紹介します。また,スーパーネットから得られた弱いラベルのアーキテクチャ表現を事前学習することで,重み共有から弱い管理を活用することを提案する。 NASベンチマークと大規模検索空間を用いた実験により,提案手法はSOTAよりも検索コストが大幅に削減された。
論文参考訳（メタデータ） (2021-08-06T08:31:42Z)
OPANAS: One-Shot Path Aggregation Network Architecture Search for Object Detection [82.04372532783931]
近年、ニューラルアーキテクチャサーチ (NAS) が特徴ピラミッドネットワーク (FPN) の設計に活用されている。本稿では,探索効率と検出精度を大幅に向上させる,ワンショットパス集約ネットワークアーキテクチャ探索(OPANAS)アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-03-08T01:48:53Z)
Weak NAS Predictors Are All You Need [91.11570424233709]
最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
論文参考訳（メタデータ） (2021-02-21T01:58:43Z)
Smooth Variational Graph Embeddings for Efficient Neural Architecture Search [41.62970837629573]
本研究では,探索空間からニューラルネットワークをスムーズにエンコードし,正確に再構築できる2面変分グラフオートエンコーダを提案する。 ENASアプローチ,NAS-Bench-101およびNAS-Bench-201探索空間で定義されたニューラルネットワークに対する提案手法の評価を行った。
論文参考訳（メタデータ） (2020-10-09T17:05:41Z)
DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
論文参考訳（メタデータ） (2020-03-27T17:55:21Z)
DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
論文参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。