論文の概要: Cream of the Crop: Distilling Prioritized Paths For One-Shot Neural
Architecture Search
- arxiv url: http://arxiv.org/abs/2010.15821v3
- Date: Mon, 12 Apr 2021 06:30:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-01 22:17:28.310428
- Title: Cream of the Crop: Distilling Prioritized Paths For One-Shot Neural
Architecture Search
- Title（参考訳）: cream of the crop: ワンショットニューラルネットワーク探索のための優先経路の蒸留
- Authors: Houwen Peng, Hao Du, Hongyuan Yu, Qi Li, Jing Liao, Jianlong Fu
- Abstract要約: ワンショット重み共有手法は、高効率と競争性能のため、最近、ニューラルアーキテクチャ探索において大きな注目を集めている。
この問題を軽減するため, 単純で効果的な蒸留法を提案する。
本稿では、訓練中に優れた性能を示すアーキテクチャ候補を指す優先順位付けパスの概念を紹介する。
優先順位付けされた経路は、その性能や複雑さに応じて、ハエで変化するため、最終的な経路は作物のクリームである。
- 参考スコア（独自算出の注目度）: 60.965024145243596
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One-shot weight sharing methods have recently drawn great attention in neural
architecture search due to high efficiency and competitive performance.
However, weight sharing across models has an inherent deficiency, i.e.,
insufficient training of subnetworks in hypernetworks. To alleviate this
problem, we present a simple yet effective architecture distillation method.
The central idea is that subnetworks can learn collaboratively and teach each
other throughout the training process, aiming to boost the convergence of
individual models. We introduce the concept of prioritized path, which refers
to the architecture candidates exhibiting superior performance during training.
Distilling knowledge from the prioritized paths is able to boost the training
of subnetworks. Since the prioritized paths are changed on the fly depending on
their performance and complexity, the final obtained paths are the cream of the
crop. We directly select the most promising one from the prioritized paths as
the final architecture, without using other complex search methods, such as
reinforcement learning or evolution algorithms. The experiments on ImageNet
verify such path distillation method can improve the convergence ratio and
performance of the hypernetwork, as well as boosting the training of
subnetworks. The discovered architectures achieve superior performance compared
to the recent MobileNetV3 and EfficientNet families under aligned settings.
Moreover, the experiments on object detection and more challenging search space
show the generality and robustness of the proposed method. Code and models are
available at https://github.com/microsoft/cream.git.
- Abstract（参考訳）: ワンショット重み共有手法は、高効率と競争性能のため、最近、ニューラルアーキテクチャ探索において大きな注目を集めている。
しかし、モデル間での重量共有は本質的に不足しており、すなわちハイパーネットワークにおけるサブネットワークのトレーニングが不十分である。
この問題を軽減するため, 単純で効果的な蒸留法を提案する。
中心となる考え方は、サブネットワークが協調的に学習し、トレーニングプロセスを通じて互いに教え合い、個々のモデルの収束を促進することにある。
我々は、トレーニング中に優れた性能を示すアーキテクチャ候補を指す優先順位付きパスの概念を紹介する。
優先順位付けされた経路から知識を希釈することで、サブネットワークのトレーニングを促進することができる。
優先順位付けされた経路は、その性能や複雑さに応じて、ハエで変化するため、最終的な経路は作物のクリームである。
我々は、強化学習や進化アルゴリズムのような他の複雑な探索手法を使わずに、最優先の経路を最終アーキテクチャとして選択する。
ImageNetの実験では,これらのパス蒸留法によりハイパーネットワークの収束率と性能が向上し,サブネットワークのトレーニングが向上することを確認した。
発見されたアーキテクチャは、最近のMobileNetV3やEfficientNetファミリと整列した設定で比較すると、優れたパフォーマンスを実現している。
さらに,物体検出実験とより挑戦的な探索空間により,提案手法の汎用性と堅牢性を示す。
コードとモデルはhttps://github.com/microsoft/cream.gitで入手できる。
関連論文リスト
- FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。
実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
論文 参考訳（メタデータ） (2022-07-04T09:05:25Z) - Pruning-as-Search: Efficient Neural Architecture Search via Channel
Pruning and Structural Reparameterization [50.50023451369742]
プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。
提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
論文 参考訳（メタデータ） (2022-06-02T17:58:54Z) - Automatic Block-wise Pruning with Auxiliary Gating Structures for Deep
Convolutional Neural Networks [9.293334856614628]
本稿では,補助ゲーティング構造を有する新しいネットワーク切断法を提案する。
実験により,本手法は分類タスクの最先端圧縮性能を実現することができることを示した。
論文 参考訳（メタデータ） (2022-05-07T09:03:32Z) - DAFormer: Improving Network Architectures and Training Strategies for
Domain-Adaptive Semantic Segmentation [99.88539409432916]
教師なしドメイン適応(UDA)プロセスについて検討する。
ベンチマーク結果に基づいて,新しい UDA 手法である DAFormer を提案する。
DAFormerは,GTA->Cityscapesの10.8 mIoU,Synthia->Cityscapesの5.4 mIoUにより,最先端の性能を大幅に向上させる。
論文 参考訳（メタデータ） (2021-11-29T19:00:46Z) - Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。
低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
論文 参考訳（メタデータ） (2021-06-16T15:57:51Z) - Distilling Knowledge via Knowledge Review [69.15050871776552]
教師と学生のネットワーク間の接続経路のクロスレベル要因を研究し、その大きな重要性を明らかにします。
知識蒸留において初めて, クロスステージ接続経路が提案されている。
最終的に設計されたネストでコンパクトなフレームワークは、無視できるオーバーヘッドを必要とし、さまざまなタスクで他のメソッドよりも優れています。
論文 参考訳（メタデータ） (2021-04-19T04:36:24Z) - Task-Adaptive Neural Network Retrieval with Meta-Contrastive Learning [34.27089256930098]
本稿では,与えられたタスクに対して最適な事前学習ネットワークを検索するニューラルネットワーク検索手法を提案する。
データセットとネットワークとの類似性を最大化するために、コントラスト損失を伴うクロスモーダルな潜在空間をメタラーニングすることによって、このフレームワークを訓練する。
提案手法の有効性を,既存のNASベースラインに対して10個の実世界のデータセット上で検証する。
論文 参考訳（メタデータ） (2021-03-02T06:30:51Z) - Transfer Learning Between Different Architectures Via Weights Injection [0.0]
本稿では,計算量的に安価なインジェクション手法を用いて,異なるアーキテクチャ間のパラメータ転送のためのナイーブアルゴリズムを提案する。
第一の目的は、ニューラルネットワークのトレーニングをスクラッチからスピードアップすることだ。
論文 参考訳（メタデータ） (2021-01-07T20:42:35Z) - MixPath: A Unified Approach for One-shot Neural Architecture Search [13.223963114415552]
本稿では,異なる特徴統計を正規化するためのシャドウバッチ正規化(SBN)と呼ばれる新しいメカニズムを提案する。
我々は、統合されたマルチパスワンショットアプローチをMixPathと呼び、ImageNet上で最先端の結果を得る一連のモデルを生成する。
論文 参考訳（メタデータ） (2020-01-16T15:24:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。