論文の概要: ShiftNAS: Improving One-shot NAS via Probability Shift
- arxiv url: http://arxiv.org/abs/2307.08300v1
- Date: Mon, 17 Jul 2023 07:53:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 14:23:25.030265
- Title: ShiftNAS: Improving One-shot NAS via Probability Shift
- Title（参考訳）: ShiftNAS: 確率シフトによるワンショットNASの改善
- Authors: Mingyang Zhang, Xinyi Yu, Haodong Zhao, Linlin Ou
- Abstract要約: ネットワークの複雑さに基づいてサンプリング確率を調整する手法であるShiftNASを提案する。
我々は、畳み込みニューラルネットワーク(CNN)や視覚変換器(ViT)を含む複数の視覚ネットワークモデルに対するアプローチを評価する。
ImageNetの実験結果によると、ShiftNASは追加消費なしでワンショットNASの性能を向上させることができる。
- 参考スコア（独自算出の注目度）: 1.3537414663819973
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One-shot Neural architecture search (One-shot NAS) has been proposed as a
time-efficient approach to obtain optimal subnet architectures and weights
under different complexity cases by training only once. However, the subnet
performance obtained by weight sharing is often inferior to the performance
achieved by retraining. In this paper, we investigate the performance gap and
attribute it to the use of uniform sampling, which is a common approach in
supernet training. Uniform sampling concentrates training resources on subnets
with intermediate computational resources, which are sampled with high
probability. However, subnets with different complexity regions require
different optimal training strategies for optimal performance. To address the
problem of uniform sampling, we propose ShiftNAS, a method that can adjust the
sampling probability based on the complexity of subnets. We achieve this by
evaluating the performance variation of subnets with different complexity and
designing an architecture generator that can accurately and efficiently provide
subnets with the desired complexity. Both the sampling probability and the
architecture generator can be trained end-to-end in a gradient-based manner.
With ShiftNAS, we can directly obtain the optimal model architecture and
parameters for a given computational complexity. We evaluate our approach on
multiple visual network models, including convolutional neural networks (CNNs)
and vision transformers (ViTs), and demonstrate that ShiftNAS is
model-agnostic. Experimental results on ImageNet show that ShiftNAS can improve
the performance of one-shot NAS without additional consumption. Source codes
are available at https://github.com/bestfleer/ShiftNAS.
- Abstract（参考訳）: ワンショットニューラルアーキテクチャサーチ(ワンショットNAS)は、異なる複雑性ケース下で最適なサブネットアーキテクチャと重みを得るための時間効率のアプローチとして提案されている。
しかし、重み付けによって得られるサブネットの性能は再訓練による性能よりも劣ることが多い。
本稿では,超ネットトレーニングにおける一般的な手法である一様サンプリングの利用による性能ギャップについて検討する。
一様サンプリングは、高い確率でサンプリングされる中間計算リソースを持つサブネットにトレーニングリソースを集中させる。
しかし、異なる複雑性領域を持つサブネットは、最適な性能のために異なる最適なトレーニング戦略を必要とする。
そこで本研究では,一様サンプリング問題に対処するために,サブネットの複雑性に基づいてサンプリング確率を調整する方法であるshiftnasを提案する。
本研究では,異なる複雑さでサブネットの性能変化を評価し,その複雑さを正確にかつ効率的に提供するアーキテクチャジェネレータを設計する。
サンプリング確率とアーキテクチャジェネレータの両方を勾配に基づくエンドツーエンドで訓練することができる。
ShiftNASでは、与えられた計算複雑性に対して最適なモデルアーキテクチャとパラメータを直接取得できる。
我々は、畳み込みニューラルネットワーク(CNN)やビジョントランスフォーマー(ViT)を含む複数の視覚ネットワークモデルに対するアプローチを評価し、ShiftNASがモデルに依存しないことを示す。
ImageNetの実験結果によると、ShiftNASは追加消費なしでワンショットNASの性能を向上させることができる。
ソースコードはhttps://github.com/bestfleer/shiftnasで入手できる。
関連論文リスト
- Neural Architecture Search using Particle Swarm and Ant Colony
Optimization [0.0]
本稿では,OpenNASのSwarm Intelligence (SI)コンポーネントを用いたCNNのトレーニングと最適化に焦点を当てる。
画像の分類において,OpenNAS(Neural Architecture Search)のオープンソースツールを統合するシステムを開発した。
論文 参考訳（メタデータ） (2024-03-06T15:23:26Z) - DiffusionNAG: Predictor-guided Neural Architecture Generation with Diffusion Models [56.584561770857306]
本研究では拡散モデルに基づく新しい条件付きニューラルネットワーク生成(NAG)フレームワークDiffusionNAGを提案する。
具体的には、ニューラルネットワークを有向グラフとみなし、それらを生成するためのグラフ拡散モデルを提案する。
本研究では,2つの予測型NAS(Transferable NAS)とベイズ最適化(BO)に基づくNAS(Bayesian Optimization)の2つのシナリオにおいて,DiffusionNAGの有効性を検証する。
BOベースのアルゴリズムに統合されると、DiffusionNAGは既存のBOベースのNASアプローチ、特にImageNet 1Kデータセット上の大規模なMobileNetV3検索スペースよりも優れている。
論文 参考訳（メタデータ） (2023-05-26T13:58:18Z) - Pi-NAS: Improving Neural Architecture Search by Reducing Supernet
Training Consistency Shift [128.32670289503025]
最近提案されたニューラルアーキテクチャサーチ (NAS) 手法は,スーパーネット上で数十億のアーキテクチャを共存させ,その潜在的な精度を推定する。
アーキテクチャの予測精度と実際の能力のランキング相関は誤りであり、既存のNAS手法のジレンマを引き起こす。
このランク付け相関問題は,特徴シフトやパラメータシフトを含む,スーパーネットトレーニングの整合性シフトに起因している。
この2つのシフトを、Pi-NASと呼ばれる非自明なスーパーネットPiモデルを用いて同時に解決する。
論文 参考訳（メタデータ） (2021-08-22T09:08:48Z) - Task-Adaptive Neural Network Retrieval with Meta-Contrastive Learning [34.27089256930098]
本稿では,与えられたタスクに対して最適な事前学習ネットワークを検索するニューラルネットワーク検索手法を提案する。
データセットとネットワークとの類似性を最大化するために、コントラスト損失を伴うクロスモーダルな潜在空間をメタラーニングすることによって、このフレームワークを訓練する。
提案手法の有効性を,既存のNASベースラインに対して10個の実世界のデータセット上で検証する。
論文 参考訳（メタデータ） (2021-03-02T06:30:51Z) - Trilevel Neural Architecture Search for Efficient Single Image
Super-Resolution [127.92235484598811]
本稿では,高効率単一画像超解像(SR)のための3レベルニューラルネットワーク探索法を提案する。
離散探索空間をモデル化するために、離散探索空間に新たな連続緩和を適用し、ネットワークパス、セル操作、カーネル幅の階層的混合を構築する。
階層型スーパーネット方式による最適化を行うため,効率的な探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-17T12:19:49Z) - DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。
ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
論文 参考訳（メタデータ） (2020-05-29T09:02:16Z) - Neural Architecture Transfer [20.86857986471351]
既存のアプローチでは、ハードウェアまたは目的のデプロイメント仕様の完全な検索が1つ必要である。
この制限を克服するために、ニューラルネットワーク転送(NAT)を提案する。
NATは、複数の競合する目標の下で競合するタスク固有のカスタムモデルを効率的に生成するように設計されている。
論文 参考訳（メタデータ） (2020-05-12T15:30:36Z) - MTL-NAS: Task-Agnostic Neural Architecture Search towards
General-Purpose Multi-Task Learning [71.90902837008278]
汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。
異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。
また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-03-31T09:49:14Z) - DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution
Pruning [135.27931587381596]
DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。
検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。
提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
論文 参考訳（メタデータ） (2019-05-28T06:35:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。