論文の概要: Pi-NAS: Improving Neural Architecture Search by Reducing Supernet Training Consistency Shift

• arxiv url: http://arxiv.org/abs/2108.09671v1
• Date: Sun, 22 Aug 2021 09:08:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-24 15:59:33.347017
• Title: Pi-NAS: Improving Neural Architecture Search by Reducing Supernet Training Consistency Shift
• Title（参考訳）: Pi-NAS: スーパーネットトレーニング一貫性シフトの低減によるニューラルネットワーク検索の改善
• Authors: Jiefeng Peng, Jiqi Zhang, Changlin Li, Guangrun Wang, Xiaodan Liang, Liang Lin
• Abstract要約: 最近提案されたニューラルアーキテクチャサーチ (NAS) 手法は,スーパーネット上で数十億のアーキテクチャを共存させ,その潜在的な精度を推定する。 アーキテクチャの予測精度と実際の能力のランキング相関は誤りであり、既存のNAS手法のジレンマを引き起こす。 このランク付け相関問題は,特徴シフトやパラメータシフトを含む,スーパーネットトレーニングの整合性シフトに起因している。 この2つのシフトを、Pi-NASと呼ばれる非自明なスーパーネットPiモデルを用いて同時に解決する。
• 参考スコア（独自算出の注目度）: 128.32670289503025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently proposed neural architecture search (NAS) methods co-train billions of architectures in a supernet and estimate their potential accuracy using the network weights detached from the supernet. However, the ranking correlation between the architectures' predicted accuracy and their actual capability is incorrect, which causes the existing NAS methods' dilemma. We attribute this ranking correlation problem to the supernet training consistency shift, including feature shift and parameter shift. Feature shift is identified as dynamic input distributions of a hidden layer due to random path sampling. The input distribution dynamic affects the loss descent and finally affects architecture ranking. Parameter shift is identified as contradictory parameter updates for a shared layer lay in different paths in different training steps. The rapidly-changing parameter could not preserve architecture ranking. We address these two shifts simultaneously using a nontrivial supernet-Pi model, called Pi-NAS. Specifically, we employ a supernet-Pi model that contains cross-path learning to reduce the feature consistency shift between different paths. Meanwhile, we adopt a novel nontrivial mean teacher containing negative samples to overcome parameter shift and model collision. Furthermore, our Pi-NAS runs in an unsupervised manner, which can search for more transferable architectures. Extensive experiments on ImageNet and a wide range of downstream tasks (e.g., COCO 2017, ADE20K, and Cityscapes) demonstrate the effectiveness and universality of our Pi-NAS compared to supervised NAS. See Codes: https://github.com/Ernie1/Pi-NAS.
• Abstract（参考訳）: 最近提案されたニューラルアーキテクチャサーチ (NAS) 手法は、スーパーネット内の数十億のアーキテクチャを共存させ、スーパーネットから分離したネットワーク重みを用いてその潜在的な精度を推定する。 しかし、予測されたアーキテクチャの精度と実際の能力とのランキングの相関は誤りであり、既存のnasメソッドのジレンマを引き起こす。 このランク付け相関問題は,特徴シフトやパラメータシフトを含む,スーパーネットトレーニングの整合性シフトに起因する。 特徴シフトはランダムパスサンプリングによる隠蔽層の動的入力分布として同定される。 入力分布は損失降下に影響を与え、最終的にアーキテクチャのランキングに影響を及ぼす。 パラメータシフトは、異なるトレーニングステップで異なるパスに配置された共有層に対する矛盾パラメータ更新として識別される。 急速に変化するパラメータは、アーキテクチャのランキングを保存できませんでした。 この2つのシフトを、Pi-NASと呼ばれる非自明なスーパーネットPiモデルを用いて同時に解決する。 具体的には,クロスパス学習を含むスーパーネットpiモデルを用いて,異なるパス間の機能一貫性のシフトを低減する。 一方,パラメータシフトやモデル衝突を克服するために,負のサンプルを含む新しい非自明な平均教師を採用する。 さらに、我々のPi-NASは教師なしの方法で動作し、より転送可能なアーキテクチャを検索できる。 ImageNetと幅広い下流タスク(COCO 2017、ADE20K、Cityscapesなど)に関する大規模な実験は、監督されたNASと比較して、Pi-NASの有効性と普遍性を示している。 コード:https://github.com/Ernie1/Pi-NASを参照。

関連論文リスト

• The devil is in discretization discrepancy. Robustifying Differentiable NAS with Single-Stage Searching Protocol [2.4300749758571905]
  勾配に基づく手法は離散化誤差に悩まされ、最終的なアーキテクチャを得る過程を著しく損なう可能性がある。 本稿では,連続的なアーキテクチャの復号化に依存しない新しい単一ステージ探索プロトコルを提案する。 本手法は,Cityscapes検証データセットの検索段階において75.3%の精度で他のDNAS法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T15:44:53Z)
• ShiftNAS: Improving One-shot NAS via Probability Shift [1.3537414663819973]
  ネットワークの複雑さに基づいてサンプリング確率を調整する手法であるShiftNASを提案する。 我々は、畳み込みニューラルネットワーク(CNN)や視覚変換器(ViT)を含む複数の視覚ネットワークモデルに対するアプローチを評価する。 ImageNetの実験結果によると、ShiftNASは追加消費なしでワンショットNASの性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-07-17T07:53:23Z)
• Neural Architecture Search via Two Constant Shared Weights Initialisations [0.0]
  本研究では,NAS-Bench-101,NAS-Bench-201,NAS-Bench-NLPベンチマークデータセット間で,列車セットの精度と高い相関性を示すゼロコスト指標を提案する。 提案手法は既存のNASアルゴリズムに簡単に組み込むことができ,1つのネットワークを評価するのに1秒程度の時間を要する。
  論文  参考訳（メタデータ） (2023-02-09T02:25:38Z)
• NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks [76.8112416450677]
  シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。 NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。 NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
  論文  参考訳（メタデータ） (2023-01-31T19:48:37Z)
• DropNAS: Grouped Operation Dropout for Differentiable Architecture Search [78.06809383150437]
  近年、DARTSは、ウェイトシェアリングとSGDを活用した微分可能な定式化により、検索プロセスを緩和している。 第一に、より多くのパラメータを持つ操作は、望まれる関数を表現する機会を持たないかもしれない。 そこで我々はDARTSの問題を解決するために,DropNASというグループ化されたオペレーションドロップアウトアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-01-27T17:28:23Z)
• Across-Task Neural Architecture Search via Meta Learning [1.225795556154044]
  Adequate labeled data and expensive compute resources is the prequisites for the success of Neural Architecture search (NAS) 限られた計算リソースとデータを持つメタ学習シナリオにNASを適用するのは難しい。 本稿では、勾配に基づくメタラーニングとEAに基づくNASを組み合わせることで、タスク間ニューラルネットワーク探索(AT-NAS)を提案する。
  論文  参考訳（メタデータ） (2021-10-12T09:07:33Z)
• L$^{2}$NAS: Learning to Optimize Neural Architectures via Continuous-Action Reinforcement Learning [23.25155249879658]
  微分可能なアーキテクチャサーチ(NAS)は、ディープニューラルネットワーク設計において顕著な結果を得た。 L$2$は,DART201ベンチマークやNASS,Imse-for-All検索ポリシで,最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-25T19:26:30Z)
• Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective [88.39981851247727]
  トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。 TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。 1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
  論文  参考訳（メタデータ） (2021-02-23T07:50:44Z)
• DSNAS: Direct Neural Architecture Search without Parameter Retraining [112.02966105995641]
  この観測に基づいて,タスク固有のエンドツーエンドであるNASの新たな問題定義を提案する。 低バイアスモンテカルロ推定でアーキテクチャとパラメータを同時に最適化する効率的な微分可能なNASフレームワークであるDSNASを提案する。 DSNASは、420GPU時間でImageNetで同等の精度(74.4%)のネットワークを発見し、総時間を34%以上削減した。
  論文  参考訳（メタデータ） (2020-02-21T04:41:47Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。