論文の概要: Disturbance-immune Weight Sharing for Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2003.13089v1
• Date: Sun, 29 Mar 2020 17:54:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 13:49:07.723019
• Title: Disturbance-immune Weight Sharing for Neural Architecture Search
• Title（参考訳）: ニューラルアーキテクチャ探索のための外乱免疫重み共有
• Authors: Shuaicheng Niu, Jiaxiang Wu, Yifan Zhang, Yong Guo, Peilin Zhao, Junzhou Huang, Mingkui Tan
• Abstract要約: 本稿では,モデル更新のための乱れ免疫更新戦略を提案する。 我々は,パフォーマンス障害リスクを軽減するための戦略の有効性を理論的に分析する。
• 参考スコア（独自算出の注目度）: 96.93812980299428
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search (NAS) has gained increasing attention in the community of architecture design. One of the key factors behind the success lies in the training efficiency created by the weight sharing (WS) technique. However, WS-based NAS methods often suffer from a performance disturbance (PD) issue. That is, the training of subsequent architectures inevitably disturbs the performance of previously trained architectures due to the partially shared weights. This leads to inaccurate performance estimation for the previous architectures, which makes it hard to learn a good search strategy. To alleviate the performance disturbance issue, we propose a new disturbance-immune update strategy for model updating. Specifically, to preserve the knowledge learned by previous architectures, we constrain the training of subsequent architectures in an orthogonal space via orthogonal gradient descent. Equipped with this strategy, we propose a novel disturbance-immune training scheme for NAS. We theoretically analyze the effectiveness of our strategy in alleviating the PD risk. Extensive experiments on CIFAR-10 and ImageNet verify the superiority of our method.
• Abstract（参考訳）: neural architecture search (nas) はアーキテクチャ設計のコミュニティで注目を集めている。 この成功の鍵となる要因の1つは、ウェイトシェアリング(WS)技術によって生み出されたトレーニング効率である。 しかし、WSベースのNASメソッドは、しばしばパフォーマンス障害(PD)問題に悩まされる。 すなわち、後続のアーキテクチャのトレーニングは、部分的に共有された重みのために、事前にトレーニングされたアーキテクチャのパフォーマンスを必然的に妨げます。 これにより、以前のアーキテクチャの性能評価が不正確なため、優れた検索戦略を学ぶのが難しくなる。 性能乱れ問題を軽減するため,モデル更新のための新しい乱れ免疫更新戦略を提案する。 具体的には,先行アーキテクチャが学習した知識を保存すべく,直交勾配降下による直交空間における後続アーキテクチャの訓練を制約する。 この戦略を取り入れたNASのための新しい障害免疫トレーニング手法を提案する。 PDリスクを軽減するための戦略の有効性を理論的に分析する。 CIFAR-10とImageNetの大規模な実験により,本手法の優位性が確認された。

関連論文リスト

• The devil is in discretization discrepancy. Robustifying Differentiable NAS with Single-Stage Searching Protocol [2.4300749758571905]
  勾配に基づく手法は離散化誤差に悩まされ、最終的なアーキテクチャを得る過程を著しく損なう可能性がある。 本稿では,連続的なアーキテクチャの復号化に依存しない新しい単一ステージ探索プロトコルを提案する。 本手法は,Cityscapes検証データセットの検索段階において75.3%の精度で他のDNAS法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T15:44:53Z)
• Lightweight Diffusion Models with Distillation-Based Block Neural Architecture Search [55.41583104734349]
  拡散蒸留に基づくブロックワイドニューラルネットワークサーチ(NAS)により拡散モデルの構造的冗長性を自動的に除去することを提案する。 事前訓練を受けた教師がより多い場合、DiffNASを利用して、教師よりもパフォーマンスが良い最小限のアーキテクチャを探索する。 従来のブロックワイズNAS法とは異なり、DiffNASはブロックワイズ局所探索戦略と、関節ダイナミックロスを伴う再訓練戦略を含んでいる。
  論文  参考訳（メタデータ） (2023-11-08T12:56:59Z)
• Proxyless Neural Architecture Adaptation for Supervised Learning and Self-Supervised Learning [3.766702945560518]
  本稿では、再現性と効率のよいプロキシレスニューラルアーキテクチャ適応を提案する。 本手法は,教師付き学習と自己教師型学習の両方に適用できる。
  論文  参考訳（メタデータ） (2022-05-15T02:49:48Z)
• Neural Architecture Search for Speech Emotion Recognition [72.1966266171951]
  本稿では,SERモデルの自動構成にニューラルアーキテクチャサーチ(NAS)技術を適用することを提案する。 NASはモデルパラメータサイズを維持しながらSER性能(54.89%から56.28%)を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-03-31T10:16:10Z)
• RANK-NOSH: Efficient Predictor-Based Architecture Search via Non-Uniform Successive Halving [74.61723678821049]
  予算の浪費を回避するため,早期に性能の低いアーキテクチャのトレーニングを終了する階層的スケジューリングアルゴリズムであるNOn-uniform Successive Halving (NOSH)を提案する。 予測器に基づくアーキテクチャ探索をペア比較でランク付けする学習として定式化する。 その結果、RANK-NOSHは検索予算を5倍に削減し、様々な空間やデータセットにおける従来の最先端予測手法よりも、競争力やパフォーマンスの向上を実現した。
  論文  参考訳（メタデータ） (2021-08-18T07:45:21Z)
• The Nonlinearity Coefficient -- A Practical Guide to Neural Architecture Design [3.04585143845864]
  我々は、アーキテクチャが比較的高いテストやトレーニング後のタスクのトレーニングエラーを達成できるかどうかを、トレーニングなしで予測できる手法を開発する。 その後、アーキテクチャ定義自体の観点でエラーを説明し、アーキテクチャを変更するツールを開発します。 最初の大きな貢献は、ニューラルネットワークアーキテクチャの'非線形性の度合い'がそのパフォーマンスの背後にある重要な因果的要因であることを示すことです。
  論文  参考訳（メタデータ） (2021-05-25T20:47:43Z)
• Contrastive Neural Architecture Search with Neural Architecture Comparators [46.45102111497492]
  neural architecture search(nas)における重要なステップの1つは、候補アーキテクチャのパフォーマンスを見積もることである。 既存のメソッドは、バリデーションパフォーマンスを直接使用するか、あるいは予測子を学習してパフォーマンスを見積もる。 本稿では,アーキテクチャ間の比較結果を報奨としてアーキテクチャ探索を行うCTNAS(Contrastive Neural Architecture Search)手法を提案する。
  論文  参考訳（メタデータ） (2021-03-08T11:24:07Z)
• On Adversarial Robustness: A Neural Architecture Search perspective [20.478741635006113]
  この研究は、アーキテクチャの観点から純粋に敵対的ロバスト性を理解するための最初の大規模研究である。 単純なアンサンブルによるDARTSの探索空間におけるランダムサンプリングにより,PGD攻撃に対するロバスト性を約12%向上できることを示す。 我々は, SoTA の精度向上に人気があるNASが, 対人訓練を一切行わないフリーアドオンとして, 対人精度を提供できることを示した。
  論文  参考訳（メタデータ） (2020-07-16T16:07:10Z)
• Multi-fidelity Neural Architecture Search with Knowledge Distillation [69.09782590880367]
  ニューラルアーキテクチャ探索のためのベイズ的多重忠実度法 MF-KD を提案する。 知識蒸留は損失関数に追加され、ネットワークが教師ネットワークを模倣することを強制する用語となる。 このような変化した損失関数を持ついくつかのエポックに対するトレーニングは、ロジスティックな損失を持ついくつかのエポックに対するトレーニングよりも、より優れたニューラルアーキテクチャの選択につながることを示す。
  論文  参考訳（メタデータ） (2020-06-15T12:32:38Z)
• Stabilizing Differentiable Architecture Search via Perturbation-based Regularization [99.81980366552408]
  最終アーキテクチャを蒸留する際の劇的な性能低下につながる急激なバリデーション損失の状況は、不安定を引き起こす重要な要因であることがわかった。 本研究では,DARTSに基づく手法の汎用性の向上と損失景観の円滑化を図るため,摂動型正規化(SmoothDARTS)を提案する。
  論文  参考訳（メタデータ） (2020-02-12T23:46:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。