論文の概要: Subnet-Aware Dynamic Supernet Training for Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2503.10740v1
• Date: Thu, 13 Mar 2025 17:07:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:07:42.691586
• Title: Subnet-Aware Dynamic Supernet Training for Neural Architecture Search
• Title（参考訳）: ニューラルネットワーク探索のためのサブネット対応動的スーパーネットトレーニング
• Authors: Jeimin Jeon, Youngmin Oh, Junghyup Lee, Donghyeon Baek, Dohyung Kim, Chanho Eom, Bumsub Ham,
• Abstract要約: Nショットアーキテクチャサーチ(NAS)は、与えられた検索空間のすべての候補を含むスーパーネットを利用する。 スーパーネットトレーニングは低複雑さ(不公平)に偏っている 本稿では,これらの問題に対処するための動的スーパーネットトレーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 34.085718250054136
• License:
• Abstract: N-shot neural architecture search (NAS) exploits a supernet containing all candidate subnets for a given search space. The subnets are typically trained with a static training strategy (e.g., using the same learning rate (LR) scheduler and optimizer for all subnets). This, however, does not consider that individual subnets have distinct characteristics, leading to two problems: (1) The supernet training is biased towards the low-complexity subnets (unfairness); (2) the momentum update in the supernet is noisy (noisy momentum). We present a dynamic supernet training technique to address these problems by adjusting the training strategy adaptive to the subnets. Specifically, we introduce a complexity-aware LR scheduler (CaLR) that controls the decay ratio of LR adaptive to the complexities of subnets, which alleviates the unfairness problem. We also present a momentum separation technique (MS). It groups the subnets with similar structural characteristics and uses a separate momentum for each group, avoiding the noisy momentum problem. Our approach can be applicable to various N-shot NAS methods with marginal cost, while improving the search performance drastically. We validate the effectiveness of our approach on various search spaces (e.g., NAS-Bench-201, Mobilenet spaces) and datasets (e.g., CIFAR-10/100, ImageNet).
• Abstract（参考訳）: Nショットニューラルアーキテクチャサーチ(NAS)は、与えられた検索空間に対する全ての候補サブネットを含むスーパーネットを利用する。 サブネットは通常、静的トレーニング戦略(例えば、すべてのサブネットに対して同じ学習率(LR)スケジューラとオプティマイザを使用して)でトレーニングされる。 しかし、これは個々のサブネットが異なる特徴を持つとは考えておらず、(1)超ネットトレーニングは低複雑さのサブネット(不公平性)に偏り、(2)超ネットの運動量更新はノイズ(ノイズ運動量)である。 サブネットに適応したトレーニング戦略を調整することで,これらの問題に対処する動的スーパーネットトレーニング手法を提案する。 具体的には、サブネットの複雑さに適応してLRの減衰率を制御する複雑性対応LRスケジューラ(CaLR)を導入し、不公平な問題を緩和する。 また,運動量分離法(MS)を提案する。 同様の構造特性を持つサブネットをグループ化し、ノイズ運動量問題を避けるために各群に対して別々の運動量を使用する。 提案手法は, 検索性能を劇的に改善しつつ, 限界コストで様々なNショットNAS手法に適用可能である。 我々は,様々な検索空間(NAS-Bench-201,Mobilenet空間)とデータセット(例えば,CIFAR-10/100, ImageNet)に対するアプローチの有効性を検証する。

関連論文リスト

• Efficient Few-Shot Neural Architecture Search by Counting the Number of Nonlinear Functions [29.76210308781724]
  探索空間を分割するために非線形関数の数を利用する新しい数ショットNAS法を提案する。 空間を分割するためにスーパーネットの勾配を比較する必要はないため,本手法は効率的である。 さらに、空間を分割することで、各スーパーネットに必要なチャネル次元を削減できることがわかった。
  論文  参考訳（メタデータ） (2024-12-19T09:31:53Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Boosting Residual Networks with Group Knowledge [75.73793561417702]
  最近の研究は、暗黙のアンサンブルモデルの新しい視点から、残余ネットワークを理解する。 深度学習や刺激訓練といった従来の手法は, サンプリングとトレーニングにより, 残留ネットワークの性能をさらに向上させてきた。 残余ネットワークの性能を高めるためのグループ知識に基づくトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-26T05:39:57Z)
• ShiftNAS: Improving One-shot NAS via Probability Shift [1.3537414663819973]
  ネットワークの複雑さに基づいてサンプリング確率を調整する手法であるShiftNASを提案する。 我々は、畳み込みニューラルネットワーク(CNN)や視覚変換器(ViT)を含む複数の視覚ネットワークモデルに対するアプローチを評価する。 ImageNetの実験結果によると、ShiftNASは追加消費なしでワンショットNASの性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-07-17T07:53:23Z)
• Mixture-of-Supernets: Improving Weight-Sharing Supernet Training with Architecture-Routed Mixture-of-Experts [55.470959564665705]
  ウェイトシェアリングスーパーネットは、最先端のニューラルサーチフレームワークのパフォーマンス評価に不可欠である。 提案手法は,高速機械翻訳モデルのためのNASにおける最先端(SoTA)性能を実現する。 メモリ効率のよいタスク非依存のBERTモデルを構築するためにNASが優れている。
  論文  参考訳（メタデータ） (2023-06-08T00:35:36Z)
• Improve Ranking Correlation of Super-net through Training Scheme from One-shot NAS to Few-shot NAS [13.390484379343908]
  ワンショットNASから少数ショットNASへのステップバイステップトレーニングスーパーネットスキームを提案する。 トレーニングスキームでは,まず1ショットでスーパーネットを訓練し,次にスーパーネットの重みを解体する。 CVPR20223th Lightweight NAS Challenge Track1では4位にランクインした。
  論文  参考訳（メタデータ） (2022-06-13T04:02:12Z)
• An Analysis of Super-Net Heuristics in Weight-Sharing NAS [70.57382341642418]
  単純なランダム探索は,スーパーネットを適切に訓練した場合に,複雑なNASアルゴリズムと競合する性能が得られることを示す。 単純なランダム探索は,スーパーネットを適切に訓練した場合に,複雑なNASアルゴリズムと競合する性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-04T02:18:44Z)
• Prioritized Subnet Sampling for Resource-Adaptive Supernet Training [136.6591624918964]
  資源適応型スーパーネットであるPSS-Netを学習するための優先順位付きサブネットサンプリングを提案する。 MobileNetV1/V2を用いたImageNetの実験では、当社のPSS-Netは、最先端のリソース適応型スーパーネットより優れていることが示されている。
  論文  参考訳（メタデータ） (2021-09-12T04:43:51Z)
• Understanding and Accelerating Neural Architecture Search with Training-Free and Theory-Grounded Metrics [117.4281417428145]
  この作業は、ニューラルネットワークサーチ(NAS)のための原則的で統一的なトレーニングフリーフレームワークの設計を目標としている。 NASは、高性能ニューラルネットワークの発見を自動化するために爆発的に研究されてきたが、資源消費に悩まされ、しばしば訓練や近似によって探索バイアスを引き起こす。 我々は,検索ネットワークの「TEG」特性を解消し,NASを理解し,加速するための統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2021-08-26T17:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。