論文の概要: Weight-Sharing Neural Architecture Search: A Battle to Shrink the Optimization Gap

• arxiv url: http://arxiv.org/abs/2008.01475v2
• Date: Wed, 5 Aug 2020 03:30:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 23:38:01.583491
• Title: Weight-Sharing Neural Architecture Search: A Battle to Shrink the Optimization Gap
• Title（参考訳）: 重み共有ニューラルネットワークの検索: 最適化ギャップを縮小する戦い
• Authors: Lingxi Xie, Xin Chen, Kaifeng Bi, Longhui Wei, Yuhui Xu, Zhengsu Chen, Lanfei Wang, An Xiao, Jianlong Chang, Xiaopeng Zhang, Qi Tian
• Abstract要約: ニューラルアーキテクチャサーチ(NAS)は、学術と産業の両方で注目を集めている。 重み共有手法は、多くのアーキテクチャが同一のスーパーネットワークで重みを共有している。 本稿では,NAS,特に重み付け手法に関する文献レビューを行う。
• 参考スコア（独自算出の注目度）: 90.93522795555724
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search (NAS) has attracted increasing attentions in both academia and industry. In the early age, researchers mostly applied individual search methods which sample and evaluate the candidate architectures separately and thus incur heavy computational overheads. To alleviate the burden, weight-sharing methods were proposed in which exponentially many architectures share weights in the same super-network, and the costly training procedure is performed only once. These methods, though being much faster, often suffer the issue of instability. This paper provides a literature review on NAS, in particular the weight-sharing methods, and points out that the major challenge comes from the optimization gap between the super-network and the sub-architectures. From this perspective, we summarize existing approaches into several categories according to their efforts in bridging the gap, and analyze both advantages and disadvantages of these methodologies. Finally, we share our opinions on the future directions of NAS and AutoML. Due to the expertise of the authors, this paper mainly focuses on the application of NAS to computer vision problems and may bias towards the work in our group.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)は、学術と産業の両方で注目を集めている。 初期の研究者は、候補のアーキテクチャを別々にサンプリングし評価する個別の探索法を適用し、計算のオーバーヘッドを増大させた。 負担を軽減するため,多くのアーキテクチャが同一のスーパーネットワークで重みを指数的に共有する重み共有手法が提案され,コストのかかるトレーニング手順は1回だけ実施される。 これらの手法はより高速であるが、しばしば不安定な問題に悩まされる。 本稿では,NAS,特にウェイトシェアリング手法に関する文献レビューを行い,スーパーネットワークとサブアーキテクチャの最適化ギャップから大きな課題が生じることを指摘した。 この観点から,既存のアプローチを,ギャップを埋める取り組みに従って,いくつかのカテゴリにまとめ,これらの方法論の利点とデメリットの両方を分析する。 最後に、NASとAutoMLの今後の方向性について意見を述べる。 筆者らの専門知識から,本論文は主にコンピュータビジョン問題へのNASの適用に焦点が当てられ,グループ内の作業に偏りが生じる可能性がある。

関連論文リスト

• Weight-Entanglement Meets Gradient-Based Neural Architecture Search [44.655931666517645]
  ウェイトシェアリングはニューラルアーキテクチャサーチ(NAS)の基本概念である 重エンファングルメントは、マクロレベルの探索空間内のアーキテクチャ間での複雑なパラメータ共有技術として出現している。 ブラックボックス最適化法は、探索効率を維持するために、特にスーパーネットトレーニングと共に一般的に用いられている。 本稿では,重み付き空間に対して勾配に基づく手法を適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-12-16T13:15:44Z)
• Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
  One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。 Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。 Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2022-03-29T03:06:16Z)
• An Analysis of Super-Net Heuristics in Weight-Sharing NAS [70.57382341642418]
  単純なランダム探索は,スーパーネットを適切に訓練した場合に,複雑なNASアルゴリズムと競合する性能が得られることを示す。 単純なランダム探索は,スーパーネットを適切に訓練した場合に,複雑なNASアルゴリズムと競合する性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-04T02:18:44Z)
• Landmark Regularization: Ranking Guided Super-Net Training in Neural Architecture Search [70.57382341642418]
  重量共有は、コモディティハードウェア上での検索を可能にするため、ニューラルネットワークアーキテクチャ検索のデファクトスタンダードとなっています。 近年の研究では、スタンドアロンアーキテクチャのパフォーマンスと対応する共有重み付きネットワークのパフォーマンスのランキング障害が実証されている。 本稿では,共有重みネットワークの性能ランキングとスタンドアロンアーキテクチャのパフォーマンスランキングの相関を最大化することを目的とした正規化用語を提案する。
  論文  参考訳（メタデータ） (2021-04-12T09:32:33Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• How to Train Your Super-Net: An Analysis of Training Heuristics in Weight-Sharing NAS [64.50415611717057]
  我々は,スーパーネットトレーニングにおける一般的なベースラインが,スーパーネットとスタンドアローンのパフォーマンスの相関に負の影響を及ぼすことを示した。 私たちのコードと実験は、将来の作業が構築できる、強く再現可能なベースラインを設定しました。
  論文  参考訳（メタデータ） (2020-03-09T17:34:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。