論文の概要: To Share or Not To Share: A Comprehensive Appraisal of Weight-Sharing

• arxiv url: http://arxiv.org/abs/2002.04289v2
• Date: Mon, 18 May 2020 09:11:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 01:02:35.460207
• Title: To Share or Not To Share: A Comprehensive Appraisal of Weight-Sharing
• Title（参考訳）: 共有するまたは共有しない:重量共有の包括的な評価
• Authors: Alo\"is Pourchot, Alexis Ducarouge, Olivier Sigaud
• Abstract要約: 私たちはnasbenchデータセットを利用して、代表的な検索空間におけるWSの効率性に挑戦します。 我々は、ウェイトシェアリングとスタンドアローンによる評価の間に十分な相関があるにもかかわらず、WSがNASにとって非常に役立つことは滅多にないことを示した。
• 参考スコア（独自算出の注目度）: 7.302089321685006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weight-sharing (WS) has recently emerged as a paradigm to accelerate the automated search for efficient neural architectures, a process dubbed Neural Architecture Search (NAS). Although very appealing, this framework is not without drawbacks and several works have started to question its capabilities on small hand-crafted benchmarks. In this paper, we take advantage of the \nasbench dataset to challenge the efficiency of WS on a representative search space. By comparing a SOTA WS approach to a plain random search we show that, despite decent correlations between evaluations using weight-sharing and standalone ones, WS is only rarely significantly helpful to NAS. In particular we highlight the impact of the search space itself on the benefits.
• Abstract（参考訳）: ウエイトシェアリング(ws)は、ニューラルアーキテクチャサーチ(neural architecture search、nas)と呼ばれる効率的なニューラルアーキテクチャの自動検索を加速するパラダイムとして最近登場した。 非常に魅力的だが、このフレームワークには欠点はなく、いくつかの作品が小さな手作りのベンチマークでその能力に疑問を呈し始めた。 本稿では,代表的な検索空間における WS の効率性に挑戦するために, \nasbench データセットを利用する。 SOTA WS のアプローチを普通のランダム検索と比較することにより、ウェイトシェアリングとスタンドアローンによる評価の間に十分な相関があるにもかかわらず、WS がNAS にとって非常に役立つことはめったにないことを示している。 特に、検索スペース自体がメリットに与える影響を強調します。

関連論文リスト

• Efficient Architecture Search for Diverse Tasks [29.83517145790238]
  多様な問題を効率的に解くために,ニューラルネットワーク探索(NAS)について検討する。 本稿では,畳み込みのフーリエ対角化を用いた混合動作を計算する,微分可能なNASアルゴリズムであるDASHを紹介する。 DASH-Bench-360は多様な領域におけるNASベンチマークのために設計された10のタスクスイートである。
  論文  参考訳（メタデータ） (2022-04-15T17:21:27Z)
• Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
  One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。 Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。 Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2022-03-29T03:06:16Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• An Analysis of Super-Net Heuristics in Weight-Sharing NAS [70.57382341642418]
  単純なランダム探索は,スーパーネットを適切に訓練した場合に,複雑なNASアルゴリズムと競合する性能が得られることを示す。 単純なランダム探索は,スーパーネットを適切に訓練した場合に,複雑なNASアルゴリズムと競合する性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-04T02:18:44Z)
• Understanding and Accelerating Neural Architecture Search with Training-Free and Theory-Grounded Metrics [117.4281417428145]
  この作業は、ニューラルネットワークサーチ(NAS)のための原則的で統一的なトレーニングフリーフレームワークの設計を目標としている。 NASは、高性能ニューラルネットワークの発見を自動化するために爆発的に研究されてきたが、資源消費に悩まされ、しばしば訓練や近似によって探索バイアスを引き起こす。 我々は,検索ネットワークの「TEG」特性を解消し,NASを理解し,加速するための統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2021-08-26T17:52:07Z)
• Landmark Regularization: Ranking Guided Super-Net Training in Neural Architecture Search [70.57382341642418]
  重量共有は、コモディティハードウェア上での検索を可能にするため、ニューラルネットワークアーキテクチャ検索のデファクトスタンダードとなっています。 近年の研究では、スタンドアロンアーキテクチャのパフォーマンスと対応する共有重み付きネットワークのパフォーマンスのランキング障害が実証されている。 本稿では,共有重みネットワークの性能ランキングとスタンドアロンアーキテクチャのパフォーマンスランキングの相関を最大化することを目的とした正規化用語を提案する。
  論文  参考訳（メタデータ） (2021-04-12T09:32:33Z)
• Weight-Sharing Neural Architecture Search: A Battle to Shrink the Optimization Gap [90.93522795555724]
  ニューラルアーキテクチャサーチ(NAS)は、学術と産業の両方で注目を集めている。 重み共有手法は、多くのアーキテクチャが同一のスーパーネットワークで重みを共有している。 本稿では,NAS,特に重み付け手法に関する文献レビューを行う。
  論文  参考訳（メタデータ） (2020-08-04T11:57:03Z)
• Bonsai-Net: One-Shot Neural Architecture Search via Differentiable Pruners [1.4180331276028662]
  ワンショットニューラルアーキテクチャサーチ(NAS)は、最先端のモデルを発見する際の計算コストを最小限にすることを目的としている。 緩和された検索空間を探索するために,効率的なワンショットNAS手法であるBonsai-Netを提案する。
  論文  参考訳（メタデータ） (2020-06-12T14:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。