論文の概要: Weight-Entanglement Meets Gradient-Based Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2312.10440v1
• Date: Sat, 16 Dec 2023 13:15:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 16:28:49.758276
• Title: Weight-Entanglement Meets Gradient-Based Neural Architecture Search
• Title（参考訳）: ウェイトエンタングルメントがグラディエントベースのニューラルアーキテクチャ検索に到達
• Authors: Rhea Sanjay Sukthanker, Arjun Krishnakumar, Mahmoud Safari, Frank Hutter
• Abstract要約: ウェイトシェアリングはニューラルアーキテクチャサーチ(NAS)の基本概念である 重エンファングルメントは、マクロレベルの探索空間内のアーキテクチャ間での複雑なパラメータ共有技術として出現している。 ブラックボックス最適化法は、探索効率を維持するために、特にスーパーネットトレーニングと共に一般的に用いられている。 本稿では,重み付き空間に対して勾配に基づく手法を適用するための新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 44.655931666517645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weight sharing is a fundamental concept in neural architecture search (NAS), enabling gradient-based methods to explore cell-based architecture spaces significantly faster than traditional blackbox approaches. In parallel, weight \emph{entanglement} has emerged as a technique for intricate parameter sharing among architectures within macro-level search spaces. %However, the macro structure of such spaces poses compatibility challenges for gradient-based NAS methods. %As a result, blackbox optimization methods have been commonly employed, particularly in conjunction with supernet training, to maintain search efficiency. %Due to the inherent differences in the structure of these search spaces, these Since weight-entanglement poses compatibility challenges for gradient-based NAS methods, these two paradigms have largely developed independently in parallel sub-communities. This paper aims to bridge the gap between these sub-communities by proposing a novel scheme to adapt gradient-based methods for weight-entangled spaces. This enables us to conduct an in-depth comparative assessment and analysis of the performance of gradient-based NAS in weight-entangled search spaces. Our findings reveal that this integration of weight-entanglement and gradient-based NAS brings forth the various benefits of gradient-based methods (enhanced performance, improved supernet training properties and superior any-time performance), while preserving the memory efficiency of weight-entangled spaces. The code for our work is openly accessible \href{https://anonymous.4open.science/r/TangleNAS-527C}{here}
• Abstract（参考訳）: 重み共有は神経アーキテクチャサーチ(NAS)の基本概念であり、勾配に基づく手法で従来のブラックボックスアプローチよりもはるかに高速に細胞ベースのアーキテクチャ空間を探索することができる。 並行して、重み \emph{entanglement} はマクロレベルの探索空間内のアーキテクチャ間での複雑なパラメータ共有の手法として登場した。 しかし、そのような空間のマクロ構造は勾配に基づくNAS法との互換性に挑戦する。 その結果,ブラックボックス最適化手法は探索効率を維持するために,特にスーパーネットトレーニングと併用して広く用いられている。 % これらの探索空間の構造に固有の違いがあるため, 重みの絡み合いは勾配式NAS法との相違を生じさせるため, これら2つのパラダイムは並列サブコミュニティで独立に発展してきた。 本稿では,重み付き空間に対する勾配法を適応させる新しいスキームを提案し,これらのサブコミュニティ間のギャップを埋めることを目的とする。 これにより、重み付き探索空間における勾配型NASの性能の詳細な比較評価と解析を行うことができる。 以上の結果から,この重みエンタングルメントと勾配ベースnasの統合は,重みエンタングル空間のメモリ効率を保ちつつ,勾配ベース手法の様々な利点(強化性能,スーパーネットトレーニング特性の向上,任意の時間性能の向上)をもたらすことが明らかとなった。 私たちの研究のコードは、オープンアクセス可能で、 \href{https://anonymous.4open.science/r/TangleNAS-527C}{here}

関連論文リスト

• Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
  One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。 Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。 Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2022-03-29T03:06:16Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• Landmark Regularization: Ranking Guided Super-Net Training in Neural Architecture Search [70.57382341642418]
  重量共有は、コモディティハードウェア上での検索を可能にするため、ニューラルネットワークアーキテクチャ検索のデファクトスタンダードとなっています。 近年の研究では、スタンドアロンアーキテクチャのパフォーマンスと対応する共有重み付きネットワークのパフォーマンスのランキング障害が実証されている。 本稿では,共有重みネットワークの性能ランキングとスタンドアロンアーキテクチャのパフォーマンスランキングの相関を最大化することを目的とした正規化用語を提案する。
  論文  参考訳（メタデータ） (2021-04-12T09:32:33Z)
• Smooth Variational Graph Embeddings for Efficient Neural Architecture Search [41.62970837629573]
  本研究では,探索空間からニューラルネットワークをスムーズにエンコードし,正確に再構築できる2面変分グラフオートエンコーダを提案する。 ENASアプローチ,NAS-Bench-101およびNAS-Bench-201探索空間で定義されたニューラルネットワークに対する提案手法の評価を行った。
  論文  参考訳（メタデータ） (2020-10-09T17:05:41Z)
• Weight-Sharing Neural Architecture Search: A Battle to Shrink the Optimization Gap [90.93522795555724]
  ニューラルアーキテクチャサーチ(NAS)は、学術と産業の両方で注目を集めている。 重み共有手法は、多くのアーキテクチャが同一のスーパーネットワークで重みを共有している。 本稿では,NAS,特に重み付け手法に関する文献レビューを行う。
  論文  参考訳（メタデータ） (2020-08-04T11:57:03Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。