論文の概要: HEP-NAS: Towards Efficient Few-shot Neural Architecture Search via Hierarchical Edge Partitioning

• arxiv url: http://arxiv.org/abs/2412.10723v1
• Date: Sat, 14 Dec 2024 07:42:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 14:00:02.056044
• Title: HEP-NAS: Towards Efficient Few-shot Neural Architecture Search via Hierarchical Edge Partitioning
• Title（参考訳）: HEP-NAS:階層的エッジ分割による効率的なFew-shotニューラルアーキテクチャ探索を目指して
• Authors: Jianfeng Li, Jiawen Zhang, Feng Wang, Lianbo Ma,
• Abstract要約: ワンショット手法は、探索コストを削減するために重み付け戦略を採用することにより、ニューラルネットワーク探索(NAS)の分野を進歩させた。 この問題を緩和するために、エッジをエッジごとに分割することで、スーパーネット全体を個々のサブスーパーネットに分割する手法はほとんどない。 本研究では,HEP-NASという階層分割アルゴリズムを導入し,精度の向上を図る。
• 参考スコア（独自算出の注目度）: 8.484729345263153
• License:
• Abstract: One-shot methods have significantly advanced the field of neural architecture search (NAS) by adopting weight-sharing strategy to reduce search costs. However, the accuracy of performance estimation can be compromised by co-adaptation. Few-shot methods divide the entire supernet into individual sub-supernets by splitting edge by edge to alleviate this issue, yet neglect relationships among edges and result in performance degradation on huge search space. In this paper, we introduce HEP-NAS, a hierarchy-wise partition algorithm designed to further enhance accuracy. To begin with, HEP-NAS treats edges sharing the same end node as a hierarchy, permuting and splitting edges within the same hierarchy to directly search for the optimal operation combination for each intermediate node. This approach aligns more closely with the ultimate goal of NAS. Furthermore, HEP-NAS selects the most promising sub-supernet after each segmentation, progressively narrowing the search space in which the optimal architecture may exist. To improve performance evaluation of sub-supernets, HEP-NAS employs search space mutual distillation, stabilizing the training process and accelerating the convergence of each individual sub-supernet. Within a given budget, HEP-NAS enables the splitting of all edges and gradually searches for architectures with higher accuracy. Experimental results across various datasets and search spaces demonstrate the superiority of HEP-NAS compared to state-of-the-art methods.
• Abstract（参考訳）: ワンショット手法は、探索コストを削減するために重み付け戦略を採用することにより、ニューラルネットワーク探索(NAS)の分野を著しく進歩させた。 しかし、性能推定の精度は、共適応によって損なわれることがある。 この問題を緩和するためにエッジを分割することでスーパーネット全体を個々のサブスーパーネットに分割するが、エッジ間の関係を無視し、巨大な検索空間における性能劣化をもたらす。 本稿では,階層的分割アルゴリズムであるHEP-NASについて述べる。 まず、HEP-NASは、エッジを階層として共有し、エッジを同じ階層内で置換、分割することで、各中間ノードに対して最適な操作の組み合わせを直接検索する。 このアプローチはNASの最終的な目標とより密接に一致します。 さらに、HEP-NASは各セグメンテーション後に最も有望なサブスーパーネットを選択し、最適なアーキテクチャが存在する可能性のある探索空間を徐々に狭めている。 サブスーパーネットの性能評価を改善するため、HEP-NASは検索空間相互蒸留を採用し、トレーニングプロセスを安定化し、各サブスーパーネットの収束を加速する。 与えられた予算内では、HEP-NASはすべてのエッジの分割を可能にし、より精度の高いアーキテクチャを徐々に検索する。 種々のデータセットや検索空間にわたる実験結果から,HEP-NASが最先端手法よりも優れていることが示された。

関連論文リスト

• The devil is in discretization discrepancy. Robustifying Differentiable NAS with Single-Stage Searching Protocol [2.4300749758571905]
  勾配に基づく手法は離散化誤差に悩まされ、最終的なアーキテクチャを得る過程を著しく損なう可能性がある。 本稿では,連続的なアーキテクチャの復号化に依存しない新しい単一ステージ探索プロトコルを提案する。 本手法は,Cityscapes検証データセットの検索段階において75.3%の精度で他のDNAS法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T15:44:53Z)
• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• NAS-LID: Efficient Neural Architecture Search with Local Intrinsic Dimension [37.04463309816036]
  ワンショットアーキテクチャサーチ (NAS) は、1つのスーパーネットをトレーニングして全ての子アーキテクチャーを推定することにより、探索効率を大幅に向上させる。 NASBench-201の実験は、NAS-LIDが優れた効率で優れた性能を発揮することを示している。
  論文  参考訳（メタデータ） (2022-11-23T08:08:17Z)
• Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
  One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。 Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。 Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2022-03-29T03:06:16Z)
• L$^{2}$NAS: Learning to Optimize Neural Architectures via Continuous-Action Reinforcement Learning [23.25155249879658]
  微分可能なアーキテクチャサーチ(NAS)は、ディープニューラルネットワーク設計において顕著な結果を得た。 L$2$は,DART201ベンチマークやNASS,Imse-for-All検索ポリシで,最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-25T19:26:30Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• OPANAS: One-Shot Path Aggregation Network Architecture Search for Object Detection [82.04372532783931]
  近年、ニューラルアーキテクチャサーチ (NAS) が特徴ピラミッドネットワーク (FPN) の設計に活用されている。 本稿では,探索効率と検出精度を大幅に向上させる,ワンショットパス集約ネットワークアーキテクチャ探索(OPANAS)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-08T01:48:53Z)
• Trilevel Neural Architecture Search for Efficient Single Image Super-Resolution [127.92235484598811]
  本稿では,高効率単一画像超解像(SR)のための3レベルニューラルネットワーク探索法を提案する。 離散探索空間をモデル化するために、離散探索空間に新たな連続緩和を適用し、ネットワークパス、セル操作、カーネル幅の階層的混合を構築する。 階層型スーパーネット方式による最適化を行うため,効率的な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-17T12:19:49Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。