論文の概要: Efficient Architecture Search via Bi-level Data Pruning

• arxiv url: http://arxiv.org/abs/2312.14200v1
• Date: Thu, 21 Dec 2023 02:48:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-25 17:23:21.122095
• Title: Efficient Architecture Search via Bi-level Data Pruning
• Title（参考訳）: bi-level data pruningによる効率的なアーキテクチャ検索
• Authors: Chongjun Tu, Peng Ye, Weihao Lin, Hancheng Ye, Chong Yu, Tao Chen, Baopu Li, Wanli Ouyang
• Abstract要約: この研究は、DARTSの双方向最適化におけるデータセット特性の重要な役割を探求する先駆者となった。 我々は、スーパーネット予測力学を計量として活用する新しいプログレッシブデータプルーニング戦略を導入する。 NAS-Bench-201サーチスペース、DARTSサーチスペース、MobileNetのようなサーチスペースに関する総合的な評価は、BDPがサーチコストを50%以上削減することを検証する。
• 参考スコア（独自算出の注目度）: 70.29970746807882
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Improving the efficiency of Neural Architecture Search (NAS) is a challenging but significant task that has received much attention. Previous works mainly adopted the Differentiable Architecture Search (DARTS) and improved its search strategies or modules to enhance search efficiency. Recently, some methods have started considering data reduction for speedup, but they are not tightly coupled with the architecture search process, resulting in sub-optimal performance. To this end, this work pioneers an exploration into the critical role of dataset characteristics for DARTS bi-level optimization, and then proposes a novel Bi-level Data Pruning (BDP) paradigm that targets the weights and architecture levels of DARTS to enhance efficiency from a data perspective. Specifically, we introduce a new progressive data pruning strategy that utilizes supernet prediction dynamics as the metric, to gradually prune unsuitable samples for DARTS during the search. An effective automatic class balance constraint is also integrated into BDP, to suppress potential class imbalances resulting from data-efficient algorithms. Comprehensive evaluations on the NAS-Bench-201 search space, DARTS search space, and MobileNet-like search space validate that BDP reduces search costs by over 50% while achieving superior performance when applied to baseline DARTS. Besides, we demonstrate that BDP can harmoniously integrate with advanced DARTS variants, like PC-DARTS and \b{eta}-DARTS, offering an approximately 2 times speedup with minimal performance compromises.
• Abstract（参考訳）: ニューラルネットワーク探索(NAS)の効率性を改善することは、非常に難しいが重要なタスクであり、多くの注目を集めている。 これまでは主にDARTSを採用し、検索効率を向上させるために検索戦略やモジュールを改善してきた。 近年, 高速化のためのデータ削減の検討が始まっているが, アーキテクチャ探索プロセスと密結合していないため, 準最適性能が得られる。 この目的のために、この研究は、DARTSの双方向最適化のためのデータセット特性の重要な役割を探求し、データの観点から効率を高めるために、DARTSの重みとアーキテクチャレベルをターゲットにした、新しいBDP(Bi-level Data Pruning)パラダイムを提案する。 具体的には,スーパーネット予測ダイナミクスを指標として,探索中にダーツに不適当なサンプルを徐々にプルーピングする,新たなプログレッシブデータプルーニング戦略を提案する。 データ効率のアルゴリズムによる潜在的なクラス不均衡を抑制するために、効果的な自動クラスバランス制約もBDPに統合される。 nas-bench-201 検索空間、darts 検索空間、mobilenet ライクな検索空間に関する包括的評価により、bdp は検索コストを50%以上削減し、ベースライン dart に適用すると優れた性能が得られることが確認された。 さらに、BDPはPC-DARTSや \b{eta}-DARTSのような先進的なDARTSと調和して統合できることを示し、最小性能の妥協で約2倍のスピードアップを提供する。

関連論文リスト

• OStr-DARTS: Differentiable Neural Architecture Search based on Operation Strength [70.76342136866413]
  分散アーキテクチャサーチ(DARTS)は、効果的なニューラルネットワークサーチの有望な技術として登場した。 DARTSは、アーキテクチャの劣化につながる、よく知られた退化問題に悩まされている。 最終損失に対する操作の重要性を推定する操作強度に基づく新しい基準を提案する。
  論文  参考訳（メタデータ） (2024-09-22T13:16:07Z)
• Heterogeneous Learning Rate Scheduling for Neural Architecture Search on Long-Tailed Datasets [0.0]
  本稿では,DARTSのアーキテクチャパラメータに適した適応学習率スケジューリング手法を提案する。 提案手法は,学習エポックに基づくアーキテクチャパラメータの学習率を動的に調整し,よく訓練された表現の破壊を防止する。
  論文  参考訳（メタデータ） (2024-06-11T07:32:25Z)
• IS-DARTS: Stabilizing DARTS through Precise Measurement on Candidate Importance [41.23462863659102]
  DARTSはその効率性と単純さで知られている。 しかし、DARTSの性能低下により、パラメータフリーな演算で満たされたアーキテクチャが劣化する。 我々は、DARTSを包括的に改善し、上記の問題を解決するためのIS-DARTSを提案する。
  論文  参考訳（メタデータ） (2023-12-19T22:45:57Z)
• Constructing Tree-based Index for Efficient and Effective Dense Retrieval [26.706985694158384]
  JTRは、TReeベースのインデックスとクエリエンコーディングの合同最適化の略である。 我々は、木に基づくインデックスとクエリエンコーダをエンドツーエンドにトレーニングするために、新しい統合されたコントラスト学習損失を設計する。 実験結果から,JTRは高いシステム効率を維持しつつ,検索性能が向上することが示された。
  論文  参考訳（メタデータ） (2023-04-24T09:25:39Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• DHA: End-to-End Joint Optimization of Data Augmentation Policy, Hyper-parameter and Architecture [81.82173855071312]
  本稿では,AutoMLコンポーネントを統合したエンドツーエンドソリューションを提案する。 Dhaは、様々なデータセット、特にセルベースの検索空間を持つImageNetの77.4%の精度で、最先端(SOTA)結果を達成する。
  論文  参考訳（メタデータ） (2021-09-13T08:12:50Z)
• RARTS: An Efficient First-Order Relaxed Architecture Search Method [5.491655566898372]
  微分可能なアーキテクチャ探索(DARTS)は、二段階最適化問題の解法に基づく、データ駆動型ニューラルネットワーク設計の有効な方法である。 我々は、データとネットワーク分割の両方を通してアーキテクチャ学習のデータセット全体を利用する、単一レベルの代替品と緩和アーキテクチャ検索(RARTS)手法を定式化する。 RARTSは、トポロジカルアーキテクチャ、すなわちエッジと演算を探索するタスクにおいて、CIFAR-10上の2階DARTSよりも高い精度と60%の計算コストを得る。
  論文  参考訳（メタデータ） (2020-08-10T04:55:51Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• Rethinking Performance Estimation in Neural Architecture Search [191.08960589460173]
  本稿では,資源制約型システムにおける性能推定(PE)の体系的再考を行う。 BPEと強化学習,進化アルゴリズム,ランダム探索,異種アーキテクチャ探索などの様々な探索アルゴリズムを組み合わせることで,NASの1,000倍の高速化を実現した。
  論文  参考訳（メタデータ） (2020-05-20T09:01:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。