論文の概要: Small Temperature is All You Need for Differentiable Architecture Search

• arxiv url: http://arxiv.org/abs/2306.06855v1
• Date: Mon, 12 Jun 2023 04:01:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 16:07:37.897712
• Title: Small Temperature is All You Need for Differentiable Architecture Search
• Title（参考訳）: 微分可能なアーキテクチャ検索に必要なのは最低限の温度
• Authors: Jiuling Zhang, Zhiming Ding
• Abstract要約: 微分可能なアーキテクチャサーチ(DARTS)は、高効率な勾配に基づくニューラルアーキテクチャサーチ(NAS)をもたらす そこで本研究では, トレーニングにおける緩和スーパーネットとプルーニングファイナネットとのギャップを, 低温利用による評価で埋めることを提案する。
• 参考スコア（独自算出の注目度）: 8.93957397187611
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiable architecture search (DARTS) yields highly efficient gradient-based neural architecture search (NAS) by relaxing the discrete operation selection to optimize continuous architecture parameters that maps NAS from the discrete optimization to a continuous problem. DARTS then remaps the relaxed supernet back to the discrete space by one-off post-search pruning to obtain the final architecture (finalnet). Some emerging works argue that this remap is inherently prone to mismatch the network between training and evaluation which leads to performance discrepancy and even model collapse in extreme cases. We propose to close the gap between the relaxed supernet in training and the pruned finalnet in evaluation through utilizing small temperature to sparsify the continuous distribution in the training phase. To this end, we first formulate sparse-noisy softmax to get around gradient saturation. We then propose an exponential temperature schedule to better control the outbound distribution and elaborate an entropy-based adaptive scheme to finally achieve the enhancement. We conduct extensive experiments to verify the efficiency and efficacy of our method.
• Abstract（参考訳）: 微分可能アーキテクチャ探索(darts)は、離散的操作選択を緩和し、nasを離散的最適化から連続的問題にマッピングする連続的アーキテクチャパラメータを最適化することで、高度に効率的な勾配に基づくニューラルネットワーク検索(nas)を実現する。 その後dartsは、緩和されたスーパーネットを、検索後1回でプルーニングすることで離散空間にリマップし、最終的なアーキテクチャ(finalnet)を得る。 このリマップは本質的にトレーニングと評価の間のネットワークをミスマッチさせる可能性があり、極端なケースではパフォーマンスの不一致やモデル崩壊につながる。 学習段階における連続分布のスパース化に小規模温度を活用し,学習段階における緩和スーパーネットとプルーニングファイナネットとのギャップを解消する。 この目的を達成するために,まずスパースノイズのソフトマックスを定式化し,勾配飽和を回避した。 次に、アウトバウンド分布をよりよく制御するための指数温度スケジュールを提案し、エントロピーに基づく適応スキームを精査し、最終的に拡張を実現する。 本手法の効率と有効性を検証するため,広範囲にわたる実験を行った。

関連論文リスト

• Sparsest Models Elude Pruning: An Exposé of Pruning's Current Capabilities [4.842973374883628]
  プルーニングは大規模モデルを圧縮するための有望なアプローチとして現れてきたが、モデルの範囲を回復する効果はまだ検討されていない。 我々は485,838の実験を行い、キュビストスパイラルと名付けられた合成データセットに最先端のプルーニングアルゴリズムを適用した。 そこで本研究では,新たな探索アルゴリズムによって同定した,理想的なスパースネットワークと比較して,性能の差が顕著であった。
  論文  参考訳（メタデータ） (2024-07-04T17:33:15Z)
• The devil is in discretization discrepancy. Robustifying Differentiable NAS with Single-Stage Searching Protocol [2.4300749758571905]
  勾配に基づく手法は離散化誤差に悩まされ、最終的なアーキテクチャを得る過程を著しく損なう可能性がある。 本稿では,連続的なアーキテクチャの復号化に依存しない新しい単一ステージ探索プロトコルを提案する。 本手法は,Cityscapes検証データセットの検索段階において75.3%の精度で他のDNAS法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T15:44:53Z)
• Pruning Convolutional Filters via Reinforcement Learning with Entropy Minimization [0.0]
  本稿では,畳み込み活性化の空間エントロピーを最小化する情報理論報酬関数を提案する。 提案手法は,エージェントの報酬関数で直接最適化することなく,精度を維持できる可能性を示している。
  論文  参考訳（メタデータ） (2023-12-08T09:34:57Z)
• Shapley-NAS: Discovering Operation Contribution for Neural Architecture Search [96.20505710087392]
  ニューラルアーキテクチャ探索のための演算寄与度(Shapley-NAS)を評価するためのShapley値に基づく手法を提案する。 提案手法は,光探索コストに比例して最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-20T14:41:49Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。