論文の概要: Shapley-NAS: Discovering Operation Contribution for Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2206.09811v1
• Date: Mon, 20 Jun 2022 14:41:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 14:57:36.673640
• Title: Shapley-NAS: Discovering Operation Contribution for Neural Architecture Search
• Title（参考訳）: Shapley-NAS:ニューラルアーキテクチャ検索における運用コントリビューションの発見
• Authors: Han Xiao, Ziwei Wang, Zheng Zhu, Jie Zhou, Jiwen Lu
• Abstract要約: ニューラルアーキテクチャ探索のための演算寄与度(Shapley-NAS)を評価するためのShapley値に基づく手法を提案する。 提案手法は,光探索コストに比例して最先端の手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 96.20505710087392
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a Shapley value based method to evaluate operation contribution (Shapley-NAS) for neural architecture search. Differentiable architecture search (DARTS) acquires the optimal architectures by optimizing the architecture parameters with gradient descent, which significantly reduces the search cost. However, the magnitude of architecture parameters updated by gradient descent fails to reveal the actual operation importance to the task performance and therefore harms the effectiveness of obtained architectures. By contrast, we propose to evaluate the direct influence of operations on validation accuracy. To deal with the complex relationships between supernet components, we leverage Shapley value to quantify their marginal contributions by considering all possible combinations. Specifically, we iteratively optimize the supernet weights and update the architecture parameters by evaluating operation contributions via Shapley value, so that the optimal architectures are derived by selecting the operations that contribute significantly to the tasks. Since the exact computation of Shapley value is NP-hard, the Monte-Carlo sampling based algorithm with early truncation is employed for efficient approximation, and the momentum update mechanism is adopted to alleviate fluctuation of the sampling process. Extensive experiments on various datasets and various search spaces show that our Shapley-NAS outperforms the state-of-the-art methods by a considerable margin with light search cost. The code is available at https://github.com/Euphoria16/Shapley-NAS.git
• Abstract（参考訳）: 本稿では,ニューラルアーキテクチャ探索のための演算寄与度(Shapley-NAS)を評価するためのShapley値に基づく手法を提案する。 微分可能アーキテクチャ探索(darts)は、勾配降下でアーキテクチャパラメータを最適化することで最適なアーキテクチャを取得し、検索コストを大幅に削減する。 しかし、勾配降下によって更新されるアーキテクチャパラメータの規模は、実際の運用上の重要さをタスク性能に示さないため、得られたアーキテクチャの有効性を損なう。 対照的に,検証精度に対する操作の直接的な影響を評価することを提案する。 スーパーネットコンポーネント間の複雑な関係に対処するために、Shapley値を利用して、すべての可能な組み合わせを考慮し、それらの限界寄与を定量化する。 具体的には、スーパーネットの重み付けを反復的に最適化し、Shapley値によるオペレーションコントリビューションを評価してアーキテクチャパラメータを更新し、タスクに大きく貢献する操作を選択することで最適なアーキテクチャを導出する。 シャープリー値の正確な計算はNP-hardであるため、モンテカルロサンプリングベースアルゴリズムを用いて効率的な近似を行い、サンプリングプロセスの変動を軽減するためにモーメント更新機構を採用する。 様々なデータセットや様々な検索空間に関する大規模な実験により、Shapley-NASは光探索コストとかなりの差で最先端の手法より優れていることが示された。 コードはhttps://github.com/euphoria16/shapley-nas.gitで入手できる。

関連論文リスト

• Neural Architecture Search using Particle Swarm and Ant Colony Optimization [0.0]
  本稿では,OpenNASのSwarm Intelligence (SI)コンポーネントを用いたCNNのトレーニングと最適化に焦点を当てる。 画像の分類において,OpenNAS(Neural Architecture Search)のオープンソースツールを統合するシステムを開発した。
  論文  参考訳（メタデータ） (2024-03-06T15:23:26Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• DAAS: Differentiable Architecture and Augmentation Policy Search [107.53318939844422]
  この研究は、ニューラルネットワークとデータ拡張のカップリングの可能性を検討し、それらを共同で検索する効果的なアルゴリズムを提案する。 CIFAR-10では97.91%、ImageNetデータセットでは76.6%の精度で97.91%の精度を達成し、検索アルゴリズムの優れた性能を示している。
  論文  参考訳（メタデータ） (2021-09-30T17:15:17Z)
• Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
  微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。 本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。 提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
  論文  参考訳（メタデータ） (2021-08-10T00:53:39Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• Bayesian Neural Architecture Search using A Training-Free Performance Metric [7.775212462771685]
  リカレントニューラルネットワーク(RNN)は時系列予測の強力なアプローチである。 本稿では,ベイズ最適化(BO)アルゴリズムの変種を用いて,アーキテクチャ最適化問題に取り組むことを提案する。 また,可変長アーキテクチャ表現に対処する3つの固定長符号化方式を提案する。
  論文  参考訳（メタデータ） (2020-01-29T08:42:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。