論文の概要: IQNAS: Interpretable Integer Quadratic Programming Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2110.12399v1
• Date: Sun, 24 Oct 2021 09:45:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-26 13:25:19.718491
• Title: IQNAS: Interpretable Integer Quadratic Programming Neural Architecture Search
• Title（参考訳）: iqnas: 解釈可能な整数二次プログラミングニューラルアーキテクチャ探索
• Authors: Niv Nayman, Yonathan Aflalo, Asaf Noy, Rong Jin, Lihi Zelnik-Manor
• Abstract要約: 適合ネットワークを見つけるための一般的なアプローチは、制約付きニューラルネットワークサーチ(NAS)である。 従来はネットワークの精度に複雑な予測器を使用していた。 IQNAS (Interpretable Quadratic Programming Neural Architecture Search) を導入する。
• 参考スコア（独自算出の注目度）: 40.77061519007659
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Realistic use of neural networks often requires adhering to multiple constraints on latency, energy and memory among others. A popular approach to find fitting networks is through constrained Neural Architecture Search (NAS). However, previous methods use complicated predictors for the accuracy of the network. Those predictors are hard to interpret and sensitive to many hyperparameters to be tuned, hence, the resulting accuracy of the generated models is often harmed. In this work we resolve this by introducing Interpretable Integer Quadratic programming Neural Architecture Search (IQNAS), that is based on an accurate and simple quadratic formulation of both the accuracy predictor and the expected resource requirement, together with a scalable search method with theoretical guarantees. The simplicity of our proposed predictor together with the intuitive way it is constructed bring interpretability through many insights about the contribution of different design choices. For example, we find that in the examined search space, adding depth and width is more effective at deeper stages of the network and at the beginning of each resolution stage. Our experiments show that IQNAS generates comparable to or better architectures than other state-of-the-art NAS methods within a reduced search cost for each additional generated network, while strictly satisfying the resource constraints.
• Abstract（参考訳）: ニューラルネットワークの現実的な利用には、レイテンシやエネルギ、メモリなどに関する複数の制約に固執する必要があることが多い。 適合ネットワークを見つけるための一般的なアプローチは、制約付きニューラルネットワークサーチ(NAS)である。 しかし、従来の手法ではネットワークの精度に複雑な予測器を用いる。 これらの予測器は、多くのハイパーパラメータに対する解釈や感度が難しいため、生成されたモデルの精度が損なわれることが多い。 本稿では,精度予測と資源要求の両方の正確かつ単純な二次的定式化に基づく解釈可能な整数二次プログラミングニューラルアーキテクチャ探索(iqnas)と,理論的保証を備えたスケーラブルな探索手法を導入することで,この問題を解決する。 提案する予測器と直感的な構築方法の単純さは、異なる設計選択の貢献に関する多くの洞察を通して解釈可能性をもたらします。 例えば,検討対象の探索空間において,ネットワークの深部および各解像度ステージの初期段階において,深度と幅の加算がより効果的であることがわかった。 実験により、IQNASは、リソース制約を厳格に満たしつつ、各生成ネットワークに対する検索コストを削減し、他の最先端NAS手法と同等以上のアーキテクチャを生成することを示した。

関連論文リスト

• A General-Purpose Transferable Predictor for Neural Architecture Search [22.883809911265445]
  本稿では,探索空間を横断的に移動可能なニューラルネットワーク探索(NAS)のための汎用ニューラルネットワーク予測器を提案する。 NAS-Bench-101, 201, 301の実験結果から, 提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-02-21T17:28:05Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• AutoDEUQ: Automated Deep Ensemble with Uncertainty Quantification [0.9449650062296824]
  本稿では,深層ニューラルネットワークのアンサンブルを生成するための自動アプローチであるAutoDEUQを提案する。 我々は,AutoDEUQが確率論的バックプロパゲーション,モンテカルロのドロップアウト,ディープアンサンブル,分布自由アンサンブル,ハイパーアンサンブルメソッドを多くの回帰ベンチマークで上回ることを示す。
  論文  参考訳（メタデータ） (2021-10-26T09:12:23Z)
• Efficient Sampling for Predictor-Based Neural Architecture Search [3.287802528135173]
  ニューラルネットワーク探索のための予測器に基づくNASアルゴリズムについて検討する。 探索空間のサブセットに対してのみプロキシが計算されると,予測アルゴリズムのサンプル効率が劇的に低下することを示す。 これは、実際に予測器ベースのNASアルゴリズムを有用にするための重要なステップである。
  論文  参考訳（メタデータ） (2020-11-24T11:36:36Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)
• Accuracy Prediction with Non-neural Model for Neural Architecture Search [185.0651567642238]
  精度予測に非神経モデルを用いる別の手法について検討する。 我々は、ニューラルネットワーク探索(NAS)の予測因子として、勾配向上決定木(GBDT)を活用する。 NASBench-101とImageNetの実験は、NASの予測器としてGBDTを使用することの有効性を示した。
  論文  参考訳（メタデータ） (2020-07-09T13:28:49Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。