論文の概要: Neural Architecture Search as Program Transformation Exploration

• arxiv url: http://arxiv.org/abs/2102.06599v1
• Date: Fri, 12 Feb 2021 16:11:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-15 12:58:21.729431
• Title: Neural Architecture Search as Program Transformation Exploration
• Title（参考訳）: プログラム変換探索としてのニューラルアーキテクチャ探索
• Authors: Jack Turner, Elliot J. Crowley, Michael O'Boyle
• Abstract要約: コンパイラはハードウェア並列性とメモリ階層を利用するためにプログラム変換を適用する。 neural architecture search (nas)技術は、畳み込みのグルーピングやボトルネックのような操作によってネットワークを変異させる。 本研究では,表現能力の概念に依存するプログラム変換として,そのようなニューラルアーキテクチャの操作を表現する。
• 参考スコア（独自算出の注目度）: 7.090165638014331
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Improving the performance of deep neural networks (DNNs) is important to both the compiler and neural architecture search (NAS) communities. Compilers apply program transformations in order to exploit hardware parallelism and memory hierarchy. However, legality concerns mean they fail to exploit the natural robustness of neural networks. In contrast, NAS techniques mutate networks by operations such as the grouping or bottlenecking of convolutions, exploiting the resilience of DNNs. In this work, we express such neural architecture operations as program transformations whose legality depends on a notion of representational capacity. This allows them to be combined with existing transformations into a unified optimization framework. This unification allows us to express existing NAS operations as combinations of simpler transformations. Crucially, it allows us to generate and explore new tensor convolutions. We prototyped the combined framework in TVM and were able to find optimizations across different DNNs, that significantly reduce inference time - over 3$\times$ in the majority of cases. Furthermore, our scheme dramatically reduces NAS search time. Code is available at~\href{https://github.com/jack-willturner/nas-as-program-transformation-exploration}{this https url}.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)のパフォーマンスを改善することは、コンパイラとニューラルアーキテクチャサーチ(NAS)コミュニティにとって重要である。 コンパイラはハードウェア並列性とメモリ階層を利用するためにプログラム変換を適用する。 しかし、合法性に関する懸念は、ニューラルネットワークの自然な堅牢性を利用できないことを意味する。 対照的に、NAS技術はネットワークをグループ化や畳み込みのボトルネック化といった操作によって変更し、DNNのレジリエンスを活用する。 本研究では,表現能力の概念に依存するプログラム変換として,そのようなニューラルアーキテクチャの操作を表現する。 これにより、既存の変換と統合最適化フレームワークに組み合わせることができる。 この統合により、既存のNAS操作を単純な変換の組み合わせとして表現できる。 重要なのは、新しいテンソル畳み込みの生成と探索を可能にすることです。 我々は、TVMで組み合わせたフレームワークのプロトタイプを作成し、異なるDNN間で最適化を見つけることができ、ほとんどのケースにおいて、推論タイムオーバー3$\times$を大幅に削減しました。 また、NAS検索時間を大幅に短縮します。 コードは~\href{https://github.com/jack-willturner/nas-as- programs-transformation-exploration}{this https url} で入手できる。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Memory-Efficient Reversible Spiking Neural Networks [8.05761813203348]
  スパイキングニューラルネットワーク(SNN)は、人工知能ニューラルネットワーク(ANN)と競合する可能性がある SNNは、より深いSNNモデルのトレーニングを妨げるANNよりもはるかに多くのメモリを必要とする。 本稿では、トレーニング中の中間活性化と膜電位のメモリコストを低減するために、可逆的なスパイクニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-12-13T06:39:49Z)
• ShiftNAS: Towards Automatic Generation of Advanced Mulitplication-Less Neural Networks [30.14665696695582]
  ShiftNASは、ビットシフトニューラルネットワークと実際の評価対象との精度ギャップを大幅に削減する、ニューラルネットワーク探索(NAS)をカスタマイズする最初のフレームワークである。 CIFAR10では1.69-8.07%、CIFAR100では5.71-18.09%、ImageNetでは4.36-67.07%の精度が向上する。
  論文  参考訳（メタデータ） (2022-04-07T12:15:03Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• A Spiking Neural Network for Image Segmentation [3.4998703934432682]
  我々は,深層ニューラルネットワーク(ANN)アーキテクチャのU-Netを,Nengoフレームワークを用いたスパイキングニューラルネットワーク(SNN)アーキテクチャに変換する。 レートベースモデルとスパイクベースモデルの両方がトレーニングされ、パフォーマンスとパワーのベンチマークに最適化されている。 Intel Loihiのニューロモルフィックチップのニューロモルフィック実装は、従来のハードウェアよりも2倍エネルギー効率が高い。
  論文  参考訳（メタデータ） (2021-06-16T16:23:18Z)
• Container: Context Aggregation Network [83.12004501984043]
  最近の発見は、従来の畳み込みやトランスフォーマーコンポーネントを使わずに、シンプルなベースのソリューションが効果的な視覚表現を生成できることを示している。 マルチヘッドコンテキストアグリゲーションのための汎用ビルディングブロックCONText Ion NERtwokを提案する。 より大規模な入力画像解像度に依存する下流タスクにはスケールしないTransformerベースの手法とは対照的に、当社の効率的なネットワークであるModellightは、オブジェクト検出やインスタンスセグメンテーションネットワークに利用することができる。
  論文  参考訳（メタデータ） (2021-06-02T18:09:11Z)
• Optimal Conversion of Conventional Artificial Neural Networks to Spiking Neural Networks [0.0]
  spiking neural networks (snns) は生物学に触発されたニューラルネットワーク (anns) である。 しきい値バランスとソフトリセット機構を組み合わせることで、重みをターゲットSNNに転送する新しい戦略パイプラインを提案する。 提案手法は,SNNのエネルギーとメモリの制限によるサポートを向上し,組込みプラットフォームに組み込むことが期待できる。
  論文  参考訳（メタデータ） (2021-02-28T12:04:22Z)
• Towards Accurate and Compact Architectures via Neural Architecture Transformer [95.4514639013144]
  計算コストを増すことなくパフォーマンスを向上させるために、アーキテクチャ内の操作を最適化する必要がある。 我々は最適化問題をマルコフ決定プロセス(MDP)にキャストするニューラルアーキテクチャ変換器(NAT)法を提案している。 NAT++(Neural Architecture Transformer++)メソッドを提案し、アーキテクチャ最適化のパフォーマンスを改善するために、候補遷移のセットをさらに拡大する。
  論文  参考訳（メタデータ） (2021-02-20T09:38:10Z)
• SparseDNN: Fast Sparse Deep Learning Inference on CPUs [1.6244541005112747]
  CPUをターゲットとしたスパースディープラーニング推論エンジンであるSparseDNNを紹介します。 我々のスパースコードジェネレータは,最先端のスパースライブラリや高密度ライブラリよりも大幅に高速化できることを示す。
  論文  参考訳（メタデータ） (2021-01-20T03:27:35Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。