論文の概要: Arch-Net: Model Distillation for Architecture Agnostic Model Deployment

• arxiv url: http://arxiv.org/abs/2111.01135v1
• Date: Mon, 1 Nov 2021 15:49:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-03 14:21:36.490168
• Title: Arch-Net: Model Distillation for Architecture Agnostic Model Deployment
• Title（参考訳）: Arch-Net: アーキテクチャに依存しないモデル展開のためのモデル蒸留
• Authors: Weixin Xu, Zipeng Feng, Shuangkang Fang, Song Yuan, Yi Yang, Shuchang Zhou
• Abstract要約: Arch-Netは、ほとんどのASICで効率的にサポートされている演算子のみで構成されたニューラルネットワークのファミリーである。 我々は,最新のニューラルネットワークを高速かつ高精度なArch-Netに変換する。
• 参考スコア（独自算出の注目度）: 18.7780634947042
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vast requirement of computation power of Deep Neural Networks is a major hurdle to their real world applications. Many recent Application Specific Integrated Circuit (ASIC) chips feature dedicated hardware support for Neural Network Acceleration. However, as ASICs take multiple years to develop, they are inevitably out-paced by the latest development in Neural Architecture Research. For example, Transformer Networks do not have native support on many popular chips, and hence are difficult to deploy. In this paper, we propose Arch-Net, a family of Neural Networks made up of only operators efficiently supported across most architectures of ASICs. When a Arch-Net is produced, less common network constructs, like Layer Normalization and Embedding Layers, are eliminated in a progressive manner through label-free Blockwise Model Distillation, while performing sub-eight bit quantization at the same time to maximize performance. Empirical results on machine translation and image classification tasks confirm that we can transform latest developed Neural Architectures into fast running and as-accurate Arch-Net, ready for deployment on multiple mass-produced ASIC chips. The code will be available at https://github.com/megvii-research/Arch-Net.
• Abstract（参考訳）: ディープニューラルネットワークの計算能力の膨大な要求は、現実世界のアプリケーションにとって大きなハードルとなる。 最近のアプリケーション固有集積回路(ASIC)チップは、ニューラルネットワークアクセラレーション専用のハードウェアをサポートする。 しかし、ASICは開発に数年を要し、ニューラルアーキテクチャ研究の最新の開発によって必然的に追い越されている。 例えば、トランスフォーマーネットワークは、多くの人気のあるチップにネイティブサポートを持っていないため、デプロイが難しい。 本稿では,asicのほとんどのアーキテクチャで効率的にサポートできるオペレータのみからなるニューラルネットワークであるarch-netを提案する。 Arch-Netが生成されると、Layer Normalization や Embedding Layersのようなより一般的なネットワーク構成は、ラベルのないBlockwise Model Distillationを通じて徐々に排除され、同時にサブ8ビット量子化を実行してパフォーマンスを最大化する。 機械翻訳と画像分類タスクの実証結果から,最新のニューラルアーキテクチャを高速実行およびア正確なアーチネットに変換し,複数の量産型asicチップにデプロイできることを確認した。 コードはhttps://github.com/megvii-research/Arch-Netで入手できる。

関連論文リスト

• FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
  本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。 実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
  論文  参考訳（メタデータ） (2022-07-04T09:05:25Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• E3NE: An End-to-End Framework for Accelerating Spiking Neural Networks with Emerging Neural Encoding on FPGAs [6.047137174639418]
  エンドツーエンドフレームワークのE3NEはFPGAのための効率的なSNN推論ロジックを生成する。 E3NEはハードウェアリソースの50%未満を消費し、20%の電力を消費する一方で、レイテンシを桁違いに低減する。
  論文  参考訳（メタデータ） (2021-11-19T04:01:19Z)
• Self-Denoising Neural Networks for Few Shot Learning [66.38505903102373]
  既存のニューラルアーキテクチャの複数の段階でノイズを追加すると同時に、この付加ノイズに対して堅牢であるように学習する新しいトレーニングスキームを提案する。 このアーキテクチャは、SDNN(Self-Denoising Neural Network)と呼ばれ、現代の畳み込みニューラルネットワークに容易に適用できます。
  論文  参考訳（メタデータ） (2021-10-26T03:28:36Z)
• Larq Compute Engine: Design, Benchmark, and Deploy State-of-the-Art Binarized Neural Networks [2.0584583078037633]
  本稿では,世界最速のバイナリニューラルネットワーク(BNN)推論エンジンであるLar Computeq Engineを紹介する。 LCEは、バイナリ操作の高度に最適化された実装を提供し、Pixel 1の完全な精度と比較して、バイナリの畳み込みを8.5から18.5倍加速する。 我々は、ImageNetのレイテンシと精度で既存のバイナリネットワークよりも優れた、シンプルで再現しやすいBNNであるQuickNetを開発した。
  論文  参考訳（メタデータ） (2020-11-18T16:56:14Z)
• Hierarchical Neural Architecture Search for Deep Stereo Matching [131.94481111956853]
  本稿では, ディープステレオマッチングのための最初のエンドツーエンド階層型NASフレームワークを提案する。 我々のフレームワークは、タスク固有の人間の知識をニューラルアーキテクチャ検索フレームワークに組み込んでいる。 KITTI stereo 2012、2015、Middleburyベンチマークで1位、SceneFlowデータセットで1位にランクインしている。
  論文  参考訳（メタデータ） (2020-10-26T11:57:37Z)
• LC-NAS: Latency Constrained Neural Architecture Search for Point Cloud Networks [73.78551758828294]
  LC-NASは、最小計算コストでポイントクラウド分類のための最先端アーキテクチャを見つけることができる。 検索したアーキテクチャが、適度に低い精度で、望ましいレイテンシを実現する方法を示します。
  論文  参考訳（メタデータ） (2020-08-24T10:30:21Z)
• NASCaps: A Framework for Neural Architecture Search to Optimize the Accuracy and Hardware Efficiency of Convolutional Capsule Networks [10.946374356026679]
  我々は,異なるタイプのディープニューラルネットワーク(DNN)のハードウェア対応NASの自動フレームワークであるNASCapsを提案する。 多目的遺伝的アルゴリズム(NSGA-IIアルゴリズム)の展開の有効性について検討する。 我々のフレームワークは、NASフローの特別なカプセル層と動的ルーティングをモデル化し、サポートする最初のフレームワークです。
  論文  参考訳（メタデータ） (2020-08-19T14:29:36Z)
• Fully-parallel Convolutional Neural Network Hardware [0.7829352305480285]
  本稿では,ハードウェアにArticial Neural Networks(ANN)を実装するための,新しい電力・面積効率アーキテクチャを提案する。 LENET-5として完全に並列なCNNを1つのFPGAに埋め込んでテストするのが初めてである。
  論文  参考訳（メタデータ） (2020-06-22T17:19:09Z)
• A Power-Efficient Binary-Weight Spiking Neural Network Architecture for Real-Time Object Classification [1.5291703721641183]
  エッジプラットフォーム上での低消費電力リアルタイムオブジェクト分類のための二元重スパイクニューラルネットワーク(BW-SNN)ハードウェアアーキテクチャを提案する。 この設計では、完全なニューラルネットワークをオンチップに格納するので、オフチップの帯域幅を必要としない。
  論文  参考訳（メタデータ） (2020-03-12T11:25:00Z)
• Neural Network Compression Framework for fast model inference [59.65531492759006]
  我々は、ニューラルネットワーク圧縮フレームワーク(NNCF)と呼ばれる、微調整によるニューラルネットワーク圧縮のための新しいフレームワークを提案する。 様々なネットワーク圧縮手法の最近の進歩を活用し、空間性、量子化、双項化などのいくつかの実装を行っている。 フレームワークは、トレーニングサンプル内に提供され、あるいは既存のトレーニングコードにシームレスに統合可能なスタンドアロンパッケージとして使用することができる。
  論文  参考訳（メタデータ） (2020-02-20T11:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。