論文の概要: LiCo-Net: Linearized Convolution Network for Hardware-efficient Keyword Spotting

• arxiv url: http://arxiv.org/abs/2211.04635v1
• Date: Wed, 9 Nov 2022 01:52:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 16:28:58.304530
• Title: LiCo-Net: Linearized Convolution Network for Hardware-efficient Keyword Spotting
• Title（参考訳）: LiCo-Net: ハードウェア効率の良いキーワードスポッティングのための線形畳み込みネットワーク
• Authors: Haichuan Yang, Zhaojun Yang, Li Wan, Biqiao Zhang, Yangyang Shi, Yiteng Huang, Ivaylo Enchev, Limin Tang, Raziel Alvarez, Ming Sun, Xin Lei, Raghuraman Krishnamoorthi, Vikas Chandra
• Abstract要約: 本稿では,キーワードスポッティングのためのハードウェア効率の良いLinearized Convolution Network(LiCo-Net)を提案する。 提案したLiCo-Netは、推論フェーズで効率的なint8線形演算子を使用し、トレーニングフェーズでストリーミング畳み込みを適用して高モデル容量を維持する二相システムである。
• 参考スコア（独自算出の注目度）: 24.58656712849478
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a hardware-efficient architecture, Linearized Convolution Network (LiCo-Net) for keyword spotting. It is optimized specifically for low-power processor units like microcontrollers. ML operators exhibit heterogeneous efficiency profiles on power-efficient hardware. Given the exact theoretical computation cost, int8 operators are more computation-effective than float operators, and linear layers are often more efficient than other layers. The proposed LiCo-Net is a dual-phase system that uses the efficient int8 linear operators at the inference phase and applies streaming convolutions at the training phase to maintain a high model capacity. The experimental results show that LiCo-Net outperforms single-value decomposition filter (SVDF) on hardware efficiency with on-par detection performance. Compared to SVDF, LiCo-Net reduces cycles by 40% on HiFi4 DSP.
• Abstract（参考訳）: 本稿では,キーワードスポッティングのためのハードウェア効率の良いLinearized Convolution Network(LiCo-Net)を提案する。 マイクロコントローラのような低消費電力プロセッサユニットに最適化されている。 mlオペレータは、電力効率のハードウェア上で異種効率プロファイルを示す。 正確な理論計算コストを考えると、int8演算子はフロート演算子よりも計算効率が高く、線形層は他の層よりも効率的であることが多い。 提案するlico-netは,int8線形演算子を推論フェーズで効率的に使用し,訓練段階でのストリーミング畳み込みを適用し,高いモデル容量を維持する2相システムである。 実験の結果,LiCo-Netはハードウェア効率において単一値分解フィルタ(SVDF)よりも高い性能を示し,オンパー検出性能を示した。 SVDFと比較して、LiCo-NetはHiFi4 DSPでサイクルを40%削減する。

関連論文リスト

• Input Convex Lipschitz RNN: A Fast and Robust Approach for Engineering Tasks [14.835081385422653]
  入力凸リプシッツリカレントニューラルネットワークと呼ばれる新しいネットワークアーキテクチャを開発した。 このモデルは、高速で堅牢な最適化ベースのタスクのために明示的に設計されている。 我々は、様々な実用工学的応用でこのモデルを成功裏に実装した。
  論文  参考訳（メタデータ） (2024-01-15T06:26:53Z)
• A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
  トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。 ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。 結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
  論文  参考訳（メタデータ） (2023-08-28T14:19:13Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• Lightweight and Progressively-Scalable Networks for Semantic Segmentation [100.63114424262234]
  マルチスケール学習フレームワークは,セマンティックセグメンテーションを向上する有効なモデルのクラスと見なされてきた。 本稿では,畳み込みブロックの設計と,複数スケールにわたる相互作用の仕方について,徹底的に解析する。 我々は,軽量で拡張性の高いネットワーク(LPS-Net)を考案した。
  論文  参考訳（メタデータ） (2022-07-27T16:00:28Z)
• Transformer Network-based Reinforcement Learning Method for Power Distribution Network (PDN) Optimization of High Bandwidth Memory (HBM) [4.829921419076774]
  高帯域メモリ(HBM)の電力分散ネットワーク(PDN)最適化のための変圧器ネットワークに基づく強化学習(RL)手法を提案する。 提案手法は,複数のポートで見られるPDN自己転送の低減を最大化するために,最適なデカップリングコンデンサ(デキャップ)設計を提供する。
  論文  参考訳（メタデータ） (2022-03-29T16:27:54Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• Design and Scaffolded Training of an Efficient DNN Operator for Computer Vision on the Edge [3.3767251810292955]
  FuSeConvは深度的に分離可能な畳み込みの代替となる。 FuSeConvは、その空間と深さの次元に沿って畳み込みを完全に分解する。 Neural Operator Scaffoldingは、深度的に分離可能な畳み込みからの知識を蒸留することでFuSeConvのトレーニングを行う。
  論文  参考訳（メタデータ） (2021-08-25T19:22:25Z)
• HANT: Hardware-Aware Network Transformation [82.54824188745887]
  ハードウェア・アウェア・ネットワーク・トランスフォーメーション(HANT)を提案する。 HANTは、ニューラルネットワーク検索のようなアプローチを使用して、非効率な操作をより効率的な代替手段に置き換える。 EfficientNetファミリの高速化に関する我々の結果は、ImageNetデータセットのトップ1の精度で最大3.6倍、0.4%の低下でHANTがそれらを加速できることを示している。
  論文  参考訳（メタデータ） (2021-07-12T18:46:34Z)
• EfficientFCN: Holistically-guided Decoding for Semantic Segmentation [49.27021844132522]
  最先端セマンティックセマンティックセグメンテーションアルゴリズムは主に拡張されたFully Convolutional Networks (DilatedFCN)に基づいている 本稿では,拡張畳み込みのないイメージネット事前学習ネットワークをバックボーンとする,効率的なFCNを提案する。 このようなフレームワークは、計算コストの1/3しか持たない最先端の手法に比べて、同等またはそれ以上の性能を達成する。
  論文  参考訳（メタデータ） (2020-08-24T14:48:23Z)
• ESSOP: Efficient and Scalable Stochastic Outer Product Architecture for Deep Learning [1.2019888796331233]
  行列ベクトル乗算(MVM)とベクトルベクトル外積(VVOP)は、ディープニューラルネットワーク(DNN)のトレーニングに関連する2つの最も高価な演算である。 DNNの重み更新において,多くの最先端ネットワークで要求される活性化機能を備えたSCに効率的な手法を導入する。 我々のアーキテクチャは、乱数を再使用し、ビットシフトスケーリングによって特定のFP乗算演算を置き換えることで計算コストを削減する。 14nm技術ノードにおけるESSOPのハードウェア設計は、高度にパイプライン化されたFP16乗算器と比較して、ESSOPは82.2%、93.7%エネルギー効率が良いことを示している。
  論文  参考訳（メタデータ） (2020-03-25T07:54:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。