論文の概要: PoET-BiN: Power Efficient Tiny Binary Neurons

• arxiv url: http://arxiv.org/abs/2002.09794v1
• Date: Sun, 23 Feb 2020 00:32:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 09:09:18.646124
• Title: PoET-BiN: Power Efficient Tiny Binary Neurons
• Title（参考訳）: PoET-BiN:高効率Tinyバイナリニューロン
• Authors: Sivakumar Chidambaram, J.M. Pierre Langlois, Jean Pierre David
• Abstract要約: 本稿では,リソース制約の組込みデバイス上でのルックアップテーブルに基づく効率的な実装であるPoET-BiNを提案する。 修正された決定木アプローチは、バイナリドメインで提案された実装のバックボーンを形成する。 LUTアクセスは、それを置き換えるMultiply Accumulate操作よりもはるかに少ない電力を消費し、修正されたDecision Treeアルゴリズムはメモリアクセスの必要性を排除する。
• 参考スコア（独自算出の注目度）: 1.7274221736253095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of neural networks in image classification has inspired various hardware implementations on embedded platforms such as Field Programmable Gate Arrays, embedded processors and Graphical Processing Units. These embedded platforms are constrained in terms of power, which is mainly consumed by the Multiply Accumulate operations and the memory accesses for weight fetching. Quantization and pruning have been proposed to address this issue. Though effective, these techniques do not take into account the underlying architecture of the embedded hardware. In this work, we propose PoET-BiN, a Look-Up Table based power efficient implementation on resource constrained embedded devices. A modified Decision Tree approach forms the backbone of the proposed implementation in the binary domain. A LUT access consumes far less power than the equivalent Multiply Accumulate operation it replaces, and the modified Decision Tree algorithm eliminates the need for memory accesses. We applied the PoET-BiN architecture to implement the classification layers of networks trained on MNIST, SVHN and CIFAR-10 datasets, with near state-of-the art results. The energy reduction for the classifier portion reaches up to six orders of magnitude compared to a floating point implementations and up to three orders of magnitude when compared to recent binary quantized neural networks.
• Abstract（参考訳）: 画像分類におけるニューラルネットワークの成功は、フィールドプログラマブルゲートアレイ、組み込みプロセッサ、グラフィカル処理ユニットなど、組み込みプラットフォーム上での様々なハードウェア実装に影響を与えている。 これらの組込みプラットフォームは、主に累積演算とウェイトフェッチのためのメモリアクセスによって消費される電力の面で制約されている。 量子化と刈り取りはこの問題に対処するために提案されている。 効果的ではあるが、これらの技術は組み込みハードウェアの基盤となるアーキテクチャを考慮していない。 本研究では,リソース制約された組み込みデバイス上でのLook-Up Tableに基づく効率的な実装であるPoET-BiNを提案する。 修正決定木アプローチは、バイナリドメインで提案された実装のバックボーンを形成する。 LUTアクセスは、それを置き換えるMultiply Accumulate操作よりもはるかに少ない電力を消費し、修正されたDecision Treeアルゴリズムはメモリアクセスの必要性を排除する。 mnist,svhn,cifar-10でトレーニングされたネットワークの分類層を実装し,最先端の成果を得た。 分類器部分のエネルギー削減は、浮動小数点の実装と比較して最大6桁、最近のバイナリ量子化ニューラルネットワークと比較して最大3桁に達する。

関連論文リスト

• TrIM: Triangular Input Movement Systolic Array for Convolutional Neural Networks -- Part II: Architecture and Hardware Implementation [0.0]
  TrIMは、入力の三角移動に基づく革新的なデータフローである。 TrIMは、最先端のシストリックアレイと比較して1桁のメモリアクセス数を削減できる。 アーキテクチャは、毎秒453.6ギガオペレーションのピークスループットを達成する。
  論文  参考訳（メタデータ） (2024-08-05T10:18:00Z)
• BDC-Occ: Binarized Deep Convolution Unit For Binarized Occupancy Network [55.21288428359509]
  既存の3D占有ネットワークは重要なハードウェアリソースを必要としており、エッジデバイスの配備を妨げている。 本稿では,バイナライズド・ディープ・コンボリューション(BDC)ユニットを提案し,バイナライズド・ディープ・コンボリューション・レイヤの数を増やしつつ性能を効果的に向上させる。 我々のBDC-Occモデルは既存の3D占有ネットワークをバイナライズするために提案したBDCユニットを適用して作成する。
  論文  参考訳（メタデータ） (2024-05-27T10:44:05Z)
• Quantization of Deep Neural Networks to facilitate self-correction of weights on Phase Change Memory-based analog hardware [0.0]
  乗法重みの集合を近似するアルゴリズムを開発する。 これらの重みは、性能の損失を最小限に抑えながら、元のネットワークの重みを表現することを目的としている。 その結果、オンチップパルス発生器と組み合わせると、私たちの自己補正ニューラルネットワークはアナログ認識アルゴリズムで訓練されたものと同等に機能することがわかった。
  論文  参考訳（メタデータ） (2023-09-30T10:47:25Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
  本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。 我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。 実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
  論文  参考訳（メタデータ） (2023-03-25T13:53:02Z)
• Energy Efficient Hardware Acceleration of Neural Networks with Power-of-Two Quantisation [0.0]
  我々は、Zynq UltraScale + MPSoC ZCU104 FPGA上に実装されたPoT重みを持つハードウェアニューラルネットワークアクセラレーターが、均一量子化バージョンよりも少なくとも1.4x$のエネルギー効率を持つことを示す。
  論文  参考訳（メタデータ） (2022-09-30T06:33:40Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
  ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-29T05:50:54Z)
• Learning Sparse & Ternary Neural Networks with Entropy-Constrained Trained Ternarization (EC2T) [17.13246260883765]
  ディープニューラルネットワーク(DNN)は、さまざまな機械学習アプリケーションで顕著な成功を収めている。 近年,資源に制約のあるデバイスにDNNを配置することへの関心が高まっている。 本稿では,スパースニューラルネットワークと3次ニューラルネットワークの汎用フレームワークであるEntropy-Constrained Trained Ternarization (EC2T)を提案する。
  論文  参考訳（メタデータ） (2020-04-02T15:38:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。