論文の概要: PocketNN: Integer-only Training and Inference of Neural Networks via
Direct Feedback Alignment and Pocket Activations in Pure C++
- arxiv url: http://arxiv.org/abs/2201.02863v1
- Date: Sat, 8 Jan 2022 16:52:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-11 14:39:23.205791
- Title: PocketNN: Integer-only Training and Inference of Neural Networks via
Direct Feedback Alignment and Pocket Activations in Pure C++
- Title（参考訳）: PocketNN: 純粋C++における直接フィードバックアライメントとポケットアクティベーションによるニューラルネットワークの整数のみのトレーニングと推論
- Authors: Jaewoo Song and Fangzhen Lin
- Abstract要約: 深層学習アルゴリズムは浮動小数点実数を用いて実装される。
これは、専用の浮動小数点ユニット(FPU)を持たないローエンドデバイスに実装する際の障害となる。
- 参考スコア（独自算出の注目度）: 10.508187462682308
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Standard deep learning algorithms are implemented using floating-point real
numbers. This presents an obstacle for implementing them on low-end devices
which may not have dedicated floating-point units (FPUs). As a result,
researchers in TinyML have considered machine learning algorithms that can
train and run a deep neural network (DNN) on a low-end device using integer
operations only. In this paper we propose PocketNN, a light and self-contained
proof-of-concept framework in pure C++ for the training and inference of DNNs
using only integers. Unlike other approaches, PocketNN directly operates on
integers without requiring any explicit quantization algorithms or customized
fixed-point formats. This was made possible by pocket activations, which are a
family of activation functions devised for integer-only DNNs, and an emerging
DNN training algorithm called direct feedback alignment (DFA). Unlike the
standard backpropagation (BP), DFA trains each layer independently, thus
avoiding integer overflow which is a key problem when using BP with
integer-only operations. We used PocketNN to train some DNNs on two well-known
datasets, MNIST and Fashion-MNIST. Our experiments show that the DNNs trained
with our PocketNN achieved 96.98% and 87.7% accuracies on MNIST and
Fashion-MNIST datasets, respectively. The accuracies are very close to the
equivalent DNNs trained using BP with floating-point real number operations,
such that accuracy degradations were just 1.02%p and 2.09%p, respectively.
Finally, our PocketNN has high compatibility and portability for low-end
devices as it is open source and implemented in pure C++ without any
dependencies.
- Abstract（参考訳）: 標準ディープラーニングアルゴリズムは浮動小数点実数を用いて実装される。
これは、専用の浮動小数点ユニット(FPU)を持たないローエンドデバイスに実装する際の障害となる。
その結果、tinymlの研究者は、整数演算のみを使用して、dnn(deep neural network)をローエンドデバイス上でトレーニングおよび実行できる機械学習アルゴリズムを検討した。
本稿では,PocketNNを提案する。PocketNNは,整数のみを用いたDNNのトレーニングと推論のための,純粋C++における概念実証フレームワークである。
他のアプローチとは異なり、PocketNNは明示的な量子化アルゴリズムやカスタマイズされた固定点形式を必要とせずに整数を直接操作する。
これは、整数専用DNN用に考案されたアクティベーション関数のファミリーであるポケットアクティベーションと、直接フィードバックアライメント(DFA)と呼ばれる新たなDNNトレーニングアルゴリズムによって実現された。
標準バックプロパゲーション(BP)とは異なり、DFAは各層を個別に訓練するので、整数のみの操作でBPを使用する場合の重要な問題である整数オーバーフローを避けることができる。
私たちはPocketNNを使って、有名な2つのデータセットMNISTとFashion-MNISTでDNNをトレーニングしました。
我々のPocketNNでトレーニングしたDNNは、MNISTデータセットとFashion-MNISTデータセットでそれぞれ96.98%と87.7%の精度を達成した。
精度は、BPと浮動小数点実数演算を用いて訓練された同等のDNNと非常によく似ており、それぞれ1.02%pと2.09%pであった。
最後に、PocketNNはオープンソースであり、依存関係なしで純粋なC++で実装されているため、ローエンドデバイスに対する高い互換性と移植性を持っています。
関連論文リスト
- NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。
我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。
さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
論文 参考訳（メタデータ） (2024-08-28T02:17:58Z) - NITRO-D: Native Integer-only Training of Deep Convolutional Neural Networks [2.6230959823681834]
この研究は、任意の整数のみの畳み込みニューラルネットワーク(CNN)を学習するための新しいフレームワークであるNITRO-Dを導入する。
NiTRO-Dは、量子化スキームを導入することなく整数のみのCNNのトレーニングを可能にする文献の中で最初のフレームワークである。
論文 参考訳（メタデータ） (2024-07-16T13:16:49Z) - MatchNAS: Optimizing Edge AI in Sparse-Label Data Contexts via
Automating Deep Neural Network Porting for Mobile Deployment [54.77943671991863]
MatchNASはDeep Neural Networksをモバイルデバイスに移植するための新しいスキームである。
ラベル付きデータと非ラベル付きデータの両方を用いて、大規模なネットワークファミリを最適化する。
そして、さまざまなハードウェアプラットフォーム用に調整されたネットワークを自動的に検索する。
論文 参考訳（メタデータ） (2024-02-21T04:43:12Z) - Automated machine learning for borehole resistivity measurements [0.0]
ディープニューラルネットワーク(DNN)は、ボアホール比抵抗測定の反転のためのリアルタイムソリューションを提供する。
非常に大きなDNNを使って演算子を近似することができるが、かなりの訓練時間を必要とする。
本研究では,DNNの精度とサイズを考慮したスコアリング機能を提案する。
論文 参考訳（メタデータ） (2022-07-20T12:27:22Z) - Sub-bit Neural Networks: Learning to Compress and Accelerate Binary
Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。
SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。
ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文 参考訳（メタデータ） (2021-10-18T11:30:29Z) - A comprehensive review of Binary Neural Network [2.918940961856197]
バイナリニューラルネットワーク(BNN)は、畳み込みニューラルネットワーク(CNN)パラメータ量子化の極端な応用である。
近年のBNNの発展により、この問題に対処する多くのアルゴリズムやソリューションが生まれている。
論文 参考訳（メタデータ） (2021-10-11T22:44:15Z) - iRNN: Integer-only Recurrent Neural Network [0.8766022970635899]
精度の高い整数専用リカレントニューラルネットワーク(iRNN)を得るための量子化学習法を提案する。
当社のiRNNは、フル精度のものと同等のパフォーマンスを維持しており、スマートフォンへの展開により、ランタイムのパフォーマンスが2倍、モデルサイズが4倍に向上しています。
論文 参考訳（メタデータ） (2021-09-20T20:17:40Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - Training Graph Neural Networks with 1000 Layers [133.84813995275988]
我々は、GNNのメモリとパラメータ効率を向上させるために、可逆接続、グループ畳み込み、重み付け、平衡モデルについて検討する。
我々の知る限りでは、RevGNN-Deepは文学で最も深いGNNである。
論文 参考訳（メタデータ） (2021-06-14T15:03:00Z) - Evaluating Deep Neural Network Ensembles by Majority Voting cum
Meta-Learning scheme [3.351714665243138]
新しいデータインスタンスのために,7つの独立したディープニューラルネットワーク(DNN)のアンサンブルを提案する。
残りのサンプルからブートストラップサンプリングによってデータの7分の1を削除して補充する。
この論文のすべてのアルゴリズムは5つのベンチマークデータセットでテストされている。
論文 参考訳（メタデータ） (2021-05-09T03:10:56Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳（メタデータ） (2020-06-21T08:23:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。