論文の概要: Exponential discretization of weights of neural network connections in
pre-trained neural networks
- arxiv url: http://arxiv.org/abs/2002.00623v1
- Date: Mon, 3 Feb 2020 09:41:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-04 08:11:52.449927
- Title: Exponential discretization of weights of neural network connections in
pre-trained neural networks
- Title(参考訳): 事前学習ニューラルネットワークにおけるニューラルネットワーク接続重みの指数的離散化
- Authors: Magomed Yu. Malsagov, Emil M. Khayrov, Maria M. Pushkareva, Iakov M.
Karandashev
- Abstract要約: 指数的離散化は、ビット数が1または2以下である場合に同じ精度を達成できるため、線形離散化よりも好ましいことを示す。
ニューラルネットワークVGG-16の品質は、3ビット指数的離散化の場合、すでに満足している(トップ5精度69%)。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To reduce random access memory (RAM) requirements and to increase speed of
recognition algorithms we consider a weight discretization problem for trained
neural networks. We show that an exponential discretization is preferable to a
linear discretization since it allows one to achieve the same accuracy when the
number of bits is 1 or 2 less. The quality of the neural network VGG-16 is
already satisfactory (top5 accuracy 69%) in the case of 3 bit exponential
discretization. The ResNet50 neural network shows top5 accuracy 84% at 4 bits.
Other neural networks perform fairly well at 5 bits (top5 accuracies of
Xception, Inception-v3, and MobileNet-v2 top5 were 87%, 90%, and 77%,
respectively). At less number of bits, the accuracy decreases rapidly.
- Abstract(参考訳): ランダムアクセスメモリ(RAM)の要求を減らし、認識アルゴリズムの高速化を図るため、トレーニングニューラルネットワークにおける重み付き離散化問題を考える。
指数的離散化は、ビット数が1または2以下である場合に同じ精度を達成できるため、線形離散化よりも好ましいことを示す。
ニューラルネットワークVGG-16の品質は、3ビット指数的離散化の場合、すでに満足している(トップ5精度69%)。
ResNet50ニューラルネットワークは、4ビットでトップ5の精度84%を示している。
他のニューラルネットワークは5ビットでかなりよく動作する(Xception、Inception-v3、MobileNet-v2のトップ5はそれぞれ87%、90%、そして77%)。
ビット数が少ないと、精度は急速に低下する。
関連論文リスト
- Bayesian Inference Accelerator for Spiking Neural Networks [3.145754107337963]
スパイキングニューラルネットワーク(SNN)は、計算面積と電力を減らす可能性がある。
本研究では,効率的なベイズSNNをハードウェア上で開発・実装するための最適化フレームワークについて述べる。
我々は、完全精度のベルヌーイパラメータを持つベイジアンバイナリネットワークに匹敵するアキュラ級数を示し、最大25時間分のスパイクを減らした。
論文 参考訳(メタデータ) (2024-01-27T16:27:19Z) - Bayesian Neural Networks: A Min-Max Game Framework [2.130283000112442]
ベイズニューラルネットワークをミニマックスゲーム問題として定式化する。
我々はMNISTデータセットで実験を行い、主要な結果は既存のクローズドループ転写ニューラルネットワークに匹敵する結果を得た。
論文 参考訳(メタデータ) (2023-11-18T17:17:15Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳(メタデータ) (2022-06-15T17:58:34Z) - Why Quantization Improves Generalization: NTK of Binary Weight Neural
Networks [33.08636537654596]
ニューラルネットワークにおける二分重みを、ラウンドリングの下でのランダム変数とみなし、ニューラルネットワークの異なる層上での分布伝搬について検討する。
本研究では,連続パラメータとスムーズなアクティベーション関数を持つニューラルネットワークである分布伝搬を近似する準ニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2022-06-13T06:11:21Z) - HyBNN and FedHyBNN: (Federated) Hybrid Binary Neural Networks [0.0]
新しいハイブリッドニューラルネットワークアーキテクチャHybrid Binary Neural Network (Hybrid Binary Neural Network, HyBNN)を導入する。
HyBNNは、タスク非依存、一般、完全精度の変動型オートエンコーダと、タスク固有のバイナリニューラルネットワークで構成されている。
提案システムは,入力バイナライゼーションにより,バニラバイナリニューラルネットワークを著しく上回る性能を有することを示す。
論文 参考訳(メタデータ) (2022-05-19T20:27:01Z) - Post-training deep neural network pruning via layer-wise calibration [70.65691136625514]
本論文では,自動合成フラクタル画像に基づくコンピュータビジョンモデルに対するデータフリーな拡張を提案する。
実データを使用する場合は、トレーニング後の設定で65%の間隔で8ビットの精度でImageNet上のResNet50モデルを取得できます。
論文 参考訳(メタデータ) (2021-04-30T14:20:51Z) - Involution: Inverting the Inherence of Convolution for Visual
Recognition [72.88582255910835]
本稿では,畳み込みの原理を逆転させることにより,深層ニューラルネットワークの新たな原子操作を提案する。
提案する畳み込み演算子は、視覚認識のための新しい世代のニューラルネットワークを構築するための基本ブロックとして利用することができる。
当社のInvolutionベースのモデルは、ResNet-50を使用した畳み込みベースラインのパフォーマンスを最大1.6%の精度、2.5%と2.4%のバウンディングボックスAP、4.7%は絶対にIoUを意味します。
論文 参考訳(メタデータ) (2021-03-10T18:40:46Z) - Searching for Low-Bit Weights in Quantized Neural Networks [129.8319019563356]
低ビットの重みとアクティベーションを持つ量子ニューラルネットワークは、AIアクセラレータを開発する上で魅力的なものだ。
本稿では、任意の量子化ニューラルネットワークにおける離散重みを探索可能な変数とみなし、差分法を用いて正確に探索する。
論文 参考訳(メタデータ) (2020-09-18T09:13:26Z) - Fast Implementation of 4-bit Convolutional Neural Networks for Mobile
Devices [0.8362190332905524]
量子化ニューラルネットワークにおける4ビット行列乗算の効率的な実装について述べる。
また、MIDV-500データセット上でOCR認識のための4ビット量子化ニューラルネットワークを実演する。
その結果、4ビット量子化はモバイルデバイスに完全に適合し、十分な精度と推論時間が得られることがわかった。
論文 参考訳(メタデータ) (2020-09-14T14:48:40Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳(メタデータ) (2020-06-21T08:23:03Z) - AdderNet: Do We Really Need Multiplications in Deep Learning? [159.174891462064]
我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。
本稿では,AdderNets のバックプロパゲーション手法を提案する。
その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
論文 参考訳(メタデータ) (2019-12-31T06:56:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。