論文の概要: Exponential discretization of weights of neural network connections in pre-trained neural networks

• arxiv url: http://arxiv.org/abs/2002.00623v1
• Date: Mon, 3 Feb 2020 09:41:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-04 08:11:52.449927
• Title: Exponential discretization of weights of neural network connections in pre-trained neural networks
• Title（参考訳）: 事前学習ニューラルネットワークにおけるニューラルネットワーク接続重みの指数的離散化
• Authors: Magomed Yu. Malsagov, Emil M. Khayrov, Maria M. Pushkareva, Iakov M. Karandashev
• Abstract要約: 指数的離散化は、ビット数が1または2以下である場合に同じ精度を達成できるため、線形離散化よりも好ましいことを示す。 ニューラルネットワークVGG-16の品質は、3ビット指数的離散化の場合、すでに満足している(トップ5精度69%)。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To reduce random access memory (RAM) requirements and to increase speed of recognition algorithms we consider a weight discretization problem for trained neural networks. We show that an exponential discretization is preferable to a linear discretization since it allows one to achieve the same accuracy when the number of bits is 1 or 2 less. The quality of the neural network VGG-16 is already satisfactory (top5 accuracy 69%) in the case of 3 bit exponential discretization. The ResNet50 neural network shows top5 accuracy 84% at 4 bits. Other neural networks perform fairly well at 5 bits (top5 accuracies of Xception, Inception-v3, and MobileNet-v2 top5 were 87%, 90%, and 77%, respectively). At less number of bits, the accuracy decreases rapidly.
• Abstract（参考訳）: ランダムアクセスメモリ(RAM)の要求を減らし、認識アルゴリズムの高速化を図るため、トレーニングニューラルネットワークにおける重み付き離散化問題を考える。 指数的離散化は、ビット数が1または2以下である場合に同じ精度を達成できるため、線形離散化よりも好ましいことを示す。 ニューラルネットワークVGG-16の品質は、3ビット指数的離散化の場合、すでに満足している(トップ5精度69%)。 ResNet50ニューラルネットワークは、4ビットでトップ5の精度84%を示している。 他のニューラルネットワークは5ビットでかなりよく動作する(Xception、Inception-v3、MobileNet-v2のトップ5はそれぞれ87%、90%、そして77%)。 ビット数が少ないと、精度は急速に低下する。

関連論文リスト

• Verified Neural Compressed Sensing [58.98637799432153]
  精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。 極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。 ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
  論文  参考訳（メタデータ） (2024-05-07T12:20:12Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Bayesian Inference Accelerator for Spiking Neural Networks [3.145754107337963]
  スパイキングニューラルネットワーク(SNN)は、計算面積と電力を減らす可能性がある。 本研究では,効率的なベイズSNNをハードウェア上で開発・実装するための最適化フレームワークについて述べる。 我々は、完全精度のベルヌーイパラメータを持つベイジアンバイナリネットワークに匹敵するアキュラ級数を示し、最大25時間分のスパイクを減らした。
  論文  参考訳（メタデータ） (2024-01-27T16:27:19Z)
• Why Quantization Improves Generalization: NTK of Binary Weight Neural Networks [33.08636537654596]
  ニューラルネットワークにおける二分重みを、ラウンドリングの下でのランダム変数とみなし、ニューラルネットワークの異なる層上での分布伝搬について検討する。 本研究では,連続パラメータとスムーズなアクティベーション関数を持つニューラルネットワークである分布伝搬を近似する準ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T06:11:21Z)
• HyBNN and FedHyBNN: (Federated) Hybrid Binary Neural Networks [0.0]
  新しいハイブリッドニューラルネットワークアーキテクチャHybrid Binary Neural Network (Hybrid Binary Neural Network, HyBNN)を導入する。 HyBNNは、タスク非依存、一般、完全精度の変動型オートエンコーダと、タスク固有のバイナリニューラルネットワークで構成されている。 提案システムは,入力バイナライゼーションにより,バニラバイナリニューラルネットワークを著しく上回る性能を有することを示す。
  論文  参考訳（メタデータ） (2022-05-19T20:27:01Z)
• Bit-wise Training of Neural Network Weights [4.56877715768796]
  ニューラルネットワークの重みを表す個々のビットを学習するアルゴリズムを導入する。 この方法は任意のビット深度で整数値で重みをトレーニングし、スパースネットワークを自然に発見する。 完全連結ネットワークを用いた標準的なトレーニング手法と,畳み込みネットワークや残留ネットワークの標準トレーニングと同等の性能を示す。
  論文  参考訳（メタデータ） (2022-02-19T10:46:54Z)
• Involution: Inverting the Inherence of Convolution for Visual Recognition [72.88582255910835]
  本稿では,畳み込みの原理を逆転させることにより,深層ニューラルネットワークの新たな原子操作を提案する。 提案する畳み込み演算子は、視覚認識のための新しい世代のニューラルネットワークを構築するための基本ブロックとして利用することができる。 当社のInvolutionベースのモデルは、ResNet-50を使用した畳み込みベースラインのパフォーマンスを最大1.6%の精度、2.5%と2.4%のバウンディングボックスAP、4.7%は絶対にIoUを意味します。
  論文  参考訳（メタデータ） (2021-03-10T18:40:46Z)
• Searching for Low-Bit Weights in Quantized Neural Networks [129.8319019563356]
  低ビットの重みとアクティベーションを持つ量子ニューラルネットワークは、AIアクセラレータを開発する上で魅力的なものだ。 本稿では、任意の量子化ニューラルネットワークにおける離散重みを探索可能な変数とみなし、差分法を用いて正確に探索する。
  論文  参考訳（メタデータ） (2020-09-18T09:13:26Z)
• Fast Implementation of 4-bit Convolutional Neural Networks for Mobile Devices [0.8362190332905524]
  量子化ニューラルネットワークにおける4ビット行列乗算の効率的な実装について述べる。 また、MIDV-500データセット上でOCR認識のための4ビット量子化ニューラルネットワークを実演する。 その結果、4ビット量子化はモバイルデバイスに完全に適合し、十分な精度と推論時間が得られることがわかった。
  論文  参考訳（メタデータ） (2020-09-14T14:48:40Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• AdderNet: Do We Really Need Multiplications in Deep Learning? [159.174891462064]
  我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。 本稿では,AdderNets のバックプロパゲーション手法を提案する。 その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
  論文  参考訳（メタデータ） (2019-12-31T06:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。