Fugu-MT 論文翻訳(概要): Deep Neural Network Training without Multiplications

論文の概要: Deep Neural Network Training without Multiplications

arxiv url: http://arxiv.org/abs/2012.03458v1
Date: Mon, 7 Dec 2020 05:40:50 GMT
ステータス: 処理完了
システム内更新日: 2021-05-16 21:08:56.152317
Title: Deep Neural Network Training without Multiplications
Title（参考訳）: 重複のないディープニューラルネットワークトレーニング
Authors: Tsuguo Mogami
Abstract要約: ResNetはこの操作を競合する分類精度で訓練できることを示す。この方法は、ディープニューラルネットワークトレーニングと推論における乗算の排除を可能にする。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Is multiplication really necessary for deep neural networks? Here we propose just adding two IEEE754 floating-point numbers with an integer-add instruction in place of a floating-point multiplication instruction. We show that ResNet can be trained using this operation with competitive classification accuracy. Our proposal did not require any methods to solve instability and decrease in accuracy, which is common in low-precision training. In some settings, we may obtain equal accuracy to the baseline FP32 result. This method will enable eliminating the multiplications in deep neural-network training and inference.
Abstract（参考訳）: ディープニューラルネットワークには乗算が本当に必要か? 本稿では,浮動小数点乗算命令の代わりに整数加算命令付きIEEE754浮動小数点数を追加する。 ResNetはこの操作を競合する分類精度で訓練できることを示す。提案手法は,低精度トレーニングにおいて一般的である不安定性の解消と精度低下の方法を必要としない。いくつかの設定では、ベースラインFP32結果と同等の精度が得られる。この方法は、ディープニューラルネットワークトレーニングと推論における乗算の排除を可能にする。

関連論文リスト

Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
論文参考訳（メタデータ） (2023-07-27T17:42:06Z)
Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
論文参考訳（メタデータ） (2021-11-02T06:44:10Z)
Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文参考訳（メタデータ） (2021-06-18T03:11:15Z)
Adder Neural Networks [75.54239599016535]
我々は、ディープニューラルネットワークにおける大規模な乗算を交換するために、加算器ネットワーク(AdderNets)を提案する。 AdderNetsでは、フィルタと入力特徴の間の$ell_p$-norm距離を出力応答として取ります。提案したAdderNetsは,ImageNetデータセット上でResNet-50を用いて,75.7%のTop-1精度92.3%のTop-5精度を達成可能であることを示す。
論文参考訳（メタデータ） (2021-05-29T04:02:51Z)
PositNN: Training Deep Neural Networks with Mixed Low-Precision Posit [5.534626267734822]
本研究は、ポジットを用いた深層畳み込みニューラルネットワークの訓練の可能性を評価することを目的とする。エンドツーエンドのトレーニングと推論にシミュレートされたポジットとクィアを使用するソフトウェアフレームワークが開発された。その結果、8ビットポジットはトレーニング中に32ビットフロートを置換でき、その結果の損失や精度に悪影響を及ぼさないことが示唆された。
論文参考訳（メタデータ） (2021-04-30T19:30:37Z)
Representation range needs for 16-bit neural network training [2.2657486535885094]
浮動小数点演算では指数ビット数の変化に伴い精度と表現範囲のトレードオフが存在する。我々は6ビットの指数と9ビットの明示的なマンティッサという1/6/9フォーマットを提案する。 1/6/9混合精度トレーニングは,非正規動作の性能低下を引き起こすハードウェア上でのトレーニングを高速化できることを示す。
論文参考訳（メタデータ） (2021-03-29T20:30:02Z)
NITI: Training Integer Neural Networks Using Integer-only Arithmetic [4.361357921751159]
我々は,整数演算のみを用いて計算を行う,効率的なディープニューラルネットワークトレーニングフレームワークであるNITIを提案する。ネイティブ8ビット整数演算を用いたNITIの概念実証ソフトウェア実装について述べる。 NITIは8ビット整数ストレージと計算を用いてMNISTとCIFAR10データセットの無視可能な精度劣化を実現する。
論文参考訳（メタデータ） (2020-09-28T07:41:36Z)
Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文参考訳（メタデータ） (2020-06-21T08:23:03Z)
AdderNet: Do We Really Need Multiplications in Deep Learning? [159.174891462064]
我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。本稿では,AdderNets のバックプロパゲーション手法を提案する。その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
論文参考訳（メタデータ） (2019-12-31T06:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。