論文の概要: Low-Precision Floating-Point for Efficient On-Board Deep Neural Network
Processing
- arxiv url: http://arxiv.org/abs/2311.11172v1
- Date: Sat, 18 Nov 2023 21:36:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 10:24:08.534796
- Title: Low-Precision Floating-Point for Efficient On-Board Deep Neural Network
Processing
- Title(参考訳): 効率的な深層ニューラルネットワーク処理のための低精度浮動小数点法
- Authors: C\'edric Gernigon and Silviu-Ioan Filip and Olivier Sentieys and
Cl\'ement Coggiola and Micka\"el Bruno
- Abstract要約: 本研究では,低精度(ミニ)浮動小数点演算と量子化学習法を組み合わせる方法について検討する。
その結果,6ビット浮動小数点量子化は重みとアクティベーションの両方において単一精度と競合できることがわかった。
初期のハードウェア研究は、そのような低精度浮動小数点設計の潜在的影響も確認した。
- 参考スコア(独自算出の注目度): 0.9374652839580183
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One of the major bottlenecks in high-resolution Earth Observation (EO) space
systems is the downlink between the satellite and the ground. Due to hardware
limitations, on-board power limitations or ground-station operation costs,
there is a strong need to reduce the amount of data transmitted. Various
processing methods can be used to compress the data. One of them is the use of
on-board deep learning to extract relevant information in the data. However,
most ground-based deep neural network parameters and computations are performed
using single-precision floating-point arithmetic, which is not adapted to the
context of on-board processing. We propose to rely on quantized neural networks
and study how to combine low precision (mini) floating-point arithmetic with a
Quantization-Aware Training methodology. We evaluate our approach with a
semantic segmentation task for ship detection using satellite images from the
Airbus Ship dataset. Our results show that 6-bit floating-point quantization
for both weights and activations can compete with single-precision without
significant accuracy degradation. Using a Thin U-Net 32 model, only a 0.3%
accuracy degradation is observed with 6-bit minifloat quantization (a 6-bit
equivalent integer-based approach leads to a 0.5% degradation). An initial
hardware study also confirms the potential impact of such low-precision
floating-point designs, but further investigation at the scale of a full
inference accelerator is needed before concluding whether they are relevant in
a practical on-board scenario.
- Abstract(参考訳): 高解像度地球観測(EO)宇宙システムにおける大きなボトルネックの1つは、衛星と地上の間のダウンリンクである。
ハードウェアの制限、オンボードの電力制限、地上局の運用コストなどにより、送信されるデータ量を減らす必要性が強い。
データの圧縮には様々な処理方法を用いることができる。
そのうちの1つは、データ内の関連情報を抽出するために、オンボードでディープラーニングを使用することである。
しかし、地上ベースのディープニューラルネットワークのパラメータや計算は、オンボード処理の文脈に適合しない単精度浮動小数点演算を用いて行われる。
本稿では,量子化されたニューラルネットワークに頼り,低精度(ミニ)浮動小数点演算と量子化認識学習法を組み合わせる方法を提案する。
本手法は,airbus ship datasetの衛星画像を用いた船舶検出のためのセマンティックセグメンテーションタスクを用いて評価する。
その結果,6ビット浮動小数点量子化は,重みとアクティベーションの両方において,精度の劣化を伴わずに単一精度と競合できることがわかった。
薄型u-net 32モデルでは、6ビットのミニフロート量子化で0.3%の精度劣化しか観測されない(6ビット等価整数ベースアプローチは0.5%の劣化をもたらす)。
初期のハードウェア研究では、そのような低精度浮動小数点設計の影響も確認されているが、実際のオンボードシナリオに関係があるかどうかを結論づける前に、完全な推論加速器のスケールに関するさらなる調査が必要である。
関連論文リスト
- Rediscovering Hashed Random Projections for Efficient Quantization of
Contextualized Sentence Embeddings [113.38884267189871]
エッジデバイス上でのトレーニングと推論は、しばしば計算上の制限のために効率的なセットアップを必要とする。
データ表現の事前計算とサーバへのキャッシュにより、エッジデバイスの広範な計算が軽減される。
ランダムな超平面射影を用いた単純かつ効果的な手法を提案する。
組込みは, 浮動小数点の94%-99%を保持できる様々な英語およびドイツ語の文分類タスクにおいて, トレーニングモデルに有効であることを示す。
論文 参考訳(メタデータ) (2023-03-13T10:53:00Z) - Quantized Neural Networks for Low-Precision Accumulation with Guaranteed
Overflow Avoidance [68.8204255655161]
本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。
本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
論文 参考訳(メタデータ) (2023-01-31T02:46:57Z) - FxP-QNet: A Post-Training Quantizer for the Design of Mixed
Low-Precision DNNs with Dynamic Fixed-Point Representation [2.4149105714758545]
我々は、ディープニューラルネットワーク(FxP-QNet)の固定点量子化器(FixP-QNet)と呼ばれる新しいフレームワークを提案する。
FxP-QNetは、ネットワーク精度と低精度要求との間のトレードオフに基づいて、各レイヤのデータ構造ごとに量子化レベルを適用する。
その結果、FxP-QNet量子化されたAlexNet、VGG-16、ResNet-18は、全精度のメモリ要求を0.95%未満の7.16x、10.36x、6.44x、1.99%削減した。
論文 参考訳(メタデータ) (2022-03-22T23:01:43Z) - SignalNet: A Low Resolution Sinusoid Decomposition and Estimation
Network [79.04274563889548]
本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。
基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。
シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
論文 参考訳(メタデータ) (2021-06-10T04:21:20Z) - n-hot: Efficient bit-level sparsity for powers-of-two neural network
quantization [0.0]
パワーオブツー(PoT)量子化は、リソース制約ハードウェア上でのディープニューラルネットワークのビット演算数を減少させる。
PoT量子化は、表現能力が限られているため、深刻な精度低下を引き起こす。
メモリ効率の高い方法で精度とコストを両立した効率的なPoT量子化方式を提案する。
論文 参考訳(メタデータ) (2021-03-22T10:13:12Z) - VS-Quant: Per-vector Scaled Quantization for Accurate Low-Precision
Neural Network Inference [7.886868529510128]
量子化は、訓練されたモデルの浮動小数点重みとアクティベーションをスケールファクターを用いて低ビット幅整数値にマッピングする。
過剰な量子化、過度に精度を低下させると、精度が低下する。
ベクトル単位のスケールファクタは、2レベル量子化スキームを使用する場合、低ビット幅の整数で実装できる。
論文 参考訳(メタデータ) (2021-02-08T19:56:04Z) - DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution
Networks [49.191062785007006]
画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。
既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。
高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
論文 参考訳(メタデータ) (2020-12-21T10:19:42Z) - Subtensor Quantization for Mobilenets [5.735035463793008]
ディープニューラルネットワーク(DNN)の量子化により、開発者はより少ないメモリとより効率的な低消費電力推論でモデルをデプロイできるようになった。
本稿では,量子化損失の根本原因について分析し,チャネル単位やトレーニング対応のアプローチに依存しない代替案を提案する。
我々は、ImageNetデータセット上の画像分類タスクと、浮動小数点バージョンの0.7%以内で、トレーニング後の量子化8ビット推論トップ1の精度を評価する。
論文 参考訳(メタデータ) (2020-11-04T15:41:47Z) - AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。
我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文 参考訳(メタデータ) (2020-07-14T09:07:29Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳(メタデータ) (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。