Fugu-MT 論文翻訳(概要): Low-Precision Floating-Point for Efficient On-Board Deep Neural Network Processing

論文の概要: Low-Precision Floating-Point for Efficient On-Board Deep Neural Network Processing

arxiv url: http://arxiv.org/abs/2311.11172v1
Date: Sat, 18 Nov 2023 21:36:52 GMT
ステータス: 処理完了
システム内更新日: 2023-11-22 10:24:08.534796
Title: Low-Precision Floating-Point for Efficient On-Board Deep Neural Network Processing
Title（参考訳）: 効率的な深層ニューラルネットワーク処理のための低精度浮動小数点法
Authors: C\'edric Gernigon and Silviu-Ioan Filip and Olivier Sentieys and Cl\'ement Coggiola and Micka\"el Bruno
Abstract要約: 本研究では,低精度(ミニ)浮動小数点演算と量子化学習法を組み合わせる方法について検討する。その結果,6ビット浮動小数点量子化は重みとアクティベーションの両方において単一精度と競合できることがわかった。初期のハードウェア研究は、そのような低精度浮動小数点設計の潜在的影響も確認した。
参考スコア（独自算出の注目度）: 0.9374652839580183
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: One of the major bottlenecks in high-resolution Earth Observation (EO) space systems is the downlink between the satellite and the ground. Due to hardware limitations, on-board power limitations or ground-station operation costs, there is a strong need to reduce the amount of data transmitted. Various processing methods can be used to compress the data. One of them is the use of on-board deep learning to extract relevant information in the data. However, most ground-based deep neural network parameters and computations are performed using single-precision floating-point arithmetic, which is not adapted to the context of on-board processing. We propose to rely on quantized neural networks and study how to combine low precision (mini) floating-point arithmetic with a Quantization-Aware Training methodology. We evaluate our approach with a semantic segmentation task for ship detection using satellite images from the Airbus Ship dataset. Our results show that 6-bit floating-point quantization for both weights and activations can compete with single-precision without significant accuracy degradation. Using a Thin U-Net 32 model, only a 0.3% accuracy degradation is observed with 6-bit minifloat quantization (a 6-bit equivalent integer-based approach leads to a 0.5% degradation). An initial hardware study also confirms the potential impact of such low-precision floating-point designs, but further investigation at the scale of a full inference accelerator is needed before concluding whether they are relevant in a practical on-board scenario.
Abstract（参考訳）: 高解像度地球観測(EO)宇宙システムにおける大きなボトルネックの1つは、衛星と地上の間のダウンリンクである。ハードウェアの制限、オンボードの電力制限、地上局の運用コストなどにより、送信されるデータ量を減らす必要性が強い。データの圧縮には様々な処理方法を用いることができる。そのうちの1つは、データ内の関連情報を抽出するために、オンボードでディープラーニングを使用することである。しかし、地上ベースのディープニューラルネットワークのパラメータや計算は、オンボード処理の文脈に適合しない単精度浮動小数点演算を用いて行われる。本稿では,量子化されたニューラルネットワークに頼り,低精度(ミニ)浮動小数点演算と量子化認識学習法を組み合わせる方法を提案する。本手法は,airbus ship datasetの衛星画像を用いた船舶検出のためのセマンティックセグメンテーションタスクを用いて評価する。その結果,6ビット浮動小数点量子化は,重みとアクティベーションの両方において,精度の劣化を伴わずに単一精度と競合できることがわかった。薄型u-net 32モデルでは、6ビットのミニフロート量子化で0.3%の精度劣化しか観測されない(6ビット等価整数ベースアプローチは0.5%の劣化をもたらす)。初期のハードウェア研究では、そのような低精度浮動小数点設計の影響も確認されているが、実際のオンボードシナリオに関係があるかどうかを結論づける前に、完全な推論加速器のスケールに関するさらなる調査が必要である。

関連論文リスト

Neural Precision Polarization: Simplifying Neural Network Inference with Dual-Level Precision [0.4124847249415279]
浮動小数点モデルはクラウドでトレーニングされ、エッジデバイスにダウンロードされる。ネットワークの重みとアクティベーションは、NF4やINT8のようなエッジデバイスの望ましいレベルを満たすために直接量子化される。本稿では,Watt MAC の効率と信頼性について,約464 TOPS のニューラル精度の偏極が可能であることを示す。
論文参考訳（メタデータ） (2024-11-06T16:02:55Z)
On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
論文参考訳（メタデータ） (2023-09-05T04:39:34Z)
Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
論文参考訳（メタデータ） (2023-01-31T02:46:57Z)
SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
論文参考訳（メタデータ） (2021-06-10T04:21:20Z)
n-hot: Efficient bit-level sparsity for powers-of-two neural network quantization [0.0]
パワーオブツー(PoT)量子化は、リソース制約ハードウェア上でのディープニューラルネットワークのビット演算数を減少させる。 PoT量子化は、表現能力が限られているため、深刻な精度低下を引き起こす。メモリ効率の高い方法で精度とコストを両立した効率的なPoT量子化方式を提案する。
論文参考訳（メタデータ） (2021-03-22T10:13:12Z)
VS-Quant: Per-vector Scaled Quantization for Accurate Low-Precision Neural Network Inference [7.886868529510128]
量子化は、訓練されたモデルの浮動小数点重みとアクティベーションをスケールファクターを用いて低ビット幅整数値にマッピングする。過剰な量子化、過度に精度を低下させると、精度が低下する。ベクトル単位のスケールファクタは、2レベル量子化スキームを使用する場合、低ビット幅の整数で実装できる。
論文参考訳（メタデータ） (2021-02-08T19:56:04Z)
DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution Networks [49.191062785007006]
画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
論文参考訳（メタデータ） (2020-12-21T10:19:42Z)
Subtensor Quantization for Mobilenets [5.735035463793008]
ディープニューラルネットワーク(DNN)の量子化により、開発者はより少ないメモリとより効率的な低消費電力推論でモデルをデプロイできるようになった。本稿では,量子化損失の根本原因について分析し,チャネル単位やトレーニング対応のアプローチに依存しない代替案を提案する。我々は、ImageNetデータセット上の画像分類タスクと、浮動小数点バージョンの0.7%以内で、トレーニング後の量子化8ビット推論トップ1の精度を評価する。
論文参考訳（メタデータ） (2020-11-04T15:41:47Z)
AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文参考訳（メタデータ） (2020-07-14T09:07:29Z)
Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。