論文の概要: DEX: Digit-Level Early Exit for Energy-Efficient MSDF Neural Network Inference
- arxiv url: http://arxiv.org/abs/2610.11748v1
- Date: Thu, 08 Oct 2026 11:39:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.983599
- Title: DEX: Digit-Level Early Exit for Energy-Efficient MSDF Neural Network Inference
- Title(参考訳): DEX:エネルギー効率の良いMSDFニューラルネットワークの早期出力
- Abstract要約: 最も重要な桁第一算術は、計算中に結果の先頭の桁を露出する。
4つの実行機構が出力桁ストリーム上で直接動作する。
BraTSのためにnnU-Netで訓練された残留U-Netでは、提案されたメカニズムは桁サイクルを38.38%削減する。
- 参考スコア(独自算出の注目度): 2.5799854351636564
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: U-Net inference for brain-tumor segmentation requires billions of multiply-accumulate operations, motivating hardware that can reduce computation dynamically rather than relying only on fixed precision or static model compression. Most-significant-digit-first (MSDF) arithmetic exposes the leading digits of a result during computation, enabling output-dependent decisions before the full value is generated. This paper presents an MSDF accelerator for quantized U-Net segmentation with a two-stage grouped processing element supporting signed INT8 operands and in-stream bias accumulation. Four runtime mechanisms operate directly on the output digit stream: exact early negative detection (END) in ReLU layers, exact sign-only decision making in the segmentation head, calibrated low-order-digit skipping, and calibrated pruning. The two approximate mechanisms are selected offline under an accuracy constraint, while execution requires only lightweight control and does not modify the stored weights. On a residual U-Net trained with nnU-Net for BraTS, the proposed mechanisms reduce digit cycles by 38.38\% while achieving a mean Dice score of 80.58\% on 73 held-out cases, compared with 81.20\% for the floating-point model; the exact mechanisms alone reduce cycles by 18.79\% without altering the quantized output. Synthesized in 45~nm, the processing element operates at 500~MHz, occupies 0.858~mm$^2$, and consumes 0.726~mJ per $192\times192$ patch under switching-activity-annotated power analysis. A projected eight-output accelerator with shared activation delivery achieves 16.6~ms latency and 1.67~mJ per patch.
- Abstract(参考訳): 脳腫瘍のセグメンテーションのためのU-Net推論では、数十億の乗算累積演算が必要であり、固定精度や静的モデル圧縮のみに頼るのではなく、動的に計算を削減できるハードウェアを動機付けている。
Most-significant-digit-first (MSDF) 演算は、計算中に結果の先頭桁を公開し、完全な値が生成される前に出力依存的な決定を可能にする。
本稿では,符号付きINT8演算子とストリーム内バイアス蓄積をサポートする2段グループ処理素子を用いた,量子化されたU-NetセグメンテーションのためのMSDFアクセラレータを提案する。
4つの実行機構は出力桁ストリームを直接操作する:ReLU層における正確な早期負検出(END)、セグメンテーションヘッドにおける正確な符号のみの決定、調整された低次デジタルスキップ、キャリブレーションされたプルーニング。
2つの近似メカニズムは精度制約の下でオフラインで選択されるが、実行には軽量な制御しか必要とせず、格納された重みを変更しない。
BraTS の nnU-Net で訓練された残留U-Net 上では、提案機構は、73 のホールトアウトケースでは平均Dice スコアが 80.58 % であり、浮動小数点モデルでは 81.20 % であり、正確なメカニズムだけでは、量子化された出力を変更することなく、サイクルを 18.79 % 削減する。
45〜nmで合成され、処理素子は500〜MHzで動作し、0.858〜mm$^2$を占有し、スイッチング・アクティビティ・アノテートされた電力分析の下で192\times192$パッチあたり0.726〜mJを消費する。
共有アクティベーション配信を備えた8アウトプットアクセラレーターが16.6〜msのレイテンシと1パッチあたり1.67〜mJを達成した。
関連論文リスト
- L-SPINE: A Low-Precision SIMD Spiking Neural Compute Engine for Resource-efficient Edge Inference [0.0]
L-SPINEは、効率的なエッジ推論のための低精度SIMD対応スパイクニューラルネットワークエンジンである。
このアーキテクチャは、2ビット、4ビット、8ビット操作をサポートする統合されたマルチ精度データパスを備えている。
L-SPINEは46.37K LUTs、30.4K FFs、2.38msのレイテンシ、0.54Wの電力を実現している。
論文 参考訳(メタデータ) (2026-04-04T07:46:16Z) - TRINE: A Token-Aware, Runtime-Adaptive FPGA Inference Engine for Multimodal AI [16.724696664451653]
TRINEは再構成なしでエンドツーエンドのマルチモーダル推論を実行する。
トークンプルーニングだけで、ViT重パイプライン上では最大7.8倍になる。
int8量子化では、一般的なタスク間で精度が2.5%低下する。
論文 参考訳(メタデータ) (2026-03-24T07:12:15Z) - DQT: Dynamic Quantization Training via Dequantization-Free Nested Integer Arithmetic [4.184808780116726]
本稿では,このボトルネックを取り除く新しいフレームワークである動的量子化トレーニング(DQT)を紹介する。
DQTの中核はネストされた整数表現であり、低い精度の値は高い精度のものにビット単位で埋め込まれている。
これによりDQTは、バックボーンネットワークの量子化のない静的混合精度の両方を可能にする最初の量子化フレームワークとなる。
論文 参考訳(メタデータ) (2025-08-07T07:31:48Z) - An Open-Source Framework for Efficient Numerically-Tailored Computations [1.0596516362730137]
本稿では,効率的な行列行列乗算を容易にするために,多機能なオープンソースフレームワークを提案する。
AI推論では、ResNet18、ResNet34、ResNet50、DenseNet121、DenseNet161、DenseNet169、VGG11といった最先端のニューラルネットワークモデルを検討する。
我々のアプローチは、すべてのケースにおけるエネルギー消費を一貫して減少させ、特にIEEE754-32の3.3倍、Bfloat16の1.4倍の3.3倍の削減を図っている。
論文 参考訳(メタデータ) (2024-05-29T10:10:53Z) - DeepGEMM: Accelerated Ultra Low-Precision Inference on CPU Architectures
using Lookup Tables [49.965024476651706]
DeepGEMMはSIMDハードウェア上で超高精度畳み込みニューラルネットワークを実行するためのルックアップテーブルベースのアプローチである。
実装は、x86プラットフォーム上で、対応する8ビット整数カーネルを最大1.74倍の性能で上回る。
論文 参考訳(メタデータ) (2023-04-18T15:13:10Z) - Quantized Neural Networks for Low-Precision Accumulation with Guaranteed
Overflow Avoidance [68.8204255655161]
本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。
本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
論文 参考訳(メタデータ) (2023-01-31T02:46:57Z) - Non-Parametric Adaptive Network Pruning [125.4414216272874]
アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。
顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。
EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
論文 参考訳(メタデータ) (2021-01-20T06:18:38Z) - I-BERT: Integer-only BERT Quantization [78.43819756382103]
トランスフォーマーモデルのための新しい量子化手法であるI-BERTを提案する。
I-BERTは浮動小数点演算なしでエンドツーエンドの整数のみのBERT推論を実行する。
いずれの場合も,I-BERTは全精度ベースラインと同等(かつ若干高い)精度が得られた。
論文 参考訳(メタデータ) (2021-01-05T02:42:58Z) - HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。
HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
論文 参考訳(メタデータ) (2020-11-20T23:51:43Z) - AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。
我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文 参考訳(メタデータ) (2020-07-14T09:07:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。