Fugu-MT 論文翻訳(概要): BRIM: Workload-Balanced Dual-Sided Bit-Serial Sparse Inference Accelerator

論文の概要: BRIM: Workload-Balanced Dual-Sided Bit-Serial Sparse Inference Accelerator

arxiv url: http://arxiv.org/abs/2607.19431v1
Date: Mon, 20 Jul 2026 20:18:34 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-23 18:51:37.889014
Title: BRIM: Workload-Balanced Dual-Sided Bit-Serial Sparse Inference Accelerator
Title（参考訳）: BRIM: Workload-Balanced Dual-Sided Bit-Serial Sparse InferenceAccelerator
Abstract要約: ビットシリアルアクセラレータは、ビットレベルの間隔を利用して推論コストを削減する。既存の設計では1つのオペランドのみに間隔を悪用し、スピードアップを制限している。既存の両面設計では,PE使用率を56～64%に制限する。我々は、ハードウェアとソフトウェアの共同設計によるビットシリアルスパースアクセラレータであるBRIMを紹介する。
参考スコア（独自算出の注目度）: 9.943843843729052
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Bit-serial accelerators exploit bit-level sparsity to reduce DNN inference cost, but existing designs exploit sparsity on only one operand, bounding the speedup. Extending sparsity exploitation to both operands simultaneously yields compounding reductions in partial products but introduces a critical new bottleneck: workload imbalance. Because each concurrent weight - activation pair's execution cost depends on the product of two independently varying operand non-zero bit counts, pairs that must complete together finish at vastly different times, leaving faster computations idle. We show this limits PE utilization to 56 - 64% in existing dual-sided designs. We present BRIM, a hardware - software co-designed dual-sided bit-serial sparse accelerator that directly targets this bottleneck. BRIM combines two integrated mechanisms: 1) Cyclic-Balanced Pruning (CBP), a post-training weight optimization that reshapes weight representations based on profiled activation statistics to equalize expected workloads across concurrently processed pairs offline; and 2) Pairwise Slot Donation, a lightweight hardware mechanism that absorbs residual runtime imbalance with negligible area overhead. Evaluated across CNNs, ViTs, and LLMs under iso-area constraints, BRIM achieves over 90% PE utilization, up to 2.37x speedup, and up to 1.63x energy efficiency improvement over prior dual-sided designs.
Abstract（参考訳）: ビットシリアル加速器はビットレベルの間隔を利用してDNN推論コストを削減しているが、既存の設計では1つのオペランドのみに間隔を悪用し、スピードアップを制限している。両オペランドへの空間利用の拡大は、同時に部分積の複合的な削減をもたらすが、作業負荷の不均衡という重要な新しいボトルネックをもたらす。それぞれの並列重み - アクティベーションペアの実行コストは、独立に異なる2つの非ゼロビット数の積に依存するため、組み合わせる必要があるペアは、非常に異なる時間で終了し、より高速な計算はアイドルになる。既存の両面設計では,PE使用率を56～64%に制限する。ハードウェア - ソフトウェアの共同設計による,このボトルネックを直接ターゲットとした,デュアルサイドのビットシリアルスパースアクセラレータであるBRIMを紹介します。 BRIMは2つの統合されたメカニズムを結合する。 1)CBP(Cyclic-Balanced Pruning)は、プロファイルされたアクティベーション統計に基づいて重み表現を再設定し、同時処理されたペアをオフラインにして期待されるワークロードを等化するためのトレーニング後の重み付け最適化である。 2) Pairwise Slot Donationは,残余ランタイムの不均衡と無視可能な領域オーバーヘッドを吸収する軽量ハードウェア機構である。 CNN、ViT、LLMで等距離制約下で評価され、BRIMは90%以上のPE利用、最大2.37倍のスピードアップ、そして以前の2面設計よりも1.63倍のエネルギー効率向上を実現している。

関連論文リスト

Unified Static-Dynamic Pruning for Efficient LLM Inference [6.752566603284781]
本稿では,統一型適応推論フレームワークSPDPを提案する。非構造化SPとGPUの入力スケール推論を統合している。大規模な計算に相当なスループットとパフォーマンスの効率を提供する。
論文参考訳（メタデータ） (2026-07-24T05:19:41Z)
QuantSR+: Pushing the Limit of Quantized Image Super-Resolution Networks [63.04549067734431]
低ビット量子化は超解像モデル(SR)の圧縮に広く用いられている。しかし、SRモデルが超低精度(2-4ビット)にプッシュされると、性能は急激に低下する。本稿では,量子化演算子,ネットワーク設計,トレーニング最適化を改善する統一フレームワークQuantSR+を提案する。
論文参考訳（メタデータ） (2026-05-21T11:38:52Z)
BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
論文参考訳（メタデータ） (2026-04-05T04:25:07Z)
Expert Streaming: Accelerating Low-Batch MoE Inference via Multi-chiplet Architecture and Dynamic Expert Trajectory Scheduling [29.998645673111536]
Mixture-of-Expertsは、ローバッチ推論を備えたエッジAIの有望なアプローチである。 MoEのスパーシリティと動的ゲーティングシフト分散戦略は、より微細なランタイムの粒度に向かっている。 Fully Sharded Expert Data Parallelismは、低バッチのMoE計算用に特別に設計された並列化パラダイムである。
論文参考訳（メタデータ） (2026-03-29T10:44:55Z)
Least-Loaded Expert Parallelism: Load Balancing An Imbalanced Mixture-of-Experts [74.40169987564724]
エキスパート並列性(EP)は、複数のデバイスに専門家を分散させることで、MoEモデルをスケールするように設計されている。極端な不均衡の下で、EPは少数の専門家に不均等な数のトークンを渡し、計算とメモリバウンドの障害を引き起こす。本稿では,過剰なトークンと関連する専門家パラメータを過負荷デバイスから未利用デバイスへ動的に再帰する新しいEPアルゴリズムであるLast-Loaded Expert Parallelism (LLEP)を提案する。
論文参考訳（メタデータ） (2026-01-23T18:19:15Z)
BitStopper: An Efficient Transformer Attention Accelerator via Stage-fusion and Early Termination [14.53308613746613]
BitStopperは、粒度の細かいアルゴリズムアーキテクチャの共設計で、スパーシティ予測器を使わずに動作する。サンガーとSOFAの2.03倍と1.89倍のスピードアップを実現し、エネルギー効率は2.4倍と2.1倍向上した。
論文参考訳（メタデータ） (2025-12-06T14:44:38Z)
MC#: Mixture Compressor for Mixture-of-Experts Large Models [86.64315380917827]
Mixture-of-Experts (MoE)は、大きな言語モデル(LLM)と視覚言語モデル(VLM)をスパースアクティベーションによって拡張することで効果的にスケールする。静的量子化と動的エキスパートプルーニングを組み合わせたフレームワークであるMC#(Mixture-Compressor-sharp)を提案する。
論文参考訳（メタデータ） (2025-10-13T03:12:46Z)
PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。その中核は2段精製パイプラインを備えた非対称3次量子化器である。
論文参考訳（メタデータ） (2025-09-27T03:01:48Z)
DuoGPT: Training-free Dual Sparsity through Activation-aware Pruning in LLMs [19.710403142085102]
DuoGPTは、非構造化ウェイトプルーニングとアクティベーション間隔を組み合わせることで、デュアルスパース(spMspV)ワークロードを構築するフレームワークである。我々は,DuoGPTがベースライン密度モデルと比較して1.39$times$のアイソスピードアップで9.17%の精度で,最先端の構造化プルーニング法より優れていることを示す。
論文参考訳（メタデータ） (2025-06-25T07:35:12Z)
SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
論文参考訳（メタデータ） (2021-01-04T18:54:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。