論文の概要: Decode Late, Multiply Once: Rethinking the Dot Product for Quantized Weights

• arxiv url: http://arxiv.org/abs/2610.31913v1
• Date: Thu, 22 Oct 2026 21:05:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.293022
• Title: Decode Late, Multiply Once: Rethinking the Dot Product for Quantized Weights
• Title（参考訳）: Decode Late, Multiply once: 量子ウェイトのためのDot製品を再考
• Abstract要約: kビット重み付き長nドット積は、n+2kの加算と、最大2kの復号と2kの乗算で計算可能であることを示す。 各重み付きコードはアドレスオフセットとして直接使われ、2kのアキュムレータの1つを選択する。 累積和は復号化され、最後に1回だけ融合復号化される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large neural networks are increasingly deployed with 1-4 bit weights and 16- or 32-bit activations, yet their dot products still use one multiplier per element. We show that a length-n dot product with k-bit weight codes can be computed with n+2^k additions and at most 2^k decodes and 2^k multiplications. Each weight code is used directly as an address offset that selects one of 2^k accumulators; each activation is added into the selected accumulator; and the accumulated sums are decoded and multiplied only once, at the end, in a fused decode-and-multiply step. The decoded weight vector is never formed. The refactoring is exact for integer arithmetic, works with integer or floating-point operands and with arbitrary, including nonlinear, decoders, and extends to group-wise scales and to matrix and tensor products. The multiplier count falls by n/2^k, while total arithmetic energy improves by a smaller, bounded factor that we quantify with a cost model. We describe a scatter-accumulate processing element (SA-PE) that replaces the MAC unit in a weight-stationary systolic array, with a load/stream/reduce/drain schedule in which a small, time-shareable multiplier runs only 2^k times per tile. Because decoded weights are not stored, local weight memory shrinks by up to w_d/k for w_d-bit decoded weights. An RTL implementation synthesized for FPGA and compared with a matched MAC array shows that an unshared SA-PE is larger than a MAC PE, and that the saving appears when the reduction multiplier is shared across PEs. Software models confirm exact integer equivalence and floating-point error no worse than the conventional pipeline. We do not claim the underlying identity is new, and we discuss related work on weight sharing and lookup-based kernels.
• Abstract（参考訳）: 大規模なニューラルネットワークは、1-4ビットの重みと16ビットまたは32ビットのアクティベーションで展開されている。 kビット重み付き長nドット積は、n+2^k加算法と2^k復号法と2^k乗算法で計算可能であることを示す。 各重みコードは、2^kアキュムレータのいずれかを選択するアドレスオフセットとして直接使用され、各アクティベーションは選択されたアキュムレータに追加される。 復号化重みベクトルは形成されない。 リファクタリングは整数算術に正確で、整数や浮動小数点演算と、非線形、デコーダを含む任意の関数で動作し、グループワイドスケールに拡張し、行列やテンソル積に拡張する。 乗算数は n/2^k で減少する一方、総算術エネルギーは、私たちがコストモデルで定量化するより小さな有界因子によって改善される。 本稿では,負荷/ストリーム/リデュース/ドレインスケジュールでMACユニットを置き換え,小さな時間共有乗算器を1タイルあたり2^k回しか動作しないスカラー累積処理素子(SA-PE)について述べる。 復号化重みは記憶されないため、w_dビット復号化重みに対して局所重み記憶はw_d/kまで縮小する。 FPGA向けに合成され、一致したMACアレイと比較されたRTL実装は、未共有のSA-PEがMAC PEよりも大きいことを示し、削減乗算器がPE間で共有されるときに保存されることを示す。 ソフトウェアモデルでは、整数同値性と浮動小数点誤差が従来のパイプラインよりも悪くない。 我々は、その基盤となるアイデンティティは新しいものではないと主張し、ウェイトシェアリングとルックアップベースのカーネルに関する関連する研究について議論する。

関連論文リスト

• EVA: Accelerating LLM Decoding via an Efficient Vector Quantization Architecture [13.194852545534822]
  EVAは、インプット-コードブック計算とコンフリクトフリーメモリアクセスを組み合わせた、シンプルだが効果的な洞察の上に構築されている。 EVAは、SOTAルックアップベースのアーキテクチャと比較して、最大で11.17$times$スピードアップと7.17$times$高効率を実現している。
  論文  参考訳（メタデータ） (2026-05-22T19:06:22Z)
• Tensor Decomposition Networks for Fast Machine Learning Interatomic Potential Computations [48.46721044282335]
  テンソル分解ネットワーク(TDN)は、計算処理の劇的な高速化と競合する性能を実現する。 1億5500万のDFT計算スナップショットを含む分子緩和データセットPubChemQCRのTDNを評価した。 その結果,TDNは計算処理の劇的な高速化と競合する性能を示した。
  論文  参考訳（メタデータ） (2025-07-01T18:46:27Z)
• Linear-time Minimum Bayes Risk Decoding with Reference Aggregation [52.1701152610258]
  最小ベイズリスク(MBR、Minimum Bayes Risk)は、機械翻訳の品質向上を図ったテキスト生成技術である。 これは2次複雑性を持つ実用計量のペアワイズ計算を必要とする。 本稿では,集約された参照表現に対して計算したスコアを用いて,ペアワイズメトリックスコアを近似する。
  論文  参考訳（メタデータ） (2024-02-06T18:59:30Z)
• QUIK: Towards End-to-End 4-Bit Inference on Generative Large Language Models [57.04178959678024]
  重み付けとアクティベーションの両方を4ビットにキャストすることで、大きな生成モデルに対する推論計算の大部分が実行可能であることを示す。 これをQUIKと呼ばれるハイブリッド量子化戦略により実現し、重みとアクティベーションの大部分を4ビットに圧縮する。 我々は、QUIKフォーマットを高効率なレイヤワイドランタイムに適合させるGPUカーネルを提供し、これにより、エンドツーエンドのスループットが3.4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-13T17:15:05Z)
• Factorizers for Distributed Sparse Block Codes [45.29870215671697]
  分散ブロック符号(SBC)を高速かつ高精度に分解する手法を提案する。 我々の反復分解器は、しきい値に基づく非線形活性化、条件付きランダムサンプリング、および $ell_infty$-based similarity metricを導入している。 CIFAR-100, ImageNet-1K, RAVENデータセット上での4つの深層CNNアーキテクチャの実現可能性を示す。
  論文  参考訳（メタデータ） (2023-03-24T12:31:48Z)
• On Algebraic Constructions of Neural Networks with Small Weights [21.915057426589748]
  神経ゲートの重みサイズ,回路サイズ,深さのトレードオフについて検討した。 具体的には、任意の係数を持つ1つの線型方程式が与えられたとき、より小さい(一定の)係数を持つ線形方程式系を用いてそれを表現したい。 EQUALITY関数を計算するために,定数重み付き最適サイズ行列を明示的に構築する。 我々はComparISON関数を計算するために最もよく知られたウェイトサイズ(線形)行列の存在を証明した。
  論文  参考訳（メタデータ） (2022-05-17T00:09:23Z)
• CREW: Computation Reuse and Efficient Weight Storage for Hardware-accelerated MLPs and RNNs [1.0635248457021496]
  本稿では,ReuseとEfficient Weight Storage機構を実装したハードウェアアクセラレータCREWを紹介する。 CREWは乗算数を大幅に削減し、モデルメモリフットプリントとメモリ帯域幅使用量を大幅に削減する。 CREWは平均2.61倍のスピードアップと2.42倍の省エネを提供する。
  論文  参考訳（メタデータ） (2021-07-20T11:10:54Z)
• FORMS: Fine-grained Polarized ReRAM-based In-situ Computation for Mixed-signal DNN Accelerator [33.19099033687952]
  FORMSは、偏極重みを持つ微粒なReRAMベースのDNNアクセラレータである。 ISAACよりも1秒あたりのスループット向上とスピードアップを実現している。
  論文  参考訳（メタデータ） (2021-06-16T21:42:08Z)
• A MAC-less Neural Inference Processor Supporting Compressed, Variable Precision Weights [0.0]
  本稿では、畳み込みニューラルネットワーク(CNN)の推論のための2つのアーキテクチャを紹介する。 最初のアーキテクチャは multiply-accumulators (macs) を使用するが、ゼロウェイトをスキップすることで不要な乗算を避ける。 第2のアーキテクチャは、より小さいビット層乗算器(BLMAC)でリソース集約MACを置換することにより、ビット表現のレベルでの重み間隔を利用する。
  論文  参考訳（メタデータ） (2020-12-10T23:13:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。