論文の概要: Sensitivity-Gated Accumulator Caching for On-Device Learning of Low-Bit Hand Networks
- arxiv url: http://arxiv.org/abs/2611.10991v1
- Date: Sat, 07 Nov 2026 22:16:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:37.875219
- Title: Sensitivity-Gated Accumulator Caching for On-Device Learning of Low-Bit Hand Networks
- Title(参考訳): 低ビットハンドネットワークのオンデバイス学習のための感度ゲート付累積キャッシング
- Abstract要約: 量子化を意識したトレーニングは、すべての重量の32ビットマスターコピーを状態とともに保持するので、これを安価に行うことはできない。
丸みを帯びたコードを直接訓練するにはコピーは必要ないが、すべてのステップで丸みを帯びたノイズを注入する。
感度ゲートキャッシング (SGAC) を導入し, 微小かつ変化する重み群のみの残留状態を保った。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Small hand-tracking networks are deployed as 4- and 8-bit codes, and they should keep adapting to a user's camera after deployment, on the device and within roughly the memory of the model itself. Quantization-aware training cannot do this cheaply, because it keeps a 32-bit master copy of every weight together with its optimizer state, about 96 bits per weight. Training the codes directly with stochastic rounding needs no copy but injects rounding noise at every step, and the methods that remove this noise keep a residual buffer for every weight. We introduce sensitivity-gated accumulator caching (SGAC), which keeps residual state for only a small and changing set of weight groups. A set-associative cache of 8-bit accumulators collects the sub-step updates of the groups with the largest Fisher-weighted squared code step and writes them into the codes as whole steps; an evicted line is flushed by stochastic rounding, and a group without a line does not move until it is admitted. We prove that the write-back is unbiased and show, under a local quadratic model, that rounding a sub-step update costs loss of the same order as the update's own gain, so that rounding pays only where the expected gradient is large relative to the curvature. On a 383k-parameter hand-keypoint network, SGAC trains with 8.1 bits of state per weight. Scored on the 4/8-bit network that the device runs after adaptation, it has the highest mean accuracy of nine deployed low-bit networks on two simulated cameras. On twelve ImageNet-C corruptions it has the highest average of corrupted and clean accuracy of seven deployed methods, ahead of the PEQA-style, ECO-style and direct low-bit baselines with confidence intervals that exclude zero, and it matches an 8-bit accumulator kept for every weight with 56% of that state.
- Abstract(参考訳): 小さなハンドトラッキングネットワークは4ビットと8ビットのコードとしてデプロイされ、デプロイ後のユーザのカメラ、デバイス、そしてモデル自体のおよそのメモリに適応し続けなければならない。
量子化を意識したトレーニングは、すべての重量の32ビットマスターコピーと、その最適化状態(重量あたり96ビット)を保持できるため、これを安価に行うことはできない。
確率的に丸められたコードを直接訓練することはコピーを必要としないが、全てのステップで丸められたノイズを注入する。
SGAC ( Sensent-gated accumulator cache) を導入し, 微小かつ変動する重み群のみの残留状態を保った。
8ビットアキュムレータのセット連想キャッシュは、最大のフィッシャー重み付き2乗符号ステップを持つグループのサブステップ更新を収集し、それらを全ステップとしてコードに書き込む。
書き込みバックは非バイアスであり、局所的な二次モデルの下では、サブステップ更新のラウンドバックは、更新の利得と同じ順序で損失を発生させることで、期待される勾配が曲率に対して大きい場合にのみ、ラウンドバックが支払うことを示す。
383kのハンドキーポイントネットワークでは、SGACは重量8.1ビットで運転される。
適応後の4/8ビットネットワーク上に表示され、2台のシミュレートされたカメラ上の9つのロービットネットワークの平均精度が最も高い。
ImageNet-Cの汚職12件では、PEQAスタイル、ECOスタイル、直接低ビットベースラインに先立って、デプロイされた7つのメソッドの破壊率とクリーンな精度が最高であり、0を除いた信頼区間と、その状態の56%で保持される8ビットアキュムレータと一致している。
関連論文リスト
- Error Diffusion Replaces Latent Weights: Training Binary-Weight Language Models on a Few Bits of Dithered State [0.0]
訓練用バイナリモデルでは、各重量の完全な潜伏コピーと、重量あたり96ビットのアダム状態が保持されている。
ラウンドリングにより量子化された2-8ビット残差バッファに、潜時重みを置き換える。
結果として生じる誤差拡散(ED)は、画像ハーフトニングの残差搬送ループを重み更新経路に移動させる。
論文 参考訳(メタデータ) (2026-10-25T21:10:24Z) - E8-QAT: Efficient 2-Bit Quantization-Aware Training with Implicit Lattice Codebooks [19.85532382494915]
暗黙の8次元コードブックとしてE_8$格子を用いた2ビット量子化対応トレーニングフレームワークであるE8-QATを提案する。
2ビットコアエンコーディングとスパース拡張は、選択された格子点を正確に保存し、コアインデックスストレージに0.1%未満を加算する。
E8-QATは、IFEvalで2.03%、LiveCodeBenchで1.51%、同じデータ、スケジュール、ビット幅で最先端のベースラインを改善する。
論文 参考訳(メタデータ) (2026-10-20T06:17:09Z) - ShiftQAT: Quantization-Aware Training for the Numerical Contract of a Fixed-Function Edge CNN Accelerator [0.06256402324137826]
ShiftQATは、建設によって契約を満たすネットワークを生成する。
MAX78002 では、ShiftQAT で訓練された MobileNetV2 と ResNet-18 がイメージネット画像を 14.6 と 8.4 ms で分類している。
論文 参考訳(メタデータ) (2026-10-15T11:17:53Z) - SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。
この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。
We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
論文 参考訳(メタデータ) (2024-11-07T18:59:58Z) - DeepGEMM: Accelerated Ultra Low-Precision Inference on CPU Architectures
using Lookup Tables [49.965024476651706]
DeepGEMMはSIMDハードウェア上で超高精度畳み込みニューラルネットワークを実行するためのルックアップテーブルベースのアプローチである。
実装は、x86プラットフォーム上で、対応する8ビット整数カーネルを最大1.74倍の性能で上回る。
論文 参考訳(メタデータ) (2023-04-18T15:13:10Z) - Quantized Neural Networks for Low-Precision Accumulation with Guaranteed
Overflow Avoidance [68.8204255655161]
本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。
本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
論文 参考訳(メタデータ) (2023-01-31T02:46:57Z) - Sub 8-Bit Quantization of Streaming Keyword Spotting Models for Embedded
Chipsets [7.5195830365852085]
本稿では,250Kパラメータのフィードフォワード,ストリーミング,ステートフリーなキーワードスポッティングモデルの全コンポーネントに対する,新しいサブ8ビット量子化対応トレーニングアルゴリズムを提案する。
大規模実験を行い、26,000時間の非特定生産、遠距離場および近距離場音声データをトレーニングする。
論文 参考訳(メタデータ) (2022-07-13T17:46:08Z) - HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。
HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
論文 参考訳(メタデータ) (2020-11-20T23:51:43Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳(メタデータ) (2020-06-21T08:23:03Z) - Training with Quantization Noise for Extreme Model Compression [57.51832088938618]
与えられたモデルサイズに対する精度を最大化しながら、コンパクトなモデルを作成するという問題に取り組む。
標準的な解決策は、トレーニング中に重みが定量化され、勾配がストレート・スルー推定器に近似される量子化意識訓練(Quantization Aware Training)でネットワークをトレーニングすることである。
本稿では, この手法を, 極端な圧縮法を用いて, int8 の固定点量子化を超えて機能するように拡張する。
論文 参考訳(メタデータ) (2020-04-15T20:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。