論文の概要: Differentiable, Bit-shifting, and Scalable Quantization without training neural network from scratch

• arxiv url: http://arxiv.org/abs/2510.16088v1
• Date: Sat, 18 Oct 2025 13:58:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:38.84503
• Title: Differentiable, Bit-shifting, and Scalable Quantization without training neural network from scratch
• Title（参考訳）: ニューラルネットワークをスクラッチからトレーニングすることなく、微分可能、ビットシフト、スケーラブル量子化
• Authors: Zia Badar,
• Abstract要約: ニューラルネットワークの量子化は、少ない計算とメモリ要求における推論の利点を提供する。 量子化におけるこれまでの研究は、微分不可能なアプローチと学習に使われた。 最適ニューラルネットワークへのアプローチの収束の証明を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quantization of neural networks provides benefits of inference in less compute and memory requirements. Previous work in quantization lack two important aspects which this work provides. First almost all previous work in quantization used a non-differentiable approach and for learning; the derivative is usually set manually in backpropogation which make the learning ability of algorithm questionable, our approach is not just differentiable, we also provide proof of convergence of our approach to the optimal neural network. Second previous work in shift/logrithmic quantization either have avoided activation quantization along with weight quantization or achieved less accuracy. Learning logrithmic quantize values of form $2^n$ requires the quantization function can scale to more than 1 bit quantization which is another benifit of our quantization that it provides $n$ bits quantization as well. Our approach when tested with image classification task using imagenet dataset, resnet18 and weight quantization only achieves less than 1 percent accuracy compared to full precision accuracy while taking only 15 epochs to train using shift bit quantization and achieves comparable to SOTA approaches accuracy in both weight and activation quantization using shift bit quantization in 15 training epochs with slightly higher(only higher cpu instructions) inference cost compared to 1 bit quantization(without logrithmic quantization) and not requiring any higher precision multiplication.
• Abstract（参考訳）: ニューラルネットワークの量子化は、少ない計算とメモリ要求における推論の利点を提供する。 量子化におけるこれまでの研究には、この研究が提供する2つの重要な側面が欠けている。 まず、量子化におけるこれまでのほとんどすべての研究は、微分不可能なアプローチと学習のために、通常、微分は、アルゴリズムの学習能力を疑問視するバックプロポゲーションに手動で設定され、我々のアプローチは単に微分可能であるだけでなく、最適なニューラルネットワークへのアプローチの収束の証明も提供します。 シフト/対数量子化における2回目の研究は、重量量子化と共に活性化量子化を避けるか、より少ない精度で達成した。 対数量子化の学習には、2^n$の形式が必要であり、量子化関数は1ビット以上の量子化にスケールすることができる。 画像分類タスクにおいて、イメージネットデータセットを用いた場合、resnet18および重み量子化は、シフトビット量子化を用いてトレーニングするのに15のエポックしか必要とせず、シフトビット量子化を用いてトレーニングするのに15のエポックしか必要とせず、シフトビット量子化とアクティベーション量子化の両方の精度をSOTAと同等にし、シフトビット量子化を用いた15のトレーニングエポック(cpu命令のみ)による推論コストを1ビット量子化(ロジトミック量子化なしで)と比較し、高い精度の乗算を必要としない。

関連論文リスト

• ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization [73.60493264901359]
  本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を行う統一フレームワークを提案する。 3次、2ビット、3ビット量子化は、サイズと精度のトレードオフにおいて同等のパフォーマンスを維持していることを示す。 ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-04T18:59:26Z)
• Supervised binary classification of small-scale digit images and weighted graphs with a trapped-ion quantum processor [56.089799129458875]
  捕捉された171ドルYb$+$イオンに基づく量子プロセッサのベンチマーク結果を示す。 リングトポロジを持つ小さな二進数画像と重み付きグラフの2種類のデータセットに対して、教師付き二進分類を行う。
  論文  参考訳（メタデータ） (2024-06-17T18:20:51Z)
• Attention Round for Post-Training Quantization [0.9558392439655015]
  本稿では,アテンションラウンドと呼ばれる新しい定量化手法を提案する。 異なる量子化値にマッピングされる確率は、量子化値とwの間の距離と負に相関し、ガウス函数と崩壊する。 ResNet18 と MobileNetV2 では,本論文で提案するポストトレーニング量子化は 1,024 のトレーニングデータと 10 分しか必要としない。
  論文  参考訳（メタデータ） (2022-07-07T05:04:21Z)
• PTQ4ViT: Post-training quantization for vision transformers with twin uniform quantization [12.136898590792754]
  視覚変換器における量子化の問題を分析する。 そこで本研究では,これらのアクティベーション値の量子化誤差を低減するために,ツイン均一量子化法を提案する。 実験では、ImageNet分類タスクにおいて、量子化された視覚変換器は、ほぼロスレスな予測精度(8ビットの量子化で0.5%以下)を達成することを示した。
  論文  参考訳（メタデータ） (2021-11-24T06:23:06Z)
• OMPQ: Orthogonal Mixed Precision Quantization [64.59700856607017]
  混合精度量子化は、ハードウェアの多重ビット幅演算を利用して、ネットワーク量子化の全ポテンシャルを解き放つ。 本稿では、整数プログラミングの損失と高い相関関係にあるネットワーク性の概念であるプロキシメトリックを最適化することを提案する。 このアプローチは、量子化精度にほとんど妥協することなく、検索時間と必要なデータ量を桁違いに削減する。
  論文  参考訳（メタデータ） (2021-09-16T10:59:33Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• One Model for All Quantization: A Quantized Network Supporting Hot-Swap Bit-Width Adjustment [36.75157407486302]
  多様なビット幅をサポートする全量子化のためのモデルを訓練する手法を提案する。 重みの多様性を高めるためにウェーブレット分解と再構成を用いる。 同じ精度で訓練された専用モデルに匹敵する精度が得られる。
  論文  参考訳（メタデータ） (2021-05-04T08:10:50Z)
• n-hot: Efficient bit-level sparsity for powers-of-two neural network quantization [0.0]
  パワーオブツー(PoT)量子化は、リソース制約ハードウェア上でのディープニューラルネットワークのビット演算数を減少させる。 PoT量子化は、表現能力が限られているため、深刻な精度低下を引き起こす。 メモリ効率の高い方法で精度とコストを両立した効率的なPoT量子化方式を提案する。
  論文  参考訳（メタデータ） (2021-03-22T10:13:12Z)
• Searching for Low-Bit Weights in Quantized Neural Networks [129.8319019563356]
  低ビットの重みとアクティベーションを持つ量子ニューラルネットワークは、AIアクセラレータを開発する上で魅力的なものだ。 本稿では、任意の量子化ニューラルネットワークにおける離散重みを探索可能な変数とみなし、差分法を用いて正確に探索する。
  論文  参考訳（メタデータ） (2020-09-18T09:13:26Z)
• Least squares binary quantization of neural networks [19.818087225770967]
  値が-1と1にマップされる二項量子化に焦点を当てる。 2ビット対1ビット量子化のパリト最適性に触発されて、証明可能な最小二乗誤差を持つ新しい2ビット量子化を導入する。
  論文  参考訳（メタデータ） (2020-01-09T00:01:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。