論文の概要: Compiling Multi-Threshold Operators for Quantized Non-Monotonic and Fine-Granular Activations in Custom-Tailored DNN Accelerators

• arxiv url: http://arxiv.org/abs/2610.21825v1
• Date: Thu, 15 Oct 2026 13:09:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.087319
• Title: Compiling Multi-Threshold Operators for Quantized Non-Monotonic and Fine-Granular Activations in Custom-Tailored DNN Accelerators
• Title（参考訳）: カスタムアンテナDNN加速器における量子化非単調・細粒度活性化のためのマルチ閾値演算子
• Abstract要約: ニューラルネットワークの攻撃的量子化は、効率的なハードウェアアクセラレーションのためのボトルネックとしてアクティベーション関数を公開することができる。 マルチスレッド表現を形式化し、それを非単調関数や細粒度パラメータに拡張する。 我々は, モノトニック関数と非モノトニック関数の選択について実験的に検証した。
• 参考スコア（独自算出の注目度）: 0.48429188360918735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Aggressive quantization of neural networks can expose activation functions as bottlenecks for efficient hardware acceleration. Implementing quantized activations as multi-threshold operations has been shown to be a promising optimization, allowing for efficient hardware implementation of few-bit activations. However, current implementations are limited to monotonically increasing functions, quantization schemes with one-dimensional (per-channel) granularity and a small set of predefined activation-quantizer combinations. We formalize the multi-threshold representation to extend it to non-monotonic functions and fine-granular parameters, i.e., multi-dimensional thresholds. For automated conversion of quantized function compositions into threshold representation, we propose a systematic approach via algebraic rules integrated into the ONNX-based compiler infrastructure. We experimentally validate our solution on a selection of monotonic and non-monotonic functions by extending the binary search based multi-threshold operator that is integrated into the FINN framework for end-to-end synthesis of custom-tailored FPGA accelerators. The cost of hardware support for non-monotonicity and fine-granularity is characterized in comparison to an alternative approach utilizing existing operators via graph-level decomposition. We compare our method to prior work as well as the approach taken by the hls4ml framework. As an outlook, we demonstrate the prospects of using the multi-threshold representation during the training of a neural network as a form of quantization aware training.
• Abstract（参考訳）: ニューラルネットワークの攻撃的量子化は、効率的なハードウェアアクセラレーションのためのボトルネックとしてアクティベーション関数を公開することができる。 量子化されたアクティベーションをマルチスレッド演算として実装することは有望な最適化であり、数ビットアクティベーションの効率的なハードウェア実装を可能にする。 しかし、現在の実装は単調に増大する関数、一次元(チャネルごと)の粒度を持つ量子化スキーム、事前定義されたアクティベーション量子化器の組み合わせに限られている。 マルチスレッド表現を形式化し、それを非単調関数や細粒度パラメータ、すなわち多次元しきい値に拡張する。 量子化関数合成をしきい値表現に自動変換するために、ONNXベースのコンパイラ基盤に組み込まれた代数規則による体系的アプローチを提案する。 本研究では、FINNフレームワークに統合された二分探索に基づくマルチスレッド演算子を拡張して、カスタマイズされたFPGAアクセラレータのエンドツーエンド合成を行うことにより、単調な関数と非単調な関数の選択に対するソリューションの有効性を実験的に検証する。 非単調性および微細粒度に対するハードウェアサポートのコストは、グラフレベルの分解による既存演算子を利用した代替アプローチと比較して特徴付けられる。 我々は、このメソッドを、hls4mlフレームワークによって取られたアプローチと同様に、事前の作業と比較する。 今後の展望として,ニューラルネットワークのトレーニングにおいて,マルチスレッド表現を量子化対応トレーニングの一形態として活用する可能性を示す。

関連論文リスト

• OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond [50.440302567029654]
  マルチモーダルインテリジェンスにより、Key-Valueキャッシュは効率的なデプロイメントのための主要なメモリボトルネックとなった。 本研究では、チャネルごとの量子化パラダイムの本質的な限界を再考する。 X-LLMのための高精度かつ軽量なKVキャッシュ圧縮フレームワークOScaRを提案する。
  論文  参考訳（メタデータ） (2026-05-19T10:53:03Z)
• SegQuant: A Semantics-Aware and Generalizable Quantization Framework for Diffusion Models [24.536902380724058]
  SegQuantは、相互モデルの汎用性を高めるために相補的なテクニックを適応的に組み合わせた、統一的な量子化フレームワークである。 SegQuantはTransformerベースの拡散モデルを越えて広く適用でき、強力なパフォーマンスを実現し、メインストリームのデプロイメントツールとのシームレスな互換性を確保している。
  論文  参考訳（メタデータ） (2025-07-20T04:00:53Z)
• AdaLog: Post-Training Quantization for Vision Transformers with Adaptive Logarithm Quantizer [54.713778961605115]
  Vision Transformer (ViT) はコンピュータビジョンコミュニティにおいて最も普及しているバックボーンネットワークの1つである。 本稿では,AdaLog(Adaptive Logarithm AdaLog)量子化器を提案する。
  論文  参考訳（メタデータ） (2024-07-17T18:38:48Z)
• OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models [57.27101446992148]
  大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。 近年のPTQ法はメモリフットプリントの削減とLLMの計算効率の向上に有効である。 多様な量子化設定において優れた性能を実現するLLMのOmnidirectly calibrated Quantization手法を提案する。
  論文  参考訳（メタデータ） (2023-08-25T02:28:35Z)
• PowerQuant: Automorphism Search for Non-Uniform Quantization [37.82255888371488]
  我々は、量子化演算子の均一性を既存のアプローチの制限として同定し、データフリーな非一様法を提案する。 我々は、PowerQuantと呼ばれる我々の手法は、量子化されたDNNアクティベーション関数の単純な修正しか必要としないことを示した。
  論文  参考訳（メタデータ） (2023-01-24T08:30:14Z)
• Decomposition of Matrix Product States into Shallow Quantum Circuits [62.5210028594015]
  テンソルネットワーク(TN)アルゴリズムは、パラメタライズド量子回路(PQC)にマッピングできる 本稿では,現実的な量子回路を用いてTN状態を近似する新しいプロトコルを提案する。 その結果、量子回路の逐次的な成長と最適化を含む1つの特定のプロトコルが、他の全ての手法より優れていることが明らかとなった。
  論文  参考訳（メタデータ） (2022-09-01T17:08:41Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。