論文の概要: A Quantization-Aware Training Based Lightweight Method for Neural Distinguishers

• arxiv url: http://arxiv.org/abs/2603.05791v1
• Date: Fri, 06 Mar 2026 00:52:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:44.798086
• Title: A Quantization-Aware Training Based Lightweight Method for Neural Distinguishers
• Title（参考訳）: 量子化学習に基づくニューラルディグニッシャの軽量化法
• Authors: Guangwei Xiong, Linyuan Wang, Zhizhong Zheng, Senbao Hou, Bin Yan,
• Abstract要約: 2019年、ゴアはディープニューラルネットワークの微分暗号解析への応用を開拓した。 本研究では,量子化学習に基づく軽量なニューラル差別化手法を提案する。
• 参考スコア（独自算出の注目度）: 4.751864584128287
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In 2019, Gohr pioneered the application of deep neural networks to differential cryptanalysis, developing DNN-based neural distinguisher classifiers to analyze the SPECK lightweight block cipher. Unlike traditional differential analysis, which relies on Boolean operations on 0-1 sequences, neural distinguishers extract continuous features, introducing 32-bit multiplications operations that increase complexity and potential redundancy. This study proposes a lightweight neural distinguisher based on quantization-aware training. Leveraging learnable step-size quantization, the model's weights are quantized to 1.58 bits, enabling the replacement of all convolutional multiplication operations with Boolean logic. Additionally, the ReLU activation function is reimplemented as a comparison-based indicator function. This transforms the original 32-bit multiplication-dependent architecture into a lightweight structure composed solely of Boolean operations, additions, and indicator functions. Experimental results confirm significant computational complexity reduction. Owing to a high proportion of zero-valued weights, the total operations amount to just 13.9% of Gohr's model. Critically, the most costly 32-bit multiplications are eliminated, with classification accuracy dropping by only 2.87%. When applied exclusively to the initial convolutional layer, the 128 1-by-1 convolutions are replaced with 4 Boolean operations on 16-bit sequences, incurring a negligible 0.3% accuracy loss.
• Abstract（参考訳）: 2019年、ゴアはディープニューラルネットワークの差分暗号解析への応用を開拓し、SPECKの軽量ブロック暗号を分析するためにDNNベースの神経識別器分類器を開発した。 0-1配列のブール演算に依存する従来の微分解析とは異なり、ニューラルネットワークは連続的な特徴を抽出し、複雑性と潜在的な冗長性を高める32ビット乗算演算を導入する。 本研究では,量子化学習に基づく軽量なニューラル差別化手法を提案する。 学習可能なステップサイズの量子化を利用すると、モデルの重みは1.58ビットに量子化され、ブール論理で全ての畳み込み乗算演算を置き換えることができる。 さらに、ReLUアクティベーション関数を比較ベースインジケータ関数として再実装する。 これにより、元の32ビット乗算依存アーキテクチャはブール演算、加算、インジケータ関数のみからなる軽量な構造に変換される。 実験結果から計算複雑性が著しく低下することが確認された。 ゼロ値の重量の比率が高いため、全体の運用量はゴアのモデルの13.9%に過ぎなかった。 臨界的に、最もコストがかかる32ビットの乗算は排除され、分類精度は2.87%低下した。 最初の畳み込み層にのみ適用されると、128の1-by-1の畳み込みは16ビットのシークエンス上の4つのブール演算に置き換えられる。

関連論文リスト

• Differentiable Logic Synthesis: Spectral Coefficient Selection via Sinkhorn-Constrained Composition [0.0]
  凍結フーリエ基底からスペクトル係数を選択する微分可能なアーキテクチャである階層スペクトル合成を導入する。 我々はこのフレームワークを論理合成に適用し、ブール否定を可能にするカラムサイン変調を追加する。
  論文  参考訳（メタデータ） (2026-01-20T13:26:52Z)
• Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
  ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。 SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。 したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2025-05-01T06:47:45Z)
• ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization [73.60493264901359]
  本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を行う統一フレームワークを提案する。 3次、2ビット、3ビット量子化は、サイズと精度のトレードオフにおいて同等のパフォーマンスを維持していることを示す。 ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-04T18:59:26Z)
• Training Multi-Layer Binary Neural Networks With Local Binary Error Signals [3.7740044597960316]
  多層2層ニューラルネットワーク(BNN)のための完全二分法および勾配自由学習アルゴリズムを提案する。 提案アルゴリズムは局所的な二分誤差信号と二分重更新に依存しており、シナプス的メタ可塑性機構として機能する整数値の隠蔽重みを用いる。 実験の結果、既存の完全バイナリ単一層状態のソリューションに比べて、テスト精度は最大で+35.47%向上した。
  論文  参考訳（メタデータ） (2024-11-28T09:12:04Z)
• Improved Differential-neural Cryptanalysis for Round-reduced Simeck32/64 [7.503547605892289]
  我々は,Simeckのラウンド関数と互換性のあるインセプションニューラルネットワークを開発し,ニューラルネットワークの精度を向上させる。 DDTベースの区別器と比較すると、9ラウンドと10ラウンドの神経識別器の方が精度が良い。 拡張された15ラウンドと最初の16ラウンドと17ラウンドの攻撃はSimeck32/64で実施され、15ラウンドと16ラウンドの攻撃の成功率はほぼ100%である。
  論文  参考訳（メタデータ） (2023-01-27T09:00:09Z)
• 8-bit Optimizers via Block-wise Quantization [57.25800395197516]
  ステートフルズは、例えば過去の値の指数的滑らかな和(運動量付きSGD)や2乗和(アダム)など、時間の経過とともに統計を維持している。 この状態は、通常の勾配降下よりも最適化を加速するために使用することができるが、そうでなければモデルパラメータに割り当てられる可能性のあるメモリを使用する。 本稿では,32ビットの勾配状態を用いた場合の性能レベルを維持しながら,8ビット統計を用いた第1次勾配法を開発する。
  論文  参考訳（メタデータ） (2021-10-06T15:43:20Z)
• Searching for Low-Bit Weights in Quantized Neural Networks [129.8319019563356]
  低ビットの重みとアクティベーションを持つ量子ニューラルネットワークは、AIアクセラレータを開発する上で魅力的なものだ。 本稿では、任意の量子化ニューラルネットワークにおける離散重みを探索可能な変数とみなし、差分法を用いて正確に探索する。
  論文  参考訳（メタデータ） (2020-09-18T09:13:26Z)
• WrapNet: Neural Net Inference with Ultra-Low-Resolution Arithmetic [57.07483440807549]
  ニューラルネットワークをアキュムレータの低分解能(8ビット)加算に適応させ,32ビットのアキュムレータに匹敵する分類精度を実現する手法を提案する。 ソフトウェアプラットフォームとハードウェアプラットフォームの両方において、我々のアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2020-07-26T23:18:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。