論文の概要: Lyapunov-Guided Training for Hardware-Safe Neural Networks Under Fixed-Point Arithmetic

• arxiv url: http://arxiv.org/abs/2607.04531v1
• Date: Sun, 05 Jul 2026 22:25:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.972461
• Title: Lyapunov-Guided Training for Hardware-Safe Neural Networks Under Fixed-Point Arithmetic
• Title（参考訳）: Lyapunov-Guided Training for Hardware-Safe Neural Networks under Fixed-point Arithmetic (特集:一般セッション)
• Abstract要約: 低精度ニューラルネットワークは、リソース制約のあるハードウェアにとって魅力的である。 固定点算術は、しばしば理想化された量子化モデルによって隠される障害モードを導入する。 本稿では,低精度ニューラルネットワークのためのリアプノフ安定化量子化フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 10.32607023406232
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-precision neural networks are attractive for resource-constrained hardware, but fixed-point arithmetic introduces failure modes that are often hidden by idealised quantisation models. In particular, two's-complement overflow wrapping can corrupt hidden activations by changing both their magnitude and sign, leading to unstable numerical error propagation and severe accuracy degradation. This paper proposes a Lyapunov-stabilised quantisation framework for low-precision neural networks operating under hardware-style wrapping arithmetic. The hidden-state energy is monitored through a layerwise Lyapunov function, and a monotone projection is applied to enforce bounded and non-increasing state evolution across depth. The method is evaluated on MNIST using a compact patch-based transformer under post-training quantisation and quantisation-aware training with fixed-point bit-widths from 4 to 16 bits. Monte Carlo results show that unconstrained wrapped quantisation-aware training collapses to near-chance accuracy across 6-16 bits, with activation overflow rates exceeding 11%. In contrast, the proposed monotone Lyapunov projection suppresses activation overflow to below 0.012% and restores stable low-precision learning, achieving 86.55% accuracy at 12 bits. These results demonstrate that Lyapunov-based state control can act as a hardware-aware stabilisation mechanism for reliable fixed-point neural inference and training.
• Abstract（参考訳）: 低精度ニューラルネットワークは、リソース制約のあるハードウェアには魅力的だが、固定点演算では、理想化された量子化モデルによって隠されることが多い障害モードが導入される。 特に、2つの補流オーバーフローラップは、その大きさと符号の両方を変えて隠れた活性化を損なう可能性があり、不安定な数値誤差の伝播と高精度な精度低下をもたらす。 本稿では,Lyapunov-stabilized Quantisation framework for low-precision neural network operating under hardware-style wrapping arithmeticを提案する。 隠れ状態エネルギーは層回りのリャプノフ関数を通して監視され、奥行きの有界および非増加状態の進化を強制するためにモノトン投射が適用される。 本手法は,4ビットから16ビットまでの固定点ビット幅を持つ量子化・量子化学習において,コンパクトなパッチベースの変圧器を用いてMNIST上で評価する。 モンテカルロの結果、制限のないラップ型量子化対応トレーニングは、6-16ビットでほぼ精度で崩壊し、活性化オーバーフローレートは11%を超えた。 対照的に、提案されたモノトンリアプノフプロジェクションは活性化オーバーフローを0.012%以下に抑制し、安定した低精度学習を回復し、12ビットで86.55%の精度を達成する。 これらの結果から,リアプノフをベースとした状態制御は,信頼度の高い固定点神経推論とトレーニングのためのハードウェア対応安定化機構として機能することが示唆された。

関連論文リスト

• Progressive Element-wise Gradient Estimation for Neural Network Quantization [2.1413624861650358]
  量子化アウェアトレーニング(QAT)法は、離散化関数の非微分可能性に対処するためにSTE(Straight-Through Estimator)に依存する。 本稿では,連続値と量子化値の離散化誤差に対処するため,PEGE(Progressive Element-wise Gradient Estimation)を提案する。 PEGEは、既存のバックプロパゲーション手法を一貫して上回り、低精度のモデルが彼らの完全精度の精度にマッチしたり、さらに上回ったりすることを可能にしている。
  論文  参考訳（メタデータ） (2025-08-27T15:59:36Z)
• TruncQuant: Truncation-Ready Quantization for DNNs with Flexible Weight Bit Precision [8.532216260938478]
  トランケーションは、低ビット精度マッピングを実現するための効果的なアプローチである。 現在の量子化対応トレーニングスキームは、トランケーションプロセスのために設計されていない。 そこで我々はTruncQuantを提案する。TruncQuantは、実行時のビットシフトによるフレキシブルビット精度を実現する新しいトランケーション対応トレーニングスキームである。
  論文  参考訳（メタデータ） (2025-06-13T03:08:18Z)
• Dual Precision Quantization for Efficient and Accurate Deep Neural Networks Inference [3.7687375904925484]
  本稿では,ハードウェアの利点を最小限の精度で生かした,ハードウェア効率の量子化と推論手法を提案する。 本研究では,新たな推定オーバーヘッドを伴わずに,新たな量子化アルゴリズムであるDual Precision Quantization (DPQ) を開発した。
  論文  参考訳（メタデータ） (2025-05-20T17:26:12Z)
• Gradient-based Automatic Mixed Precision Quantization for Neural Networks On-Chip [0.9187138676564589]
  本稿では,革新的な量子化学習手法である高粒度量子化(HGQ)を提案する。 HGQは、勾配降下によって最適化できるようにすることで、重量当たりおよび活動当たりの精度を微調整する。 このアプローチは、演算演算が可能なハードウェア上で、超低レイテンシと低電力ニューラルネットワークを実現する。
  論文  参考訳（メタデータ） (2024-05-01T17:18:46Z)
• Mixed Precision Post Training Quantization of Neural Networks with Sensitivity Guided Search [7.392278887917975]
  混合精度量子化により、異なるテンソルを様々な数値精度のレベルに量子化することができる。 我々は,コンピュータビジョンと自然言語処理の手法を評価し,最大27.59%,34.31%のレイテンシ低減を実証した。
  論文  参考訳（メタデータ） (2023-02-02T19:30:00Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• Sharpness-aware Quantization for Deep Neural Networks [45.150346855368]
  シャープネス・アウェア量子化(SAQ)は,シャープネス・アウェア最小化(SAM)がモデル圧縮に与える影響を探索する新しい手法である。 本研究では,SAQにより量子化モデルの一般化性能が向上し,SOTAの結果が均一に量子化されることを示す。
  論文  参考訳（メタデータ） (2021-11-24T05:16:41Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution Networks [49.191062785007006]
  画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。 既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。 高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
  論文  参考訳（メタデータ） (2020-12-21T10:19:42Z)
• Searching for Low-Bit Weights in Quantized Neural Networks [129.8319019563356]
  低ビットの重みとアクティベーションを持つ量子ニューラルネットワークは、AIアクセラレータを開発する上で魅力的なものだ。 本稿では、任意の量子化ニューラルネットワークにおける離散重みを探索可能な変数とみなし、差分法を用いて正確に探索する。
  論文  参考訳（メタデータ） (2020-09-18T09:13:26Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• Towards Unified INT8 Training for Convolutional Neural Network [83.15673050981624]
  共用畳み込みニューラルネットワークのための統合8ビット(INT8)トレーニングフレームワークを構築した。 まず、勾配の4つの特徴を経験的に発見し、勾配量子化の洞察力のある手がかりを与える。 勾配の方向ずれを低減させる方向感度勾配クリッピングを含む2つの普遍的手法を提案する。
  論文  参考訳（メタデータ） (2019-12-29T08:37:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。