論文の概要: Norm-Q: Effective Compression Method for Hidden Markov Models in Neuro-Symbolic Applications

• arxiv url: http://arxiv.org/abs/2509.25439v1
• Date: Mon, 29 Sep 2025 19:45:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.296723
• Title: Norm-Q: Effective Compression Method for Hidden Markov Models in Neuro-Symbolic Applications
• Title（参考訳）: Norm-Q:ニューロシンボリック応用における隠れマルコフモデルに対する効果的な圧縮法
• Authors: Hanyuan Gao, Xiaoxuan Yang,
• Abstract要約: 隠れ計算(HMM)は生成タスクで一般的に用いられ、マルコフ特性に対するニューロシンボリックな応用において強力な能力を示している。 本稿では,HMM圧縮のための正規化線形量子化手法を提案する。 最小のインパクトでデータのビット幅を削減し、メモリと帯域幅のストレスを軽減する。
• 参考スコア（独自算出の注目度）: 0.19336815376402716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hidden Markov models (HMM) are commonly used in generation tasks and have demonstrated strong capabilities in neuro-symbolic applications for the Markov property. These applications leverage the strengths of neural networks and symbolic reasoning to create robust and interpretable AI systems. However, they may inherit and amplify the shortcomings of both approaches. Both components require dense computation and data transfer, and their communication further hinders performance. This paper proposes Norm-Q, a normalized linear quantization approach for compressing probabilistic symbolic models, such as HMMs. We reduce the bit width of the data with minimal impact, thereby alleviating memory and bandwidth stress and enabling deployment on potential custom hardware. Our method introduces a normalized quantization-aware expectation maximization process for probabilistic model training. The experimental results show that Norm-Q achieves a higher compression rate with reasonable score loss compared to traditional quantization methods. In the case of the constrained generation task of large language models, we successfully quantize an HMM of 4096 hidden states to 8 bits without loss and, at most, 3 bits with acceptable loss. Notably, the Norm-Q method can achieve a compression rate of 99% for the weights of the HMM. The code is open source at https://github.com/superstarghy/Norm-Q.
• Abstract（参考訳）: 隠れマルコフモデル(HMM)は、生成タスクで一般的に用いられ、マルコフ特性に対するニューロシンボリックな応用において強力な能力を示している。 これらのアプリケーションは、ニューラルネットワークとシンボリック推論の強みを活用して、堅牢で解釈可能なAIシステムを作成する。 しかし、これらは両方のアプローチの欠点を継承し、増幅する可能性がある。 どちらのコンポーネントも密度の高い計算とデータ転送を必要としており、それらの通信はパフォーマンスをさらに妨げている。 本稿では,HMM などの確率的記号モデルを圧縮するための正規化線形量子化手法である Norm-Q を提案する。 最小限の影響でデータのビット幅を削減し、メモリと帯域の負荷を軽減し、潜在的なカスタムハードウェアへの展開を可能にします。 本稿では,確率論的モデルトレーニングのための正規化量子化対応予測最大化プロセスを提案する。 実験結果から,ノルムQは従来の量子化法と比較して,合理的なスコア損失で高い圧縮率を達成することが示された。 大規模言語モデルの制約付き生成タスクの場合、4096個の隠れ状態のHMMを8ビットに量子化し、最大で3ビットの損失を許容できる。 特に、Norm-Q法は、HMMの重みに対して99%の圧縮率を達成することができる。 コードはhttps://github.com/superstarghy/Norm-Q.comで公開されている。

関連論文リスト

• MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
  我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
  論文  参考訳（メタデータ） (2025-07-06T08:16:50Z)
• Reducing Storage of Pretrained Neural Networks by Rate-Constrained Quantization and Entropy Coding [56.066799081747845]
  成長を続けるニューラルネットワークのサイズは、リソースに制約のあるデバイスに深刻な課題をもたらす。 本稿では,レートアウェア量子化とエントロピー符号化を組み合わせた学習後圧縮フレームワークを提案する。 この方法では非常に高速な復号化が可能であり、任意の量子化グリッドと互換性がある。
  論文  参考訳（メタデータ） (2025-05-24T15:52:49Z)
• EnQode: Fast Amplitude Embedding for Quantum Machine Learning Using Classical Data [4.329112531155235]
  古典的なデータを量子回路に符号化するためには、振幅埋め込み(AE)が量子機械学習(QML)に不可欠である。 本稿では,データセットのクラスタリングによる制限に対処するシンボリック表現に基づく高速AE手法EnQodeを紹介する。 データマッピングにおける90%以上の忠実さを持つEnQodeは、ノイズの多い中間スケール量子(NISQ)デバイス上で、堅牢で高性能なQMLを実現する。
  論文  参考訳（メタデータ） (2025-03-18T17:48:03Z)
• Bit-bit encoding, optimizer-free training and sub-net initialization: techniques for scalable quantum machine learning [0.0]
  入力と出力の両方をバイナリ文字列としてエンコードする量子分類器を提案する。 1つのパラメータが一度に更新されると、局所的な最小値への収束を保証する方法で量子モデルを訓練できることが示される。
  論文  参考訳（メタデータ） (2025-01-04T00:35:14Z)
• Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
  本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。 この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T15:35:44Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Are Quantum Circuits Better than Neural Networks at Learning Multi-dimensional Discrete Data? An Investigation into Practical Quantum Circuit Generative Models [0.0]
  多層パラメタライズド量子回路(MPQC)は古典的ニューラルネットワーク(NN)よりも表現力が高いことを示す。 我々は、MPQCが古典的に効率的にシミュレートできない確率分布を生成できる理由の体系的な証明に、利用可能な情報源を整理する。 量子回路を限られたサンプルで効率的にトレーニングする方法、勾配(量子)を効率的に計算する方法、モーダル崩壊を緩和する方法など、実用的な問題に対処する。
  論文  参考訳（メタデータ） (2022-12-13T05:31:31Z)
• An Information Theory-inspired Strategy for Automatic Network Pruning [97.03772272417599]
  深層畳み込みニューラルネットワークは、リソース制約のあるデバイスで圧縮されることがよく知られている。 既存のネットワークプルーニング手法の多くは、人的努力と禁忌な計算資源を必要とする。 本稿では,自動モデル圧縮のための情報理論に基づく戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-19T07:03:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。