論文の概要: Algebraic Integer Quantization for Machine Learning Applications

• arxiv url: http://arxiv.org/abs/2610.12494v1
• Date: Fri, 25 Sep 2026 19:36:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:02:54.436653
• Title: Algebraic Integer Quantization for Machine Learning Applications
• Title（参考訳）: 機械学習応用のための代数整数量子化
• Abstract要約: AINFの鍵となる特性は、純粋に整数演算に還元され、エラーのない乗算累積演算が可能であることである。 我々は,この特性を利用した行列乗算エンジンを開発し,最も効率的な数値積の予測可能な係数内での性能を得る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this article, we propose algebraic integer number formats (AINF) as a framework for highly configurable and accurate compressed computation. A key property of AINF is its straightforward reduction to purely integer arithmetic, enabling error-free multiply-accumulate operations. We develop a matrix multiplication engine that exploits this property, obtaining performance within a predictable factor of the most efficient numerical counterparts on modern hardware accelerators. Another key advantage of AIQ is the freedom to select algebraic integers tailored to the numerical characteristics of a given use case, offering optimization opportunities that are fundamentally unavailable in floating-point or fixed-point formats. Motivated by these properties, we introduce algebraic integer quantization (AIQ), a lossy compression format for large language model (LLM) inference, and provide results demonstrating that AIQ achieves competitive accuracy compared to the industry-standard MX format across a diverse set of models and benchmarks at equivalent bit-per-parameter budgets. The experiments presented in this article employ algebraic integers of degree two (quadratic integers); generalizations to higher-order and, in particular, multidimensional algebraic integers promise even greater computational advantages and remain a promising direction for future work.
• Abstract（参考訳）: 本稿では,高度に構成可能で正確な圧縮計算を行うためのフレームワークとして,代数整数形式(AINF)を提案する。 AINFの鍵となる特性は、純粋に整数演算に還元され、エラーのない乗算累積演算が可能であることである。 我々は,この特性を利用した行列乗算エンジンを開発し,現代のハードウェアアクセラレーターにおける最も効率的な数値積の予測可能な係数で性能を得る。 AIQのもう1つの重要な利点は、与えられたユースケースの数値特性に合わせた代数的整数を選択する自由であり、浮動小数点や不動小数点形式では基本的に利用できない最適化の機会を提供することである。 これらの特性を動機として,大言語モデル(LLM)推論のための圧縮形式である代数的整数量子化(AIQ)を導入し,AIQが様々なビット単位の予算で,業界標準のMXフォーマットと比較して競争精度を向上することを示す。 本稿では、次数2(四進整数)の代数的整数を用いており、高階への一般化、特に多次元代数的整数はより大きな計算上の利点を約束し、将来の研究にとって有望な方向を維持している。

関連論文リスト

• Neural Isomorphic Fields: A Transformer-based Algebraic Numerical Embedding [4.0782474409194736]
  そこで本研究では,数値を直接使用する代わりに,数値に対する埋め込みベクトルを提案する。 これらの埋め込みは、数値不安定を防ぎながら重要な代数的性質を維持することを目的としている。 代数演算を保存する固定長数埋め込みベクトルを初めて導入する。
  論文  参考訳（メタデータ） (2026-01-17T16:25:52Z)
• The Cambrian Explosion of Mixed-Precision Matrix Multiplication for Quantized Deep Learning Inference [0.9954176833299684]
  ディープラーニング(DL)は、従来の64ビット浮動小数点(FP64)計算から、縮小精度のフォーマットへと変化した。 本稿では,従来のハイパフォーマンスなgemを改訂し,それを混合精度整数算術に適用するための戦略について述べる。
  論文  参考訳（メタデータ） (2025-06-13T12:40:16Z)
• How Numerical Precision Affects Arithmetical Reasoning Capabilities of LLMs [69.55103380185612]
  本稿では,トランスフォーマーに基づく大規模言語モデルの算術性能に影響を与える重要な要因として,数値精度を同定する。 その結果,数値精度の低いトランスフォーマーでは,繰り返し加算や整数乗算などの算術的なタスクに対処できないことがわかった。 対照的に、標準的な数値精度のトランスフォーマーは、モデルサイズを大幅に小さくすることで、これらのタスクを効率的に処理することができる。
  論文  参考訳（メタデータ） (2024-10-17T17:59:35Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)
• Symmetric Tensor Networks for Generative Modeling and Constrained Combinatorial Optimization [72.41480594026815]
  ポートフォリオ最適化からロジスティクスに至るまで、制約付き最適化問題は業界に多い。 これらの問題の解決における主要な障害の1つは、有効な検索空間を制限する非自明なハード制約の存在である。 本研究では、Ax=bという形の任意の整数値等式制約をU(1)対称ネットワーク(TN)に直接エンコードし、それらの適用性を量子に着想を得た生成モデルとして活用する。
  論文  参考訳（メタデータ） (2022-11-16T18:59:54Z)
• A Non-parametric Skill Representation with Soft Null Space Projectors for Fast Generalization [7.119677737397071]
  ヌル空間プロジェクタを含む非パラメトリック運動プリミティブを導出する。 このような定式化により,行列逆変換を伴わずに計算複雑性O(n2)で高速かつ効率的な運動生成が可能となることを示す。 高次元入力による実演技術については、オンザフライ適応も可能であることを示す。
  論文  参考訳（メタデータ） (2022-09-18T10:04:59Z)
• Lossy compression of matrices by black-box optimisation of mixed-integer non-linear programming [1.1066593559733056]
  エッジコンピューティングでは、データサイズを抑制することは、自律運転のような複雑なタスクを実行する機械学習モデルの課題である。 行列データの効率的な損失圧縮は、それを整数と実行列の積に分解することで実現されている。 本稿では,最近開発された整数変数に対するIsingソルバを用いたブラックボックス最適化アルゴリズムを利用して,この最適化を改善する。
  論文  参考訳（メタデータ） (2022-04-22T08:58:36Z)
• Efficient Floating Point Arithmetic for Quantum Computers [1.189955933770711]
  量子コンピューティングの大きな約束の1つは、重ね合わせ現象を用いたSIMD(単一命令 - 複数のデータ)演算の実現である。 我々は、符号なし整数量子回路を便利に生成できる半ブールと呼ばれる符号化形式を導入している。 我々は、このタイプの評価を、アンシラのないインプレース乗算や整数係数評価などの追加機能で拡張する。
  論文  参考訳（メタデータ） (2021-12-20T14:00:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。