Fugu-MT 論文翻訳(概要): Optimization of the quantization of dense neural networks from an exact QUBO formulation

論文の概要: Optimization of the quantization of dense neural networks from an exact QUBO formulation

arxiv url: http://arxiv.org/abs/2510.16075v1
Date: Fri, 17 Oct 2025 09:57:28 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-25 00:56:38.831598
Title: Optimization of the quantization of dense neural networks from an exact QUBO formulation
Title（参考訳）: 正確なQUBO定式化による高密度ニューラルネットワークの量子化の最適化
Authors: Sergio Muñiz Subiñas, Manuel L. González, Jorge Ruiz Gómez, Alejandro Mata Ali, Jorge Martínez Martín, Miguel Franco Hernando, Ángel Miguel García-Vico,
Abstract要約: 本研究は,新しいROUNDベースのQUBO定式化による高密度ニューラルネットワークのためのポストトレーニング量子化(PTQ)手法を提案する。 MNIST, FashionMNIST, EMNIST, CIFAR-108 を int から int1 への整数精度で評価し, 従来手法と比較した。
参考スコア（独自算出の注目度）: 33.03114296244325
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This work introduces a post-training quantization (PTQ) method for dense neural networks via a novel ADAROUND-based QUBO formulation. Using the Frobenius distance between the theoretical output and the dequantized output (before the activation function) as the objective, an explicit QUBO whose binary variables represent the rounding choice for each weight and bias is obtained. Additionally, by exploiting the structure of the coefficient QUBO matrix, the global problem can be exactly decomposed into $n$ independent subproblems of size $f+1$, which can be efficiently solved using some heuristics such as simulated annealing. The approach is evaluated on MNIST, Fashion-MNIST, EMNIST, and CIFAR-10 across integer precisions from int8 to int1 and compared with a round-to-nearest traditional quantization methodology.
Abstract（参考訳）: 本研究では、ADAROUNDベースの新しいQUBO定式化により、高密度ニューラルネットワークのためのポストトレーニング量子化(PTQ)手法を導入する。理論出力と(アクティベーション関数以前の)定値出力とのフロベニウス距離を目的とし、各重みとバイアスの2値変数がラウンドリング選択を表す明示的なQUBOを求める。さらに、係数 QUBO 行列の構造を利用することで、大域的な問題を$n$独立サブプロブレムとして$f+1$に分解することができる。 MNIST, Fashion-MNIST, EMNIST, CIFAR-10 を int8 から int1 までの整数精度で評価し, ラウンド・ツー・アネレストな量子化法と比較した。

関連論文リスト

Efficient classical computation of the neural tangent kernel of quantum neural networks [3.7498611358320733]
広帯域の量子ニューラルネットワークに付随するニューラル・タンジェント・カーネル(NTK)を推定する効率的なアルゴリズムを提案する。これらのネットワークは、任意のハミルトニアンによって生成される時間進化によって与えられるパラメトリックゲートとインターリーブされた任意のユニタリ作用素からなる。
論文参考訳（メタデータ） (2025-08-06T14:48:01Z)
A Scalable Quantum Neural Network for Approximate SRBB-Based Unitary Synthesis [1.3108652488669736]
拡張性のある量子ニューラルネットワークは、任意のユニタリ進化を近似する手段として導入された。 SRBBベースの合成アルゴリズムは、実際のハードウェア上でもテストされる。
論文参考訳（メタデータ） (2024-12-04T07:21:23Z)
SPFQ: A Stochastic Algorithm and Its Error Analysis for Neural Network Quantization [5.982922468400901]
ニューラルネットワークの重みの順に得られる誤差境界を達成可能であることを示す。我々は、無限アルファベットと入力データに対する最小の仮定の下で、完全なネットワーク境界を達成できることを証明した。
論文参考訳（メタデータ） (2023-09-20T00:35:16Z)
D4FT: A Deep Learning Approach to Kohn-Sham Density Functional Theory [79.50644650795012]
コーンシャム密度汎関数論(KS-DFT)を解くための深層学習手法を提案する。このような手法はSCF法と同じ表現性を持つが,計算複雑性は低下する。さらに,本手法により,より複雑なニューラルベース波動関数の探索が可能となった。
論文参考訳（メタデータ） (2023-03-01T10:38:10Z)
AskewSGD : An Annealed interval-constrained Optimisation method to train Quantized Neural Networks [12.229154524476405]
我々は、深層ニューラルネットワーク(DNN)を量子化重みでトレーニングするための新しいアルゴリズム、Annealed Skewed SGD - AskewSGDを開発した。アクティブなセットと実行可能な方向を持つアルゴリズムとは異なり、AskewSGDは実行可能な全セットの下でのプロジェクションや最適化を避けている。実験結果から,AskewSGDアルゴリズムは古典的ベンチマークの手法と同等以上の性能を示した。
論文参考訳（メタデータ） (2022-11-07T18:13:44Z)
Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文参考訳（メタデータ） (2022-08-08T03:13:24Z)
Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition [67.95996816744251]
長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
論文参考訳（メタデータ） (2021-11-29T12:24:02Z)
SiMaN: Sign-to-Magnitude Network Binarization [165.5630656849309]
重みバイナライゼーションは、高倍率重みを+1s、0sに符号化することで分析ソリューションを提供する。二元化ネットワークの学習重みは、エントロピーを許さないラプラシアン分布に概ね従うことが証明される。 CIFAR-10 と ImageNet を用いて,シマナライゼーション (SiMaN) と呼ばれる手法の評価を行った。
論文参考訳（メタデータ） (2021-02-16T07:03:51Z)
Searching for Low-Bit Weights in Quantized Neural Networks [129.8319019563356]
低ビットの重みとアクティベーションを持つ量子ニューラルネットワークは、AIアクセラレータを開発する上で魅力的なものだ。本稿では、任意の量子化ニューラルネットワークにおける離散重みを探索可能な変数とみなし、差分法を用いて正確に探索する。
論文参考訳（メタデータ） (2020-09-18T09:13:26Z)
Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。