Fugu-MT 論文翻訳(概要): Frame Quantization of Neural Networks

論文の概要: Frame Quantization of Neural Networks

arxiv url: http://arxiv.org/abs/2404.08131v1
Date: Thu, 11 Apr 2024 21:24:38 GMT
ステータス: 処理完了
システム内更新日: 2024-04-15 16:24:45.377547
Title: Frame Quantization of Neural Networks
Title（参考訳）: ニューラルネットワークのフレーム量子化
Authors: Wojciech Czaja, Sanghoon Na,
Abstract要約: 本稿では,フレーム理論から派生したアイデアに依拠した誤差推定を伴う学習後量子化アルゴリズムを提案する。ステップサイズとフレーム要素数の観点から,元のニューラルネットワークと量子化ニューラルネットワークの誤差を導出する。
参考スコア（独自算出の注目度）: 2.8720213314158234
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present a post-training quantization algorithm with error estimates relying on ideas originating from frame theory. Specifically, we use first-order Sigma-Delta ($\Sigma\Delta$) quantization for finite unit-norm tight frames to quantize weight matrices and biases in a neural network. In our scenario, we derive an error bound between the original neural network and the quantized neural network in terms of step size and the number of frame elements. We also demonstrate how to leverage the redundancy of frames to achieve a quantized neural network with higher accuracy.
Abstract（参考訳）: 本稿では,フレーム理論から派生したアイデアに依拠した誤差推定を伴う学習後量子化アルゴリズムを提案する。具体的には、有限単位ノルムのタイトフレームに対して一階Sigma-Delta$\Sigma\Delta$)量子化を用いて、ニューラルネットワーク内の重み行列とバイアスを定量化する。このシナリオでは、ステップサイズとフレーム要素数の観点から、元のニューラルネットワークと量子化されたニューラルネットワークとの間の誤差を導出する。また、フレームの冗長性を利用して量子化されたニューラルネットワークを高精度に実現する方法を実証する。

関連論文リスト

Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
SPFQ: A Stochastic Algorithm and Its Error Analysis for Neural Network Quantization [5.982922468400901]
ニューラルネットワークの重みの順に得られる誤差境界を達成可能であることを示す。我々は、無限アルファベットと入力データに対する最小の仮定の下で、完全なネットワーク境界を達成できることを証明した。
論文参考訳（メタデータ） (2023-09-20T00:35:16Z)
Towards Neural Variational Monte Carlo That Scales Linearly with System Size [67.09349921751341]
量子多体問題(Quantum many-body problem)は、例えば高温超伝導体のようなエキゾチックな量子現象をデミストする中心である。量子状態を表すニューラルネットワーク(NN)と変分モンテカルロ(VMC)アルゴリズムの組み合わせは、そのような問題を解決する上で有望な方法であることが示されている。ベクトル量子化技術を用いて,VMCアルゴリズムの局所エネルギー計算における冗長性を利用するNNアーキテクチャVector-Quantized Neural Quantum States (VQ-NQS)を提案する。
論文参考訳（メタデータ） (2022-12-21T19:00:04Z)
CEG4N: Counter-Example Guided Neural Network Quantization Refinement [2.722899166098862]
我々は,カウンタ・サンプル・ガイド付きニューラルネットワーク量子化リファインメント(CEG4N)を提案する。この手法は探索に基づく量子化と等価検証を組み合わせたものである。最先端技術よりも最大72%精度のモデルを作成します。
論文参考訳（メタデータ） (2022-07-09T09:25:45Z)
Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
論文参考訳（メタデータ） (2022-01-26T18:47:38Z)
Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文参考訳（メタデータ） (2021-09-05T15:15:07Z)
A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。 MNIST画像データセットがそのような条件を満たすことを数値的に示す。我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
論文参考訳（メタデータ） (2021-07-19T23:41:03Z)
A Quantum Convolutional Neural Network for Image Classification [7.745213180689952]
量子畳み込みニューラルネットワーク(QCNN)という新しいニューラルネットワークモデルを提案する。 QCNNは実装可能な量子回路に基づいており、古典的畳み込みニューラルネットワークと同様の構造を持つ。 MNISTデータセットの数値シミュレーションにより,本モデルの有効性が示された。
論文参考訳（メタデータ） (2021-07-08T06:47:34Z)
Toward Trainability of Quantum Neural Networks [87.04438831673063]
量子ニューラルネットワーク(QNN)は、量子スピードアップを達成するために古典的ニューラルネットワークの一般化として提案されている。 QNNのトレーニングには、入力キュービット数に指数関数的に勾配速度がなくなるため、非常に大きなボトルネックが存在する。木テンソルとステップ制御された構造を持つQNNを二分分類に適用し,ランダムな構造を持つQNNと比較してより高速な収束率と精度を示す。
論文参考訳（メタデータ） (2020-11-12T08:32:04Z)
A Greedy Algorithm for Quantizing Neural Networks [4.683806391173103]
本稿では,事前学習したニューラルネットワークの重みを定量化するための計算効率のよい新しい手法を提案する。本手法は,複雑な再学習を必要とせず,反復的に層を定量化する手法である。
論文参考訳（メタデータ） (2020-10-29T22:53:10Z)
Searching for Low-Bit Weights in Quantized Neural Networks [129.8319019563356]
低ビットの重みとアクティベーションを持つ量子ニューラルネットワークは、AIアクセラレータを開発する上で魅力的なものだ。本稿では、任意の量子化ニューラルネットワークにおける離散重みを探索可能な変数とみなし、差分法を用いて正確に探索する。
論文参考訳（メタデータ） (2020-09-18T09:13:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。