Fugu-MT 論文翻訳(概要): The Lattice Geometry of Neural Network Quantization -- A Short Equivalence Proof of GPTQ and Babai's algorithm

論文の概要: The Lattice Geometry of Neural Network Quantization -- A Short Equivalence Proof of GPTQ and Babai's algorithm

arxiv url: http://arxiv.org/abs/2508.01077v1
Date: Fri, 01 Aug 2025 21:20:58 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-05 18:25:21.703271
Title: The Lattice Geometry of Neural Network Quantization -- A Short Equivalence Proof of GPTQ and Babai's algorithm
Title（参考訳）: ニューラルネットワーク量子化の格子幾何学-GPTQとBabaiのアルゴリズムの短い等価証明
Authors: Johann Birnick,
Abstract要約: ニューラルネットワークにおける線形単位のデータ駆動量子化は、入力データによって生成される特定の格子に対して最も近いベクトル問題を解くのにどのように対応するかを示す。我々は、GPTQアルゴリズムがババイのよく知られた最寄り平面アルゴリズムと等価であることを証明した。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We explain how data-driven quantization of a linear unit in a neural network corresponds to solving the closest vector problem for a certain lattice generated by input data. We prove that the GPTQ algorithm is equivalent to Babai's well-known nearest-plane algorithm. We furthermore provide geometric intuition for both algorithms. Lastly, we note the consequences of these results, in particular hinting at the possibility for using lattice basis reduction for better quantization.
Abstract（参考訳）: ニューラルネットワークにおける線形単位のデータ駆動量子化は、入力データによって生成される特定の格子に対して最も近いベクトル問題を解くのにどのように対応するかを説明する。我々は、GPTQアルゴリズムがババイのよく知られた最寄り平面アルゴリズムと等価であることを証明した。さらに,両アルゴリズムの幾何学的直観も提供する。最後に、これらの結果の結果について言及し、特に、より優れた量子化のために格子基底還元を用いる可能性を示唆している。

関連論文リスト

The Geometry of LLM Quantization: GPTQ as Babai's Nearest Plane Algorithm [52.89358421626026]
GPTQは、LLMスケールでのワンショットポストトレーニング量子化の標準手法の1つとして登場した。 GPTQは古典的最近ベクトル問題に対するババイの最も近い平面アルゴリズムと数学的に同一であることを示す。
論文参考訳（メタデータ） (2025-07-24T16:22:18Z)
Quantum Algorithm for Shortest Vector Problems with Folded Spectrum Method [0.0]
本稿では,最短ベクトル問題を解くために,代替符号化と代替量子アルゴリズムを提案する。本研究では,量子コンピューティングフレームワークにおけるSVPの適用可能性について検討した。
論文参考訳（メタデータ） (2024-08-28T18:01:22Z)
Neural Lattice Reduction: A Self-Supervised Geometric Deep Learning Approach [12.679411410749521]
本稿では,ニューラルネットワークによる格子縮小問題に対するアルゴリズム空間のパラメータ化と,教師付きデータを持たないアルゴリズムの探索を行うことが可能であることを示す。本研究では,一様行列の因子を出力する深層ニューラルネットワークを設計し,非直交格子基底をペナルライズして自己指導的に学習する。提案手法は,一連のベンチマークにおいて,Lenstra-Lenstra-Lov'aszアルゴリズムに匹敵する複雑性と性能を持つアルゴリズムが得られることを示す。
論文参考訳（メタデータ） (2023-11-14T13:54:35Z)
Quantum Algorithm for Path-Edge Sampling [0.9990687944474739]
隣接行列として与えられる無向グラフにおいて、2つのノード s と t の間の経路上のエッジをサンプリングする量子アルゴリズムを提案する。我々は,この経路サンプリングアルゴリズムを,特定のケースにおいてst-path検索およびst-cut-set発見アルゴリズムのサブルーチンとして利用する。
論文参考訳（メタデータ） (2023-03-06T17:45:12Z)
Robust affine point matching via quadratic assignment on Grassmannians [50.366876079978056]
Robust Affine Matching with Grassmannians (RoAM) は点雲のアフィン登録を行うアルゴリズムである。このアルゴリズムは、グラスマンの2つの要素間のフロベニウス距離を最小化することに基づいている。
論文参考訳（メタデータ） (2023-03-05T15:27:24Z)
Generalization Bounds for Data-Driven Numerical Linear Algebra [24.961270871124217]
データ駆動アルゴリズムは、トレーニングされた入力サンプルから学習することで、未知のアプリケーション固有の分布からの入力に内部構造やパラメータを適用することができる。いくつかの最近の研究は、数値線形代数における問題にこのアプローチを適用し、性能において顕著な経験的利得を得た。本研究では、Gupta と Roughgarden が提案するデータ駆動アルゴリズム選択のためのPAC学習フレームワークにおいて、これらのアルゴリズムの一般化境界を証明する。
論文参考訳（メタデータ） (2022-06-16T02:23:45Z)
Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
論文参考訳（メタデータ） (2021-09-10T07:01:15Z)
A Parallelizable Lattice Rescoring Strategy with Neural Language Models [62.20538383769179]
自動音声認識のためのニューラルネットワークモデル(LM)を用いた効率的な格子相関のための後部格子拡張アルゴリズムを提案する。スイッチボードデータセットにおける実験により,提案手法が同等の認識性能を得た。 PyTorchで訓練されたニューラル LM をKaldi との格子再構成に簡単に統合することで、並列再描画法により柔軟性が向上する。
論文参考訳（メタデータ） (2021-03-08T21:23:12Z)
Nearly Linear Row Sampling Algorithm for Quantile Regression [54.75919082407094]
データの次元にほぼ線形なサンプル複雑性を持つ量子化損失関数の行サンプリングアルゴリズムを提案する。行サンプリングアルゴリズムに基づいて、量子レグレッションの最も高速なアルゴリズムと、バランスの取れた有向グラフのグラフスペーシフィケーションアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-06-15T13:40:07Z)
Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
論文参考訳（メタデータ） (2020-02-25T23:05:33Z)
Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
論文参考訳（メタデータ） (2020-02-21T17:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。