論文の概要: One-Bit Quantization for Random Features Models
- arxiv url: http://arxiv.org/abs/2510.16250v1
- Date: Fri, 17 Oct 2025 22:42:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 00:56:38.91492
- Title: One-Bit Quantization for Random Features Models
- Title（参考訳）: ランダム特徴量モデルのためのワンビット量子化
- Authors: Danil Akhtiamov, Reza Ghane, Babak Hassibi,
- Abstract要約: ニューラルネットワークの最近の進歩は、計算とメモリの要求を著しく上回っている。
1ビットの重み圧縮は、リソース制約のあるデバイスでの効率的な推論を可能にする。
ランダム特徴量モデルにおける1ビット量子化の解析を行う。
- 参考スコア（独自算出の注目度）: 14.991382702354924
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in neural networks have led to significant computational and memory demands, spurring interest in one-bit weight compression to enable efficient inference on resource-constrained devices. However, the theoretical underpinnings of such compression remain poorly understood. We address this gap by analyzing one-bit quantization in the Random Features model, a simplified framework that corresponds to neural networks with random representations. We prove that, asymptotically, quantizing weights of all layers except the last incurs no loss in generalization error, compared to the full precision random features model. Our findings offer theoretical insights into neural network compression. We also demonstrate empirically that one-bit quantization leads to significant inference speed ups for the Random Features models even on a laptop GPU, confirming the practical benefits of our work. Additionally, we provide an asymptotically precise characterization of the generalization error for Random Features with an arbitrary number of layers. To the best of our knowledge, our analysis yields more general results than all previous works in the related literature.
- Abstract（参考訳）: ニューラルネットワークの最近の進歩により、計算とメモリの要求が大幅に増加し、1ビットの重み圧縮への関心が高まり、リソース制約のあるデバイスでの効率的な推論が可能になった。
しかし、そのような圧縮の理論的基盤はいまだに理解されていない。
ランダム表現を持つニューラルネットワークに対応する単純化されたフレームワークであるランダム特徴量モデルにおいて、1ビットの量子化を解析することにより、このギャップに対処する。
漸近的に、前回の一般化誤差を除いて全ての層の重みを量子化することは、全精度ランダム特徴モデルと比較して損失を生じないことを証明した。
我々の発見は、ニューラルネットワークの圧縮に関する理論的洞察を提供する。
また、1ビットの量子化がラップトップGPUでもRandom Featuresモデルの推論速度を大幅に向上させ、我々の作業の実用的メリットを確認することを実証的に実証した。
さらに,任意の層数を持つランダム特徴量に対する一般化誤差を漸近的に正確に評価する。
我々の知識を最大限に活用するために、我々の分析は、関連する文献のすべての以前の研究よりも、より一般的な結果をもたらす。
関連論文リスト
- Scaling and renormalization in high-dimensional regression [72.59731158970894]
リッジ回帰に関する最近の結果について統一的な視点を提示する。
我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。
我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - QGen: On the Ability to Generalize in Quantization Aware Training [35.0485699853394]
量子化は、モデルの重みとアクティベーションを表すために少ないビットを利用することで、メモリ使用量、計算要求、レイテンシを低下させる。
ニューラルネットワークにおける量子化の理論モデルを開発し、正則化の形式として量子化がどのように機能するかを示す。
論文 参考訳（メタデータ） (2024-04-17T21:52:21Z) - Asymptotic generalization error of a single-layer graph convolutional network [0.0]
属性ブロックモデルにより生成されたデータに基づいて学習した単一層グラフ畳み込みネットワークの性能を予測する。
我々は,高信号対雑音比の限界について検討し,GCNの収束率を詳細に検討し,一貫性はあるものの,いずれの場合においてもベイズ最適値に達しないことを示す。
論文 参考訳（メタデータ） (2024-02-06T09:07:26Z) - Generalization of Neural Combinatorial Solvers Through the Lens of
Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。
本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。
他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。
驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文 参考訳（メタデータ） (2021-10-21T07:28:11Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳（メタデータ） (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。