論文の概要: Quantization vs Pruning: Insights from the Strong Lottery Ticket Hypothesis

• arxiv url: http://arxiv.org/abs/2508.11020v1
• Date: Thu, 14 Aug 2025 18:51:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-18 14:51:23.646535
• Title: Quantization vs Pruning: Insights from the Strong Lottery Ticket Hypothesis
• Title（参考訳）: 量子化とプルーニング
• Authors: Aakash Kumar, Emanuele Natale,
• Abstract要約: 量子化はニューラルネットワークをより効率的にするための重要なテクニックですが、理論的には限定的です。 従来の研究では、バイナリネットワークのような超低精度ネットワークは、大規模でランダムに近似されたネットワークを刈り取ることで構築可能であることが示されていた。 我々は数分割問題(Number Partitioning Problem)に基づくボルグスらによる基礎的な結果に基づいて、量子化された環境でランダムな部分集合 Sum 問題に対する新たな理論的結果を導出する。
• 参考スコア（独自算出の注目度）: 5.494111035517599
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quantization is an essential technique for making neural networks more efficient, yet our theoretical understanding of it remains limited. Previous works demonstrated that extremely low-precision networks, such as binary networks, can be constructed by pruning large, randomly-initialized networks, and showed that the ratio between the size of the original and the pruned networks is at most polylogarithmic. The specific pruning method they employed inspired a line of theoretical work known as the Strong Lottery Ticket Hypothesis (SLTH), which leverages insights from the Random Subset Sum Problem. However, these results primarily address the continuous setting and cannot be applied to extend SLTH results to the quantized setting. In this work, we build on foundational results by Borgs et al. on the Number Partitioning Problem to derive new theoretical results for the Random Subset Sum Problem in a quantized setting. Using these results, we then extend the SLTH framework to finite-precision networks. While prior work on SLTH showed that pruning allows approximation of a certain class of neural networks, we demonstrate that, in the quantized setting, the analogous class of target discrete neural networks can be represented exactly, and we prove optimal bounds on the necessary overparameterization of the initial network as a function of the precision of the target network.
• Abstract（参考訳）: 量子化はニューラルネットワークをより効率的にするための重要なテクニックですが、理論的には限定的です。 従来の研究では、二元ネットワークのような超低精度ネットワークは、大規模でランダムに初期化されたネットワークを刈り取ることで構築可能であることが示され、元のネットワークと刈り取られたネットワークの大きさの比率は、最も多義的であることが示された。 彼らが採用した特定のプルーニング法は、Strong Lottery Ticket hypothesis (SLTH)として知られる一連の理論的な研究にインスピレーションを与えた。 しかし、これらの結果は主に連続的な設定に対処し、SLTHの結果を量子化された設定にまで拡張するには適用できない。 本研究では,数分割問題に基づくボルグスらによる基礎的な結果に基づいて,量子化環境でのランダム・サブセット・サム問題に対する新たな理論的結果を導出する。 これらの結果を用いて、SLTHフレームワークを有限精度ネットワークに拡張する。 SLTHに関する以前の研究は、プルーニングが特定の種類のニューラルネットワークを近似できることを示したが、量子化環境では、ターゲットの離散ニューラルネットワークの類似クラスを正確に表現できることを示し、ターゲットネットワークの精度の関数として、初期ネットワークの必要過度化の最適境界を証明した。

関連論文リスト

• Interpretable Scaling Behavior in Sparse Subnetwork Representations of Quantum States [0.46603287532620735]
  パラメータ数が1桁を超えると、スパースニューラルネットワークは密度の高いニューラルネットワークに匹敵する精度に達することが示される。 ネットワークサイズと物理モデルにまたがって持続する普遍的なスケーリングの挙動を同定し、そこではスケーリング領域の境界は、基礎となるハミルトニアンによって決定される。
  論文  参考訳（メタデータ） (2025-05-28T18:00:08Z)
• Polynomially Over-Parameterized Convolutional Neural Networks Contain Structured Strong Winning Lottery Tickets [4.020829863982153]
  十分に小さなネットワークを近似できる構造化ニューラルワークの存在を実証する。 この結果は、Strong Lottery Ticket仮説の周りの最初の部分指数境界を与える。
  論文  参考訳（メタデータ） (2023-11-16T12:38:45Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Layer Adaptive Node Selection in Bayesian Neural Networks: Statistical Guarantees and Implementation Details [0.5156484100374059]
  スパースディープニューラルネットワークは、大規模研究において予測モデル構築に効率的であることが証明されている。 本稿では,スパイク・アンド・スラブ型ガウス先行法を用いて,訓練中のノード選択を可能にするベイズスパース解を提案する。 本研究は, 先行パラメータのキャラクタリゼーションとともに, 変動的後続一貫性の基本的な結果を確立する。
  論文  参考訳（メタデータ） (2021-08-25T00:48:07Z)
• Mitigating Performance Saturation in Neural Marked Point Processes: Architectures and Loss Functions [50.674773358075015]
  本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。 我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-07-07T16:59:14Z)
• The Ridgelet Prior: A Covariance Function Approach to Prior Specification for Bayesian Neural Networks [4.307812758854161]
  ネットワークの出力空間における擬似ガウス過程を近似したネットワークのパラメータに対する事前分布を構築する。 これにより、ベイズニューラルネットワークが共分散関数が十分正則である任意のガウス過程を近似できるという性質が確立される。
  論文  参考訳（メタデータ） (2020-10-16T16:39:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。