論文の概要: Theoretical Compression Bounds for Wide Multilayer Perceptrons

• arxiv url: http://arxiv.org/abs/2512.06288v1
• Date: Sat, 06 Dec 2025 04:32:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.285899
• Title: Theoretical Compression Bounds for Wide Multilayer Perceptrons
• Title（参考訳）: 広層パーセプトロンの理論圧縮境界
• Authors: Houssam El Cheairi, David Gamarnik, Rahul Mazumder,
• Abstract要約: プルーニングと量子化の技術は、大規模なニューラルネットワークに必要なパラメータの数を減らすことで広く成功している。 本研究では, 学習後のプルーニングと量子化のための無作為グリーディ圧縮アルゴリズムについて検討する。
• 参考スコア（独自算出の注目度）: 18.425849654386393
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pruning and quantization techniques have been broadly successful in reducing the number of parameters needed for large neural networks, yet theoretical justification for their empirical success falls short. We consider a randomized greedy compression algorithm for pruning and quantization post-training and use it to rigorously show the existence of pruned/quantized subnetworks of multilayer perceptrons (MLPs) with competitive performance. We further extend our results to structured pruning of MLPs and convolutional neural networks (CNNs), thus providing a unified analysis of pruning in wide networks. Our results are free of data assumptions, and showcase a tradeoff between compressibility and network width. The algorithm we consider bears some similarities with Optimal Brain Damage (OBD) and can be viewed as a post-training randomized version of it. The theoretical results we derive bridge the gap between theory and application for pruning/quantization, and provide a justification for the empirical success of compression in wide multilayer perceptrons.
• Abstract（参考訳）: プルーニングと量子化技術は、大規模なニューラルネットワークに必要なパラメータの数を減らすことで広く成功したが、その経験的成功に対する理論的正当化は不十分である。 本手法は,マルチ層パーセプトロン(MLP)のプルーニング/量子化サブネットワークの存在を厳密に示すために,学習後のプルーニングと量子化のためのランダム化グリーディ圧縮アルゴリズムを提案する。 我々はさらに,MLPと畳み込みニューラルネットワーク(CNN)の構造的プルーニングにまで結果を拡張し,広帯域ネットワークにおけるプルーニングの統一解析を行う。 我々の結果はデータ仮定が不要であり、圧縮性とネットワーク幅のトレードオフを示す。 このアルゴリズムは、最適脳損傷(OBD)と類似しており、学習後のランダム化バージョンと見なすことができる。 理論的結果から,理論とプルーニング/量子化への応用のギャップを橋渡しし,多層パーセプトロンにおける圧縮の実証的成功を正当化する。

関連論文リスト

• Quantization vs Pruning: Insights from the Strong Lottery Ticket Hypothesis [5.494111035517599]
  量子化はニューラルネットワークをより効率的にするための重要なテクニックですが、理論的には限定的です。 従来の研究では、バイナリネットワークのような超低精度ネットワークは、大規模でランダムに近似されたネットワークを刈り取ることで構築可能であることが示されていた。 我々は数分割問題(Number Partitioning Problem)に基づくボルグスらによる基礎的な結果に基づいて、量子化された環境でランダムな部分集合 Sum 問題に対する新たな理論的結果を導出する。
  論文  参考訳（メタデータ） (2025-08-14T18:51:34Z)
• Pruning Deep Neural Networks from a Sparsity Perspective [34.22967841734504]
  プルーニングは、しばしば、同等のテスト性能を維持しながら、ディープネットワークの冗長な重み、ニューロン、または層を落とすことで達成される。 深層ニューラルネットワークの圧縮可能性を測定するためにPQインデックス(PQI)を提案し,これをスペーサ性インフォームド・アダプティブ・プルーニング(SAP)アルゴリズムの開発に利用する。
  論文  参考訳（メタデータ） (2023-02-11T04:52:20Z)
• A Theoretical Understanding of Neural Network Compression from Sparse Linear Approximation [37.525277809849776]
  モデル圧縮の目標は、同等のパフォーマンスを維持しながら、大きなニューラルネットワークのサイズを減らすことだ。 圧縮性を特徴付けるためにスペーサ感度$ell_q$-normを使用し、ネットワーク内の重みの柔らかいスペーサと圧縮度の関係を提供する。 また,ネットワーク上で各ニューロンを切断する適応アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-11T20:10:35Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Generic Perceptual Loss for Modeling Structured Output Dependencies [78.59700528239141]
  トレーニングされた重みではなく、ネットワーク構造が重要であることを示す。 我々は、出力の構造化依存関係をモデル化するためにランダムに重み付けされたディープcnnが使用できることを実証する。
  論文  参考訳（メタデータ） (2021-03-18T23:56:07Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。