論文の概要: Theoretical Guarantees for One-Shot Magnitude Pruning and Compute-Adaptive Early Exit

• arxiv url: http://arxiv.org/abs/2609.12337v1
• Date: Fri, 11 Sep 2026 01:38:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.581615
• Title: Theoretical Guarantees for One-Shot Magnitude Pruning and Compute-Adaptive Early Exit
• Title（参考訳）: ワンショット・マグニチュード・プルーニングとコンピュータ適応型アーリーエグジットの理論的保証
• Abstract要約: ニューラルネットワークの計算量削減を、統一された部分的対全ビューで検討する。 マグニチュード単一ニューロンモデルでは、明示的な速度で一発のマグニチュードプルーニングの集中定理を証明している。 解析をディープネットワークに拡張し、プルーニングによる歪みがディープネットワークにどのように蓄積するかを特徴付ける。
• 参考スコア（独自算出の注目度）: 15.784279009967888
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study compute reduction in neural networks through a unified partial versus full computation view, captured by one-shot magnitude pruning in the static regime and early exit in the adaptive regime. In an asymptotic single-neuron model, we prove a concentration theorem for one-shot magnitude pruning with explicit rates. We also introduce the conditional perceptron for early exit and show that its excess generalization error decays as a power of the compute gap, with an exponent that grows to infinity as the alignment between partial and full computations tends to one. We then extend the analysis to deep networks, characterizing how pruning-induced distortions accumulate with depth and deriving a corresponding compute-accuracy tradeoff for frozen-backbone early exit under a neural network Gaussian process model. Numerical simulations corroborate the predicted scaling laws.
• Abstract（参考訳）: 本研究では、静的な状態における1ショットのプルーニングと適応的な状態における早期の出口によって得られた、統一された部分的対完全計算ビューを通して、ニューラルネットワークの計算量削減について検討する。 漸近的な単一ニューロンモデルでは、明示的な速度で1ショットのプルーニングを行うための集中定理が証明される。 また、初期出口の条件パーセプトロンを導入し、その過大な一般化誤差が計算ギャップのパワーとして減衰し、部分計算と完全計算の整合が1となるにつれて無限大へと増大する指数が1となることを示す。 次に、解析を深層ネットワークに拡張し、プルーニングによって引き起こされる歪みが深さにどのように蓄積するかを特徴付け、ニューラルネットワークガウス過程モデルの下で、凍結バックボーン早期出口に対する対応する計算精度トレードオフを導出する。 数値シミュレーションは、予測スケーリング法則を裏付ける。

関連論文リスト

• Quantifying Uncertainty In Wide Two-Layer Neural Networks: On The Law Of The Limiting Fluctuation Process [3.0171175820634826]
  ニューラルネットワーク予測における不確かさの定量化は、通常のアプリケーションでは大きな問題である。 提案手法では,PDEの分散情報を用いて不確実性を直接評価することにより,コスト削減を図る。 そこで我々は,勾配降下法により訓練された広帯域2層ニューラルネットワークの平均場限界付近のランダムなゆらぎを記述する制限過程の法則について検討した。
  論文  参考訳（メタデータ） (2026-06-04T10:25:23Z)
• Scaling Effects and Uncertainty Quantification in Neural Actor Critic Algorithms [0.0]
  本研究では, アクターモデルとアクターモデルの両方に対して, 浅いニューラルネットワークを用いたニューラルアクター批判アルゴリズムについて検討する。 ネットワーク幅やトレーニングの回数が無限大になる傾向にあるため,ネットワーク出力の収束特性を様々なスケーリング方式で比較する。
  論文  参考訳（メタデータ） (2026-01-25T19:06:49Z)
• The Geometry of Grokking: Norm Minimization on the Zero-Loss Manifold [5.076419064097734]
  暗記後の学習は、制約付き最適化のレンズを通して理解することができると論じる。 勾配降下は、零損失多様体上の重みノルムを効果的に最小化することを示す。 実験により,予測勾配を用いた学習過程のシミュレーションは,グルーキングの遅延一般化と表現学習特性の両方を再現することを確認した。
  論文  参考訳（メタデータ） (2025-11-02T18:44:42Z)
• Adaptive kernel predictors from feature-learning infinite limits of neural networks [46.50233782149623]
  我々は、リッチで特徴学習可能な無限幅のニューラルネットワークについても、カーネルマシンによって記述されていることを示す。 カーネル予測器に明示的な表現を提供し、それらを数値的に計算する。
  論文  参考訳（メタデータ） (2025-02-11T22:34:49Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Analyzing Neural Network-Based Generative Diffusion Models through Convex Optimization [45.72323731094864]
  本稿では,2層ニューラルネットワークを用いた拡散モデル解析のための理論的枠組みを提案する。 我々は,1つの凸プログラムを解くことで,スコア予測のための浅層ニューラルネットワークのトレーニングが可能であることを証明した。 本結果は, ニューラルネットワークに基づく拡散モデルが漸近的でない環境で何を学習するかを, 正確に評価するものである。
  論文  参考訳（メタデータ） (2024-02-03T00:20:25Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Error analysis for deep neural network approximations of parametric hyperbolic conservation laws [7.6146285961466]
  本稿では,ReLUニューラルネットワークを用いて近似誤差を所望の程度小さくすることができることを示す。 トレーニングエラー、トレーニングサンプル数、ニューラルネットワークサイズの観点から、一般化誤差の明示的な上限を提供する。
  論文  参考訳（メタデータ） (2022-07-15T09:21:09Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Precise characterization of the prior predictive distribution of deep ReLU networks [45.46732383818331]
  ガウス重み付き有限幅ReLUネットワークの事前予測分布を正確に推定する。 この結果は,例えば,ネットワークの重みについて,深さと幅にインフォームドされた事前の予測分散を制御するなど,事前設計に関する貴重なガイダンスを提供する。
  論文  参考訳（メタデータ） (2021-06-11T21:21:52Z)
• Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation [23.38076756988258]
  ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。 平均場近似式を用いて解析的に難解な積分を計算する。 実験的に,提案手法は最先端の手法と比較して競合的に機能する。
  論文  参考訳（メタデータ） (2020-06-13T07:32:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。