論文の概要: Width-Independent Compressibility of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2608.21752v1
• Date: Sat, 22 Aug 2026 03:25:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 18:24:36.92038
• Title: Width-Independent Compressibility of Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークの幅非依存圧縮性
• Abstract要約: 解析的アクティベーションを伴う深層パーセプトロンに対する一様圧縮性定理を証明した。 より広範に固定された教師ネットワークには、元のものとほぼ同じ機能を示す狭い(サムの深さ)ネットワークが存在する。
• 参考スコア（独自算出の注目度）: 20.52348175773197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It has long been known that well-trained neural networks can be compressed very strongly without affecting their performance, an important phenomenon that remains poorly understood. We prove a uniform compressibility theorem for deep multilayer perceptrons with analytic activations. For a deep, wide fixed teacher network, there exists a narrow (same depth) network that approximately represents the same function as the original. The reachable compressed width is strikingly independent of the original width, but is $O((\log(1/\varepsilon))^{d_{in}})$, where $\varepsilon$ is the error budget and $d_{in}$ is the effective input dimension. Our construction involves a novel derivative-matching technique which is aware of the low-dimensional input, and a layer-wise reweighting that preserves the input-output mapping.
• Abstract（参考訳）: 十分に訓練されたニューラルネットワークは、その性能に影響を与えることなく、非常に強く圧縮できることは長年知られてきたが、これは理解されていない重要な現象である。 解析的アクティベーションを伴う深層パーセプトロンに対する一様圧縮性定理を証明した。 より広範に固定された教師ネットワークには、元のものとほぼ同じ機能を示す狭い(サムの深さ)ネットワークが存在する。 到達可能な圧縮幅は元の幅とは著しく独立であるが、$O((\log(1/\varepsilon)^{d_{in}})$であり、$\varepsilon$はエラー予算、$d_{in}$は効果的な入力寸法である。 提案手法は,低次元入力を意識した新規な微分マッチング手法と,入力-出力マッピングを保存するレイヤワイド再重み付けを含む。

関連論文リスト

• A Depth Hierarchy for Computing the Maximum in ReLU Networks via Extremal Graph Theory [3.0120086446979877]
  本稿では,ReLUニューラルネットワークを用いた実入力に対して$d$以上の最大関数の正確な計算問題を考察する。 十分に狭いネットワークでは、最大値の非線形性を捕捉できないことを示す。 このことは、その単純性にもかかわらず、最大函数は固有の複雑さを持っていることを示唆している。
  論文  参考訳（メタデータ） (2026-01-04T07:40:42Z)
• On the expressivity of sparse maxout networks [0.6445605125467574]
  我々は、各ニューロンが前の層から一定数の入力を受け取り、最大値の活性化を利用するスパース最大値ネットワークの表現性について検討する。 このようなネットワークによって計算可能な関数と仮想ポリトープのクラスとの双対性を確立し、それらの幾何学をネットワーク表現性の疑問にリンクする。
  論文  参考訳（メタデータ） (2025-10-15T20:18:18Z)
• Hamiltonian Mechanics of Feature Learning: Bottleneck Structure in Leaky ResNets [58.460298576330835]
  ResNets と Fully-Connected Nets を相互接続する Leaky ResNets について「有効深度」に依存して検討する。 この直感を利用して、以前の研究で見られるように、ボトルネック構造の出現を説明する。
  論文  参考訳（メタデータ） (2024-05-27T18:15:05Z)
• "Lossless" Compression of Deep Neural Networks: A High-dimensional Neural Tangent Kernel Approach [49.744093838327615]
  広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。 提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
  論文  参考訳（メタデータ） (2024-03-01T03:46:28Z)
• Sample Complexity of Neural Policy Mirror Descent for Policy Optimization on Low-Dimensional Manifolds [75.51968172401394]
  深部畳み込みニューラルネットワーク(CNN)を用いたNPMDアルゴリズムのサンプル複雑性について検討した。 NPMDの各イテレーションでは、値関数とポリシーの両方をCNNによってうまく近似することができる。 NPMDは状態空間の低次元構造を利用して次元の呪いから逃れることができることを示す。
  論文  参考訳（メタデータ） (2023-09-25T07:31:22Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Understanding Deep Neural Function Approximation in Reinforcement Learning via $\epsilon$-Greedy Exploration [53.90873926758026]
  本稿では、強化学習(RL)における深部神経機能近似の理論的研究について述べる。 我々は、Besov(およびBarron)関数空間によって与えられるディープ(および2層)ニューラルネットワークによる$epsilon$-greedy探索により、バリューベースのアルゴリズムに焦点を当てる。 我々の解析は、ある平均測度$mu$の上の$L2(mathrmdmu)$-integrable空間における時間差誤差を再構成し、非イド設定の下で一般化問題に変換する。
  論文  参考訳（メタデータ） (2022-09-15T15:42:47Z)
• Stable Recovery of Entangled Weights: Towards Robust Identification of Deep Neural Networks from Minimal Samples [0.0]
  連続した層の重みを、活性化関数とそのシフトに応じて適切な対角行列と反転行列と絡み合ういわゆる絡み合い重みを紹介します。 エンタングル重みは効率的でロバストなアルゴリズムによって完全かつ安定に近似することが証明される。 本研究は,入力出力情報をネットワークパラメータに一意かつ安定的に関連付けることができ,説明可能性の一形態を提供する。
  論文  参考訳（メタデータ） (2021-01-18T16:31:19Z)
• A simple geometric proof for the benefit of depth in ReLU networks [57.815699322370826]
  本論文では, 多層フィードフォワードネットワークにおける深度の利点を, 整流活性化(深度分離)により証明する。 我々は、線形深さ($m$)と小さな定数幅($leq 4$)を持つ具体的なニューラルネットワークを示し、問題をゼロエラーで分類する。
  論文  参考訳（メタデータ） (2021-01-18T15:40:27Z)
• Neural Networks with Small Weights and Depth-Separation Barriers [40.66211670342284]
  一定の深さでは、既存の結果が2ドルと3ドルに制限され、より深い深さで結果を達成することが重要な問題となっている。 我々はフィードフォワードのReLUネットワークに注力し、その効果を4ドル以上の金額で証明する上での基本的な障壁を証明している。
  論文  参考訳（メタデータ） (2020-05-31T21:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。