論文の概要: Layerwise Decoupling for Stable Structured Sparsification of Fully Connected Layers

• arxiv url: http://arxiv.org/abs/2609.21126v1
• Date: Thu, 17 Sep 2026 22:24:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.790135
• Title: Layerwise Decoupling for Stable Structured Sparsification of Fully Connected Layers
• Title（参考訳）: 完全連結層における安定構造スカラー化のための層状デカップリング
• Abstract要約: 完全に接続されたニューラルネットワークを構造的にスパース化するための分離層ワイズ手法を提案する。 すべての層を同時にペナルティ化するのではなく、トレーニング済みニューラルネットワークの浅い2層構造を抽出する。 拘束的疎結合目的が内重と外重の特定の関節ペナルティと最適に等しいことを証明した。
• 参考スコア（独自算出の注目度）: 2.4469484645516837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a decoupled, layerwise method for structurally sparsifying the fully connected layers of pretrained neural networks. Rather than penalizing all layers jointly, our approach extracts shallow two-layer subnetworks, normalizes the inner weights, and applies a structured group penalty to the outer weight matrix of each block, processing layers sequentially to prune neurons and reduce the width of each layer. We prove that the constrained decoupled objective is equivalent at optimality to a specific joint penalty on the inner and outer weights, for any positively homogeneous activation, and thus admits a clean projected and proximal formulation. Our central finding is that this decoupled reformulation is more robust than coupled methods. In numerical experiments it provides a wider usable range of the regularization strength and a lower rate of catastrophic over-pruning than the tested joint baseline while maintaining comparable accuracy. We establish these properties in controlled classification and sparse-recovery studies, and examine their scope in a high-dimensional PINN stress test and in the feed-forward layers of OPT-1.3B.
• Abstract（参考訳）: 本稿では,事前学習したニューラルネットワークの完全結合層を構造的に分散させる分離層ワイズ手法を提案する。 提案手法は,すべての層を共同でペナルティ化するのではなく,浅い2層サブネットを抽出し,内部重みを正規化し,各ブロックの外重み行列に構造群ペナルティを適用し,順次ニューロンに処理し,各層の幅を小さくする。 我々は、制約された疎結合目的が、任意の正の均質な活性化に対して、内重と外重の特定の関節ペナルティと最適に等価であることを証明する。 私たちの中心的な発見は、この分離された改革は結合された方法よりも堅牢であるということです。 数値実験では、正則化強度のより広い範囲と、同等の精度を維持しながら試験された関節基線よりも破滅的なオーバープルーニングの低い速度を提供する。 我々はこれらの特性を制御された分類とスパース回収研究において確立し、高次元PINNストレステストおよびOPT-1.3Bのフィードフォワード層におけるそれらのスコープについて検討する。

関連論文リスト

• Scalable Kronecker-Fisher Approximation: Efficient Hessian Analysis for Billion-Parameter Language Models Compression [1.2343981093497332]
  我々は、フィッシャー行列全体を格納することなく、層間相互作用をキャプチャするスケーラブルなクロネッカー近似を提案する。 我々のフレームワークは、大規模モデルにおける脆弱なコンポーネントを識別するための実用的で理論的に基盤化されたツールを提供する。
  論文  参考訳（メタデータ） (2026-09-02T11:17:52Z)
• Beyond Layer Importance in Layer-wise Sparsity: An Inter-Layer Perturbation-Absorption Perspective [22.968807193719044]
  大規模言語モデルにおけるレイヤワイド冗長性は、効率的な圧縮のための標準的なプルーニングアプローチとして、レイヤ間の非一様空間割り当てを確立している。 我々はこの特性を制御摂動実験により特徴づける。 パープレキシティを7.13%削減し,0ショット精度を70%の間隔で複数のモデルファミリで1.02%向上させることにより,アウトリーとAlphaPruningを改善する吸収認識補正を提案する。
  論文  参考訳（メタデータ） (2026-06-13T07:16:16Z)
• Posterior Contraction Rates for Sparse Kolmogorov-Arnold Networks in Anisotropic Besov Spaces [4.687937508271486]
  スパイク・アンド・スラブ型スペーサーを有するスパルスベイズカンが, ほぼ最小の後方収縮を達成できることを示す。 特に収縮速度は、下層の関数の内在的な異方的滑らかさに依存する。
  論文  参考訳（メタデータ） (2026-05-12T07:14:08Z)
• Beyond Outliers: A Data-Free Layer-wise Mixed-Precision Quantization Approach Driven by Numerical and Structural Dual-Sensitivity [42.048576085381065]
  LMPQ(Layer-wise mixed-precision Quantization)は、極端な低ビット設定下での効率的な圧縮を可能にする。 数値的および構造的二重感性によって駆動される新しいキャリブレーションフリーLMPQフレームワークNSDSを提案する。
  論文  参考訳（メタデータ） (2026-03-18T04:30:54Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• Structural Extensions of Basis Pursuit: Guarantees on Adversarial Robustness [0.0]
  BP の安定性は以下の一般化に成り立つことを証明している。 それらの群の$ell$ノルムに基づく分類を導入し、それが正確であり、かなりのスピードアップをもたらすことを数値的に示す。
  論文  参考訳（メタデータ） (2022-05-05T09:12:07Z)
• The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
  本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。 隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。 スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
  論文  参考訳（メタデータ） (2022-02-13T07:12:02Z)
• Learning distinct features helps, provably [98.78384185493624]
  最小二乗損失で訓練された2層ニューラルネットワークによって学習された特徴の多様性について検討する。 隠蔽層の特徴間の平均的な$L$-distanceで多様性を測定する。
  論文  参考訳（メタデータ） (2021-06-10T19:14:45Z)
• Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
  我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。 正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。 ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
  論文  参考訳（メタデータ） (2020-02-22T21:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。