論文の概要: Fundamental Limits of Neural Network Sparsification: Evidence from Catastrophic Interpretability Collapse

• arxiv url: http://arxiv.org/abs/2603.18056v1
• Date: Wed, 18 Mar 2026 00:16:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:05.730146
• Title: Fundamental Limits of Neural Network Sparsification: Evidence from Catastrophic Interpretability Collapse
• Title（参考訳）: ニューラルネットワークスペーサー化の基礎的限界:破滅的解釈可能性崩壊の証拠
• Authors: Dip Roy, Rajiv Misra, Sanjay Kumar Singh,
• Abstract要約: 本研究では, 可変オートエンコーダ-スパースオートエンコーダアーキテクチャにおける重大容量制約下での機能生存について検討する。 本稿では,活動ニューロンを500から50以上の訓練エポックに段階的に減少させる適応的空間性スケジューリングフレームワークを提案する。 グローバルな表現の質は安定しているが、局所的な特徴解釈可能性は体系的に崩壊する。
• 参考スコア（独自算出の注目度）: 7.167095059974211
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Extreme neural network sparsification (90% activation reduction) presents a critical challenge for mechanistic interpretability: understanding whether interpretable features survive aggressive compression. This work investigates feature survival under severe capacity constraints in hybrid Variational Autoencoder--Sparse Autoencoder (VAE-SAE) architectures. We introduce an adaptive sparsity scheduling framework that progressively reduces active neurons from 500 to 50 over 50 training epochs, and provide empirical evidence for fundamental limits of the sparsification-interpretability relationship. Testing across two benchmark datasets -- dSprites and Shapes3D -- with both Top-k and L1 sparsification methods, our key finding reveals a pervasive paradox: while global representation quality (measured by Mutual Information Gap) remains stable, local feature interpretability collapses systematically. Under Top-k sparsification, dead neuron rates reach $34.4\pm0.9\%$ on dSprites and $62.7\pm1.3\%$ on Shapes3D at k=50. L1 regularization -- a fundamentally different "soft constraint" paradigm -- produces equal or worse collapse: $41.7\pm4.4\%$ on dSprites and $90.6\pm0.5\%$ on Shapes3D. Extended training for 100 additional epochs fails to recover dead neurons, and the collapse pattern is robust across all tested threshold definitions. Critically, the collapse scales with dataset complexity: Shapes3D (RGB, 6 factors) shows $1.8\times$ more dead neurons than dSprites (grayscale, 5 factors) under Top-k and $2.2\times$ under L1. These findings establish that interpretability collapse under sparsification is intrinsic to the compression process rather than an artifact of any particular algorithm, training duration, or threshold choice.
• Abstract（参考訳）: 極端なニューラルネットワークスペーシフィケーション(90%のアクティベーションリダクションリダクション)は、機械論的解釈可能性において重要な課題である:解釈可能な特徴が攻撃的な圧縮に耐えられるかどうかを理解する。 本研究では,ハイブリッド変分オートエンコーダ-スパースオートエンコーダ(VAE-SAE)アーキテクチャにおける重大容量制約下での機能生存について検討する。 本稿では,活動ニューロンを500から50から50の訓練エポックに段階的に減少させる適応的スパーシリティスケジューリングフレームワークを導入し,スペーシフィケーション・解釈可能性関係の基本的な限界を示す実証的証拠を提供する。 2つのベンチマークデータセット(dSpritesとShapes3D)をTop-kとL1のスパーシフィケーション手法でテストしたところ、我々の重要な発見は、広範にわたるパラドックスであることが判明した。 トップkのスカラー化の下では、死ニューロンレートはdSpritesで$34.4\pm0.9\%、Shapes3Dで$62.7\pm1.3\%となる。 基本的に異なる「ソフト制約」パラダイムであるL1正規化は、dSpritesでは411.7\pm4.4\%、Shapes3Dでは90.6\pm0.5\%である。 100個の追加のエポックに対する拡張トレーニングは、死んだ神経細胞の回復に失敗し、その崩壊パターンはテストされたすべてのしきい値定義で堅牢である。 図形3D(RGB、6因子)は、dSprites(グレースケール、5因子)より1.8\times$、Top-k以下は2.2\times$、L1以下は2.2\times$である。 これらの結果は,特定のアルゴリズム,トレーニング期間,しきい値選択のアーティファクトではなく,スペーシフィケーション下での解釈可能性の崩壊が圧縮プロセスに固有のものであることを証明している。

関連論文リスト

• ChronoSpike: An Adaptive Spiking Graph Neural Network for Dynamic Graphs [10.05203937088835]
  スパイキングニューラルネットワークは、イベント駆動の効率を提供するが、シーケンシャルな伝播、バイナリ情報損失、グローバルなコンテキストを欠く局所的な集約によって制限される。 適応的なスパイクグラフニューラルネットワークであるChronoSpikeを提案する。このニューラルネットワークは、学習可能なLIFニューロンを膜間ダイナミクスと統合し、連続的な特徴に対する多頭部の空間的アグリゲーションと、トランスフォーマーの時間エンコーダである。 大規模な3つのベンチマークでは、ChronoSpikeは12の最先端のベースラインを$2.0%$マクロF1と$2.4%$マイクロF1で上回り、また、反復メソッドよりも3-10倍速いトレーニングを達成している。
  論文  参考訳（メタデータ） (2026-02-01T09:50:21Z)
• Hierarchical Federated Graph Attention Networks for Scalable and Resilient UAV Collision Avoidance [0.5505634045241287]
  衝突回避を実践するためにバランスをとる必要がある最も重要な指標は、リアルタイムのパフォーマンス、敵のレジリエンス、プライバシー保護である。 我々は適応型微分プライバシー機構を提案し,実時間脅威の評価に基づいて雑音レベル$(in [0.1, 1.0])$を動的に低減する。 このアーキテクチャは500UAVのスケーラブルなシナリオを提供し、衝突速度は2.0%$、ビザンティンの耐障害性は$f n/3$である。
  論文  参考訳（メタデータ） (2025-11-05T12:01:00Z)
• Beyond Softmax: A Natural Parameterization for Categorical Random Variables [61.709831225296305]
  階層的なバイナリ分割のシーケンスで構成される関数である$textitcatnat$関数を紹介します。 実験により,提案した関数は学習効率を向上し,一貫した試験性能を特徴とするモデルが得られることを示した。
  論文  参考訳（メタデータ） (2025-09-29T12:55:50Z)
• SoftSignSGD(S3): An Enhanced Optimizer for Practical DNN Training and Loss Spikes Minimization Beyond Adam [28.46753383125989]
  Adam氏は、ディープニューラルネットワークのトレーニングに成功しているが、その成功と限界のメカニズムは未解明のままである。 本研究では,Adamの有効性は,安定な変動変動におけるSignSGDとの類似性に大きく起因していることを示す。 我々は,Nesterovの加速勾配(NAG)モジュールをS3に組み込んだ$emphThirdを提案する。
  論文  参考訳（メタデータ） (2025-07-09T00:47:37Z)
• Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
  本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。 SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。 このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
  論文  参考訳（メタデータ） (2025-03-12T17:33:13Z)
• Towards understanding neural collapse in supervised contrastive learning with the information bottleneck method [26.874007846077884]
  ニューラル崩壊(Neural collapse)とは、パフォーマンスプレートを超えてトレーニングされたディープニューラルネットワークの最終層におけるアクティベーションの幾何学である。 分類問題の最適IB解に近づくと、神経崩壊は特に良い一般化をもたらすことを実証する。
  論文  参考訳（メタデータ） (2023-05-19T18:41:17Z)
• Improved techniques for deterministic l2 robustness [63.34032156196848]
  畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。 我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
  論文  参考訳（メタデータ） (2022-11-15T19:10:12Z)
• Predicting the Stability of Hierarchical Triple Systems with Convolutional Neural Networks [68.8204255655161]
  本稿では,階層型三重項の安定性を予測する畳み込みニューラルネットワークモデルを提案する。 すべてのトレーニングされたモデルは公開されており、純粋な$N$-bodyメソッドよりも200ドルの速さで階層的な3重システムの安定性を予測することができる。
  論文  参考訳（メタデータ） (2022-06-24T17:58:13Z)
• Scalable Lipschitz Residual Networks with Convex Potential Flows [120.27516256281359]
  残差ネットワーク勾配流における凸ポテンシャルを用いることで,1ドルのLipschitz変換が組み込まれていることを示す。 CIFAR-10の包括的な実験は、アーキテクチャのスケーラビリティと、証明可能な防御に$ell$のアプローチの利点を実証している。
  論文  参考訳（メタデータ） (2021-10-25T07:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。