論文の概要: Spectral structural distortion reveals redundant neurons in neural networks

• arxiv url: http://arxiv.org/abs/2605.18860v2
• Date: Wed, 20 May 2026 06:09:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 14:55:44.329418
• Title: Spectral structural distortion reveals redundant neurons in neural networks
• Title（参考訳）: スペクトル構造歪みによる神経回路の冗長ニューロンの解明
• Authors: Yongyu Wang,
• Abstract要約: 本研究は,階層的表現変換によって引き起こされるスペクトル構造歪みの弱い関与によって,神経細胞の冗長性が特徴づけられることを示す。 トレーニングされたネットワークの各隠蔽層に対して、プレアクティベーションとポストアクティベーションの隠蔽状態を記録し、ニューロンをグラフノードとしてモデル化し、入力側および出力側グラフを構築する。 次に、これらの2つの関係構造間の支配的なグラフスペクトル歪みに対する各ニューロンの寄与を測定するスペクトル構造重要度スコアを定義する。
• 参考スコア（独自算出の注目度）: 1.066048003460524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Overparameterized neural networks often contain many removable neurons, yet what makes a neuron redundant remains poorly understood. Existing pruning criteria commonly rely on local quantities such as weight magnitude, activation strength, or gradient sensitivity, but these measures provide limited insight into the structural role of a neuron in the transformation performed by a layer. Here we show that neuronal redundancy can be characterized by weak participation in the spectral structural distortion induced by layer-wise representation transformations. For each hidden layer of a trained network, we record pre-activation and post-activation hidden states, model neurons as graph nodes, and construct input-side and output-side graphs that describe neuron-level relational structure before and after the layer transformation. We then define a spectral structural importance score that measures the contribution of each neuron to the dominant graph-spectral distortion between these two relational structures. Low-participation neurons are treated as structurally redundant and removed through an iterative pruning process in which scores are recomputed after each structural change. No parameter updates are performed during intermediate pruning rounds; after the target parameter reduction is reached, a single recovery fine-tuning stage is applied to the compact model. Direct ablation analysis and experiments across conventional neural networks, encoder-only Transformers, and decoder-only language models show that this graph-spectral criterion identifies removable neurons and Transformer units while preserving task performance after compression. These results suggest that neural redundancy is not merely a consequence of small weights or weak activations, but can be understood through weak participation in the spectral distortion of layer-wise relational structure.
• Abstract（参考訳）: 過度にパラメータ化されたニューラルネットワークは、多くの除去可能なニューロンを含むことが多いが、神経細胞の冗長性はいまだに理解されていない。 既存のプルーニング基準は、一般的に重量等級、活性化強度、勾配感度などの局所的な量に依存するが、これらの測定は、層によって実行される変換におけるニューロンの構造的役割について限られた洞察を与える。 ここでは,階層的表現変換によって引き起こされるスペクトル構造歪みの弱い関与によって,神経細胞の冗長性が特徴づけられることを示す。 トレーニングされたネットワークの各隠蔽層に対して、プレアクティベーションとポストアクティベーションの隠蔽状態を記録し、グラフノードとしてニューロンをモデル化し、層変換前後のニューロンレベルの関係構造を記述する入力側および出力側グラフを構築する。 次に、これらの2つの関係構造間の支配的なグラフスペクトル歪みに対する各ニューロンの寄与を測定するスペクトル構造重要度スコアを定義する。 低参加ニューロンは、構造的に冗長として扱われ、各構造変化後にスコアが再計算される反復的プルーニングプロセスによって除去される。 中間プルーニングラウンド中にパラメータ更新が行われず、目標パラメータの低減が達成されると、コンパクトモデルに単一リカバリ微調整ステージが適用される。 従来のニューラルネットワーク、エンコーダのみのトランスフォーマー、デコーダのみの言語モデルによる直接アブレーション解析と実験により、このグラフスペクトル基準は、圧縮後のタスクパフォーマンスを保ちながら、除去可能なニューロンとトランスフォーマユニットを識別することを示している。 これらの結果は、神経冗長性は単に小さな重みや弱い活性化の結果であるだけでなく、層状リレーショナル構造のスペクトル歪みの弱い関与によっても理解可能であることを示唆している。

関連論文リスト

• Pixel Embedding Method for Tubular Neurite Segmentation [14.942761606240683]
  本稿では,画素レベルの埋め込みベクトルを出力し,対応する損失関数を設計するディープネットワークを提案する。 また、生のニューロン画像をSWCフォーマットのニューロン構造木に直接マッピングするエンド・ツー・エンドパイプラインも開発している。 fMOST画像データセットを用いた実験により, 古典的手法と比較して, 神経トポロジー再構成における誤差率を著しく低下させることが示された。
  論文  参考訳（メタデータ） (2025-07-31T09:11:15Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Quantifying the Optimization and Generalization Advantages of Graph Neural Networks Over Multilayer Perceptrons [50.33260238739837]
  グラフネットワーク(GNN)は、グラフ構造化データから学習する際、顕著な能力を示した。 最適化と一般化の観点から、GNNと一般化を比較した分析の欠如がまだ残っている。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Graph Neural Operators for Classification of Spatial Transcriptomics Data [1.408706290287121]
  マウス脳組織サンプルにおける脳領域の予測に対する神経オペレーターの適用の有効性を検証するために,様々なグラフニューラルネットワークアプローチを取り入れた研究を提案する。 グラフニューラルネットワークのアプローチでは,F1スコアが72%近く向上し,すべてのベースラインやグラフネットワークのアプローチを上回った。
  論文  参考訳（メタデータ） (2023-02-01T18:32:06Z)
• PointNeuron: 3D Neuron Reconstruction via Geometry and Topology Learning of Point Clouds [18.738943602529805]
  本稿では3次元ニューロン再構築のための新しい枠組みを提案する。 私たちのキーとなるアイデアは、点雲の幾何学的表現力を使って、ニューロンの固有の構造情報をよりよく探索することです。
  論文  参考訳（メタデータ） (2022-10-15T14:11:56Z)
• A Local Convergence Theory for Mildly Over-Parameterized Two-Layer Neural Network [39.341620528427306]
  軽度のパラメータ化ニューラルネットワークに対する局所収束理論を考案する。 損失がすでに閾値よりも低い限り、すべての学生ニューロンは教師ニューロンの1つに収束する。 我々の結果は、少なくとも教師のニューロンの数と同じくらいの大きさである限り、任意の数の学生ニューロンに当てはまる。
  論文  参考訳（メタデータ） (2021-02-04T04:41:04Z)
• Single Neuron Segmentation using Graph-based Global Reasoning with Auxiliary Skeleton Loss from 3D Optical Microscope Images [30.539098538610013]
  局所的出現とグローバルジオメトリ特性を共同で検討し,エンドツーエンドのセグメンテーションネットワークを提案する。 The evaluation results on the Janelia dataset from the BigNeuron project showed that our proposed method is over the other algorithm in performance。
  論文  参考訳（メタデータ） (2021-01-22T01:27:14Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Graph Structure of Neural Networks [104.33754950606298]
  ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。 リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。 トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
  論文  参考訳（メタデータ） (2020-07-13T17:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。