論文の概要: Spectral structural distortion reveals redundant neurons in neural networks

• arxiv url: http://arxiv.org/abs/2605.18860v2
• Date: Wed, 20 May 2026 06:09:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 14:55:44.329418
• Title: Spectral structural distortion reveals redundant neurons in neural networks
• Title（参考訳）: スペクトル構造歪みによる神経回路の冗長ニューロンの解明
• Abstract要約: 本研究は,階層的表現変換によって引き起こされるスペクトル構造歪みの弱い関与によって,神経細胞の冗長性が特徴づけられることを示す。 トレーニングされたネットワークの各隠蔽層に対して、プレアクティベーションとポストアクティベーションの隠蔽状態を記録し、ニューロンをグラフノードとしてモデル化し、入力側および出力側グラフを構築する。 次に、これらの2つの関係構造間の支配的なグラフスペクトル歪みに対する各ニューロンの寄与を測定するスペクトル構造重要度スコアを定義する。
• 参考スコア（独自算出の注目度）: 1.066048003460524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Overparameterized neural networks often contain many removable neurons, yet what makes a neuron redundant remains poorly understood. Existing pruning criteria commonly rely on local quantities such as weight magnitude, activation strength, or gradient sensitivity, but these measures provide limited insight into the structural role of a neuron in the transformation performed by a layer. Here we show that neuronal redundancy can be characterized by weak participation in the spectral structural distortion induced by layer-wise representation transformations. For each hidden layer of a trained network, we record pre-activation and post-activation hidden states, model neurons as graph nodes, and construct input-side and output-side graphs that describe neuron-level relational structure before and after the layer transformation. We then define a spectral structural importance score that measures the contribution of each neuron to the dominant graph-spectral distortion between these two relational structures. Low-participation neurons are treated as structurally redundant and removed through an iterative pruning process in which scores are recomputed after each structural change. No parameter updates are performed during intermediate pruning rounds; after the target parameter reduction is reached, a single recovery fine-tuning stage is applied to the compact model. Direct ablation analysis and experiments across conventional neural networks, encoder-only Transformers, and decoder-only language models show that this graph-spectral criterion identifies removable neurons and Transformer units while preserving task performance after compression. These results suggest that neural redundancy is not merely a consequence of small weights or weak activations, but can be understood through weak participation in the spectral distortion of layer-wise relational structure.
• Abstract（参考訳）: 過度にパラメータ化されたニューラルネットワークは、多くの除去可能なニューロンを含むことが多いが、神経細胞の冗長性はいまだに理解されていない。 既存のプルーニング基準は、一般的に重量等級、活性化強度、勾配感度などの局所的な量に依存するが、これらの測定は、層によって実行される変換におけるニューロンの構造的役割について限られた洞察を与える。 ここでは,階層的表現変換によって引き起こされるスペクトル構造歪みの弱い関与によって,神経細胞の冗長性が特徴づけられることを示す。 トレーニングされたネットワークの各隠蔽層に対して、プレアクティベーションとポストアクティベーションの隠蔽状態を記録し、グラフノードとしてニューロンをモデル化し、層変換前後のニューロンレベルの関係構造を記述する入力側および出力側グラフを構築する。 次に、これらの2つの関係構造間の支配的なグラフスペクトル歪みに対する各ニューロンの寄与を測定するスペクトル構造重要度スコアを定義する。 低参加ニューロンは、構造的に冗長として扱われ、各構造変化後にスコアが再計算される反復的プルーニングプロセスによって除去される。 中間プルーニングラウンド中にパラメータ更新が行われず、目標パラメータの低減が達成されると、コンパクトモデルに単一リカバリ微調整ステージが適用される。 従来のニューラルネットワーク、エンコーダのみのトランスフォーマー、デコーダのみの言語モデルによる直接アブレーション解析と実験により、このグラフスペクトル基準は、圧縮後のタスクパフォーマンスを保ちながら、除去可能なニューロンとトランスフォーマユニットを識別することを示している。 これらの結果は、神経冗長性は単に小さな重みや弱い活性化の結果であるだけでなく、層状リレーショナル構造のスペクトル歪みの弱い関与によっても理解可能であることを示唆している。

関連論文リスト

• Sparse Inter-Layer Dependencies of Transformer FFN Neurons [32.00544060412007]
  FFNニューロンの活性化は、前回のニューロン活性化と注意出力のスパースセットによって説明できるかどうかを検討する。 本研究では、上流ニューロンの相対的影響と、標的ニューロンの活性化に対する注意出力を推定する学習自由属性法を提案する。
  論文  参考訳（メタデータ） (2026-07-13T15:04:50Z)
• On De-Individuated Neurons: Continuous Symmetries Enable Dynamic Topologies [0.0]
  本稿では、新しい対称性を前提としたプリミティブのクラスである等方的アクティベーション関数を活用することにより、計算のための新しい手法を提案する。 タスク要求に応じて、リアルタイムの神経成長とアーキテクチャの縮小を可能にする。
  論文  参考訳（メタデータ） (2026-02-26T12:47:14Z)
• Neuronal Group Communication for Efficient Neural representation [85.36421257648294]
  本稿では, 効率的な, モジュラー, 解釈可能な表現を学習する, 大規模ニューラルシステムの構築方法に関する問題に対処する。 本稿では、ニューラルネットワークを相互作用する神経群の動的システムとして再認識する理論駆動型フレームワークである神経グループ通信(NGC)を提案する。 NGCは、重みを埋め込みのようなニューロン状態間の過渡的な相互作用として扱い、神経計算はニューロン群間の反復的なコミュニケーションを通じて展開する。
  論文  参考訳（メタデータ） (2025-10-19T14:23:35Z)
• Pixel Embedding Method for Tubular Neurite Segmentation [14.942761606240683]
  本稿では,画素レベルの埋め込みベクトルを出力し,対応する損失関数を設計するディープネットワークを提案する。 また、生のニューロン画像をSWCフォーマットのニューロン構造木に直接マッピングするエンド・ツー・エンドパイプラインも開発している。 fMOST画像データセットを用いた実験により, 古典的手法と比較して, 神経トポロジー再構成における誤差率を著しく低下させることが示された。
  論文  参考訳（メタデータ） (2025-07-31T09:11:15Z)
• Confidence Regulation Neurons in Language Models [91.90337752432075]
  本研究では,大規模言語モデルが次世代の予測において不確実性を表現・規制するメカニズムについて検討する。 エントロピーニューロンは異常に高い重量ノルムを特徴とし、最終層正規化(LayerNorm)スケールに影響を与え、ロジットを効果的にスケールダウンさせる。 ここで初めて説明するトークン周波数ニューロンは、各トークンのログをそのログ周波数に比例して増加または抑制することで、出力分布をユニグラム分布から遠ざかる。
  論文  参考訳（メタデータ） (2024-06-24T01:31:03Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Quantifying the Optimization and Generalization Advantages of Graph Neural Networks Over Multilayer Perceptrons [50.33260238739837]
  グラフネットワーク(GNN)は、グラフ構造化データから学習する際、顕著な能力を示した。 最適化と一般化の観点から、GNNと一般化を比較した分析の欠如がまだ残っている。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Graph Neural Operators for Classification of Spatial Transcriptomics Data [1.408706290287121]
  マウス脳組織サンプルにおける脳領域の予測に対する神経オペレーターの適用の有効性を検証するために,様々なグラフニューラルネットワークアプローチを取り入れた研究を提案する。 グラフニューラルネットワークのアプローチでは,F1スコアが72%近く向上し,すべてのベースラインやグラフネットワークのアプローチを上回った。
  論文  参考訳（メタデータ） (2023-02-01T18:32:06Z)
• PointNeuron: 3D Neuron Reconstruction via Geometry and Topology Learning of Point Clouds [18.738943602529805]
  本稿では3次元ニューロン再構築のための新しい枠組みを提案する。 私たちのキーとなるアイデアは、点雲の幾何学的表現力を使って、ニューロンの固有の構造情報をよりよく探索することです。
  論文  参考訳（メタデータ） (2022-10-15T14:11:56Z)
• A Step Towards Uncovering The Structure of Multistable Neural Networks [1.14219428942199]
  本稿では,マルチスタブルリカレントニューラルネットワークの構造について検討する。 活性化関数は非平滑なヘビサイドステップ関数によって単純化される。 マルチスタビリティがネットワークアーキテクチャ内でどのようにコード化されるのかを導出する。
  論文  参考訳（メタデータ） (2022-10-06T22:54:17Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• NeuRegenerate: A Framework for Visualizing Neurodegeneration [10.27276267081559]
  被験者内の神経線維形態変化の予測と可視化のための新しいエンドツーエンドフレームワークであるNeuRegenerateを紹介する。 予測予測のために,サイクル一貫性生成対向ネットワーク(cycleGAN)に基づくディープラーニングネットワークであるneuReGANeratorを提案する。 ニューレGANeratorの再建精度は神経構造予測において94%であった。
  論文  参考訳（メタデータ） (2022-02-02T16:21:14Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• A Local Convergence Theory for Mildly Over-Parameterized Two-Layer Neural Network [39.341620528427306]
  軽度のパラメータ化ニューラルネットワークに対する局所収束理論を考案する。 損失がすでに閾値よりも低い限り、すべての学生ニューロンは教師ニューロンの1つに収束する。 我々の結果は、少なくとも教師のニューロンの数と同じくらいの大きさである限り、任意の数の学生ニューロンに当てはまる。
  論文  参考訳（メタデータ） (2021-02-04T04:41:04Z)
• Single Neuron Segmentation using Graph-based Global Reasoning with Auxiliary Skeleton Loss from 3D Optical Microscope Images [30.539098538610013]
  局所的出現とグローバルジオメトリ特性を共同で検討し,エンドツーエンドのセグメンテーションネットワークを提案する。 The evaluation results on the Janelia dataset from the BigNeuron project showed that our proposed method is over the other algorithm in performance。
  論文  参考訳（メタデータ） (2021-01-22T01:27:14Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Graph Structure of Neural Networks [104.33754950606298]
  ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。 リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。 トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
  論文  参考訳（メタデータ） (2020-07-13T17:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。