論文の概要: Are the High-weight Neurons the Important Ones in Image Classification Neural Networks?

• arxiv url: http://arxiv.org/abs/2607.25529v1
• Date: Tue, 28 Jul 2026 10:14:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.794202
• Title: Are the High-weight Neurons the Important Ones in Image Classification Neural Networks?
• Title（参考訳）: 画像分類ニューラルネットワークにおけるハイウェイトニューロンの重要性
• Abstract要約: 摂動試験では、特定の操作で上位10%の高次ニューロンが45-80%の精度低下を引き起こす。 低体重間隔は摂動時に10-17%の劣化を示し、これは中距離高体重ニューロンに匹敵する。 これは重みの等価性に挑戦し、洗練されたニューロンの役割の洞察を提供する。
• 参考スコア（独自算出の注目度）: 36.60758100027429
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As neural network models for image classification advance, neurons play critical roles in pruning, backdoor defense, and interpretability. Yet existing work lacks clarity on the weight-importance relationship. We address this with a neuron importance assessment method using three experiments: quantifying overlap between high-weight and accuracy-impacting neurons, analyzing high-weight neuron perturbation effects, and testing post-retraining accuracy after high-weight neuron ablation. Experiments on CIFAR-10 and Mini-ImageNet reveal key patterns. Overlap analysis shows top 10\% high-weight neurons overlap with important ones by only about 25\% at maximum, dropping further in subsequent intervals. Perturbation tests find top 10\% high-weight neurons cause 45-80\% accuracy degradation under certain operations compared to 3-7\% for random perturbations, but a third of them show minimal impact. Ablation-retraining results show removing top 10\% high-weight neurons leaves accuracy 10-20\% below baseline with no recovery, while ablating top 0.1\% allows near-full recovery. Notably, some low-weight intervals show 10-17\% degradation when perturbed, comparable to mid-range high-weight neurons. These results confirm not all high-weight neurons are important: their importance is nonlinear. Low-weight neurons also contribute significantly. This challenges weight-importance equivalence, offering refined neuron role insights. It supports applications like encryption prioritizing critical high-weight neurons and pruning removing non-critical ones, advancing neural network analysis.
• Abstract（参考訳）: 画像分類のためのニューラルネットワークモデルが進歩するにつれて、ニューロンはプルーニング、バックドアディフェンス、解釈可能性において重要な役割を果たす。 しかし、既存の仕事は重み-重み関係に明快さを欠いている。 本研究は,高次ニューロンと高次ニューロンの重なり合いの定量化,高次ニューロン摂動効果の解析,高次ニューロンアブレーション後の後抑制精度の検証という3つの実験によるニューロン重要度評価手法を用いて対処する。 CIFAR-10とMini-ImageNetの実験では、重要なパターンが明らかになった。 オーバーラップ分析では、上位10\%のニューロンが重要なニューロンと最大25\%しか重なり合っており、その後の間隔でさらに減少している。 摂動試験では、高体重ニューロンのトップ10\%は、ランダム摂動の3～7\%に比べて45～80\%の精度低下を引き起こすが、そのうちの3分の1は最小の影響を示す。 アブレーション抑制試験の結果、上位10\%の高次ニューロンがベースライン下10-20\%の精度を回復することなく除去し、上位0.1\%のアブラングによりほぼ回復できることがわかった。 特筆すべきは、いくつかの低体重間隔は摂動時に10-17\%の劣化を示し、これは中距離高体重ニューロンに匹敵する。 これらの結果は、すべてのハイウェイトニューロンが重要であるわけではないことを証明している。 低体重ニューロンも大きく寄与する。 これは重みの等価性に挑戦し、洗練されたニューロンの役割の洞察を提供する。 クリティカルなハイウェイトニューロンの優先度付けや、非クリティカルなニューロンの除去、ニューラルネットワーク分析の進歩といったアプリケーションをサポートする。

関連論文リスト

• Synaptic Stripping: How Pruning Can Bring Dead Neurons Back To Life [0.0]
  我々は、致命的な神経細胞問題に対処する手段として、シナプスストリッピングを導入する。 トレーニング中に問題のある接続を自動的に取り除くことで、死んだ神経細胞を再生することができる。 我々は,ネットワーク幅と深さの関数として,これらのダイナミクスを研究するために,いくつかのアブレーション研究を行っている。
  論文  参考訳（メタデータ） (2023-02-11T23:55:50Z)
• Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language Understanding [82.46024259137823]
  幅広いタスクに対するクロスモデル比較損失を提案する。 3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
  論文  参考訳（メタデータ） (2023-01-10T03:04:27Z)
• Neuronal Correlation: a Central Concept in Neural Network [22.764342635264452]
  神経相関は, 重み行列を用いて効率的に推定できることが示唆された。 神経相関は高次元隠れ空間におけるエントロピー推定の精度に大きく影響している。
  論文  参考訳（メタデータ） (2022-01-22T15:01:50Z)
• Improving Spiking Neural Network Accuracy Using Time-based Neurons [0.24366811507669117]
  アナログニューロンを用いた低消費電力スパイクニューラルネットワークに基づくニューロモルフィックコンピューティングシステムの研究が注目されている。 技術のスケールダウンに伴い、アナログニューロンはスケールが難しく、電圧ヘッドルーム/ダイナミックレンジの減少と回路の非線形性に悩まされる。 本稿では,28nmプロセスで設計した既存の電流ミラー型電圧ドメインニューロンの非線形挙動をモデル化し,ニューロンの非線形性の影響によりSNN推定精度を著しく劣化させることができることを示す。 本稿では,時間領域のスパイクを処理し,線形性を大幅に向上させる新しいニューロンを提案する。
  論文  参考訳（メタデータ） (2022-01-05T00:24:45Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• SeReNe: Sensitivity based Regularization of Neurons for Structured Sparsity in Neural Networks [13.60023740064471]
  SeReNeはスパーストポロジを構造で学習する方法である。 ニューロンの感度をネットワーク出力の変動として定義する。 コスト関数のニューロン感度を正規化用語に含めることで、低感度でニューロンをプーンすることができる。
  論文  参考訳（メタデータ） (2021-02-07T10:53:30Z)
• A Local Convergence Theory for Mildly Over-Parameterized Two-Layer Neural Network [39.341620528427306]
  軽度のパラメータ化ニューラルネットワークに対する局所収束理論を考案する。 損失がすでに閾値よりも低い限り、すべての学生ニューロンは教師ニューロンの1つに収束する。 我々の結果は、少なくとも教師のニューロンの数と同じくらいの大きさである限り、任意の数の学生ニューロンに当てはまる。
  論文  参考訳（メタデータ） (2021-02-04T04:41:04Z)
• Neuron-based explanations of neural networks sacrifice completeness and interpretability [67.53271920386851]
  我々は、ImageNetで事前訓練されたAlexNetに対して、ニューロンに基づく説明法が完全性と解釈可能性の両方を犠牲にすることを示す。 我々は、最も重要な主成分が、最も重要なニューロンよりも完全で解釈可能な説明を提供することを示す。 この結果から,AlexNet などのネットワークに対する説明手法は,ニューロンを埋め込みの基盤として使用するべきではないことが示唆された。
  論文  参考訳（メタデータ） (2020-11-05T21:26:03Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。