論文の概要: Detecting Neural Network Failures through Spectral Analysis of Internal Activations

• arxiv url: http://arxiv.org/abs/2607.20590v1
• Date: Wed, 22 Jul 2026 15:02:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.178284
• Title: Detecting Neural Network Failures through Spectral Analysis of Internal Activations
• Title（参考訳）: 内部活動のスペクトル解析によるニューラルネットワーク故障の検出
• Abstract要約: ニューラルネットワークの誤分類は、出力層で見えない内部のアクティベーションに特徴的なスペクトル不安定性を示す。 本研究は,ネットワーク信頼性のための有望な方向として,内部アクティベーションのスペクトル解析を確立する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural network misclassifications exhibit characteristic spectral instability in internal activations that is invisible at the output layer. This phenomenon is identified and formalized as Spectral Drift -- the frequency-domain distance between consecutive layer activations -- with empirical validation showing that failures exhibit significantly higher drift than correct predictions (1.9% increase, p<0.001). This spectral signature emerges during internal processing but becomes masked in final outputs, explaining why confidence-based detection methods struggle. This work introduces Self-Detecting Neural Networks (SDNN), a framework that monitors spectral dynamics across network depth using Short-Time Fourier Transform, wavelet decomposition, and statistical moments to capture multi-scale spectral features. A lightweight detector network (5% parameter overhead) learns to identify failure-indicative patterns via curriculum learning on progressively challenging distributions: natural misclassifications, distribution shifts, and adversarial perturbations. Experiments on CIFAR-10 demonstrate that SDNN achieves 79.0 +/- 25.3% AUROC across three seeds, substantially outperforming confidence-based baselines including MaxSoftmax (50.5%) and Energy Score (52.9%) by approximately 25-30 percentage points. Ablation studies reveal that wavelet decomposition and statistical features make consistent contributions, while STFT's role remains unclear. This work establishes spectral analysis of internal activations as a promising direction for neural network reliability, revealing diagnostic information inaccessible to output-based approaches.
• Abstract（参考訳）: ニューラルネットワークの誤分類は、出力層で見えない内部のアクティベーションに特徴的なスペクトル不安定性を示す。 この現象は、連続層アクティベーション間の周波数領域距離であるスペクトルドリフト(Spectral Drift)として同定され、実証的な検証により、故障は正しい予測よりもはるかに高いドリフトを示す(1.9%の増加、p<0.001)。 このスペクトルシグネチャは内部処理中に出現するが、最終的な出力で隠蔽され、なぜ信頼に基づく検出法が苦しむのかを説明する。 これは、ショートタイムフーリエ変換、ウェーブレット分解、統計モーメントを用いて、ネットワーク深度にわたるスペクトルダイナミクスを監視し、マルチスケールのスペクトル特徴をキャプチャするフレームワークである。 軽量検出器ネットワーク(5%のパラメータオーバヘッド)は、自然の誤分類、分布シフト、敵の摂動といった、漸進的に困難な分布に関するカリキュラム学習を通じて、障害を示すパターンを特定することを学ぶ。 CIFAR-10の実験では、SDNNは3つの種で79.0 +/- 25.3%のAUROCを達成し、MaxSoftmax(50.5%)やEnergy Score(52.9%)などの信頼性ベースのベースラインを約25～30ポイント上回っている。 アブレーション研究により、ウェーブレットの分解と統計的特徴が一貫した寄与をもたらすことが明らかになったが、STFTの役割は未だ不明である。 この研究は、ニューラルネットワーク信頼性のための有望な方向として、内部アクティベーションのスペクトル分析を確立し、出力ベースアプローチに到達できない診断情報を明らかにする。

関連論文リスト

• AEGIS: A Semantic GAN and Evidential Learning Frameworkfor Robust Adversarial Detection in Vision Sensors [11.468095590140777]
  AEGISは、視覚センサパイプラインのためのセマンティックアウェアと不確実性ガイド付き敵検出フレームワークである。 SemantiGANモジュールは、視覚的に矛盾する敵入力を識別しフィルタリングする多クラスセマンティック識別器として機能する。 Tiny ImageNetデータセットの評価は、AEGISの有効性を示す。
  論文  参考訳（メタデータ） (2026-06-25T12:03:02Z)
• Spectral Gating Networks [65.9496901693099]
  我々は、フィードフォワードネットワークに周波数リッチな表現性を導入するために、スペクトルゲーティングネットワーク(SGN)を導入する。 SGNは、標準活性化経路をコンパクトなスペクトル経路と学習可能なゲートで拡張し、安定したベース動作からモデルを開始することができる。 計算予算に匹敵する精度と効率のトレードオフを継続的に改善する。
  論文  参考訳（メタデータ） (2026-02-07T20:00:49Z)
• Spectral Geometry for Deep Learning: Compression and Hallucination Detection via Random Matrix Theory [0.0]
  この論文は、両問題に対処するためにスペクトル幾何学とランダム行列理論に基づく統一的な枠組みを提案する。 最初のコントリビューションであるEigenTrackは、言語および視覚言語モデルにおける幻覚とアウト・オブ・ディストリビューションの振る舞いをリアルタイムに検出する手法である。 第2のコントリビューションであるRTT-KDは、情報的スペクトル成分を識別する原理的圧縮法である。
  論文  参考訳（メタデータ） (2026-01-24T08:07:22Z)
• Frequency Regularization: Unveiling the Spectral Inductive Bias of Deep Neural Networks [21.749207209704906]
  現代畳み込みニューラルネットワーク(CNN)のスペクトルバイアスについて検討する。 トレーニング中のウェイト周波数の動的変化を追跡するためのビジュアル診断フレームワークを提案する。 本稿では,レギュレータの「低域フィルタリング」強度を定量化するために,スペクトル抑圧比 (SSR) を提案する。
  論文  参考訳（メタデータ） (2025-12-20T11:33:32Z)
• Random Spiking Neural Networks are Stable and Spectrally Simple [16.850808644949144]
  スパイキングニューラルネットワーク(SNN)はエネルギー効率の計算において有望なパラダイムである。 本研究では、Boolean関数解析のレンズを用いて、離散時間統合ファイア(LIF)SNNについて検討する。
  論文  参考訳（メタデータ） (2025-11-02T11:55:27Z)
• SpectrumFM: Redefining Spectrum Cognition via Foundation Modeling [65.65474629224558]
  本稿ではスペクトル認識のための新しいパラダイムを提供するスペクトルFMと呼ばれるスペクトル基盤モデルを提案する。 畳み込みニューラルネットワークを利用した革新的なスペクトルエンコーダを提案し、スペクトルデータにおける微細な局所信号構造と高レベルのグローバルな依存関係の両方を効果的に捕捉する。 2つの新しい自己教師型学習タスク、すなわちマスク付き再構成と次のスロット信号予測が、SpectrumFMの事前学習のために開発され、モデルがリッチで伝達可能な表現を学習できるようにする。
  論文  参考訳（メタデータ） (2025-08-02T14:40:50Z)
• SpectrumFM: A Foundation Model for Intelligent Spectrum Management [99.08036558911242]
  既存のインテリジェントスペクトル管理手法は、通常は小規模モデルに基づいており、認識精度、収束速度、一般化の顕著な制限に悩まされている。 本稿では、スペクトルFMと呼ばれる新しいスペクトル基盤モデルを提案し、スペクトル管理のための新しいパラダイムを確立する。 実験により、SpectrumFMは精度、堅牢性、適応性、少数ショット学習効率、収束速度の点で優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-05-02T04:06:39Z)
• Making Sense Of Distributed Representations With Activation Spectroscopy [44.94093096989921]
  関連する機能が多くのニューロンに分散的にコード化されていることを示す証拠が増えている。 この研究は、分散表現におけるニューロンの結合の影響を検知し、追跡するための一つの実現可能な経路を探索する。
  論文  参考訳（メタデータ） (2025-01-26T07:33:42Z)
• A Spectral Perspective towards Understanding and Improving Adversarial Robustness [8.912245110734334]
  対人訓練(AT)は効果的な防御手法であることが証明されているが、堅牢性向上のメカニズムは十分に理解されていない。 我々は、ATは、形状バイアスのある表現を保持する低周波領域にもっと焦点を合わせ、堅牢性を得るよう深層モデルに誘導することを示す。 本稿では,攻撃された逆入力によって推定されるスペクトル出力が,その自然な入力に可能な限り近いスペクトルアライメント正則化(SAR)を提案する。
  論文  参考訳（メタデータ） (2023-06-25T14:47:03Z)
• Understanding the Spectral Bias of Coordinate Based MLPs Via Training Dynamics [2.9443230571766854]
  本稿では,ReLUネットワークの計算結果と勾配勾配収束速度の関連性について検討する。 次に、この定式化を用いて、低次元設定におけるスペクトルバイアスの重症度と位置符号化がこれを克服する方法について研究する。
  論文  参考訳（メタデータ） (2023-01-14T04:21:25Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Spatial-Phase Shallow Learning: Rethinking Face Forgery Detection in Frequency Domain [88.7339322596758]
  本論文では,空間画像と位相スペクトルを組み合わせ,顔の偽造のアップサンプリング成果をキャプチャするSPSL(Spatial-Phase Shallow Learning)法を提案する。 SPSLは、クロスデータセット評価における最先端性能とマルチクラス分類を実現し、単一データセット評価において同等の結果を得ることができる。
  論文  参考訳（メタデータ） (2021-03-02T16:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。