論文の概要: Fisher Rank Inflation: A Spectral Signature of Memorization under Label Noise

• arxiv url: http://arxiv.org/abs/2607.12438v1
• Date: Tue, 14 Jul 2026 07:13:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:30.060211
• Title: Fisher Rank Inflation: A Spectral Signature of Memorization under Label Noise
• Title（参考訳）: 魚のランクインフレーション:ラベルノイズ下での記憶のスペクトル信号
• Authors: Satwik Bathula, Anand A. Joshi,
• Abstract要約: ラベルノイズで訓練されたディープネットワークは、しばしば、破損したラベルを記憶する前にクリーンな構造を学ぶ。 この遷移は、サンプルごとのラスト層勾配の中心散乱にスペクトルシグネチャを残していることを示す。 崩壊ラベルは、低エネルギーまたは未使用の固有方向にスペクトル質量を注入することで有効ランクを上昇させる。
• 参考スコア（独自算出の注目度）: 0.5534764384104999
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep networks trained with label noise often learn clean structure before memorizing corrupted labels. We show that this transition leaves a spectral signature in the centered scatter of per-example last-layer gradients. Its effective rank transiently expands during memorization and contracts after corrupted labels are fit. We call this phenomenon Fisher Rank Inflation. Corrupted labels increase effective rank by injecting spectral mass into low-energy or previously unused eigendirections, increasing the entropy of the gradient spectrum. We derive a first-order leave-one-out attribution formula, identify conditions under which corrupted examples contribute more strongly than clean examples, and explain why attribution signals weaken once the normalized Fisher-gradient spectrum stabilizes. We test these predictions on CIFAR-10, CIFAR-100, and CIFAR-10N using SmallCNN, ResNet18, and Vision Transformers. Across settings, Fisher effective rank exhibits a consistent inflation--collapse trajectory aligned with memorization. At peak-rank checkpoints, corrupted examples are enriched among the highest rank-contributing samples, with top-100 noisy fractions from \(69.2\%\) to \(96.2\%\) across five-seed synthetic-corruption experiments and \(94.4\%\pm1.9\%\) on CIFAR-10N. First-order spectral attribution closely matches exact leave-one-out contributions in convolutional models and remains enriched in the Vision Transformer. Peak effective rank increases monotonically with corruption severity, from \(28.88\pm1.95\) under clean training to \(97.09\pm1.78\) at \(60\%\) corruption. In several settings, the retrospectively identified onset of rank inflation precedes observable test degradation. These results establish Fisher Rank Inflation as a spectral signature connecting corrupted-example enrichment, corruption severity, and the transition from structure learning to memorization.
• Abstract（参考訳）: ラベルノイズで訓練されたディープネットワークは、しばしば、破損したラベルを記憶する前にクリーンな構造を学ぶ。 この遷移は、サンプルごとのラスト層勾配の中心散乱にスペクトルシグネチャを残していることを示す。 その効果的なランクは記憶化の過程で過度に拡大し、ラベルが破損した後は契約が適合する。 我々はこの現象をフィッシャー・ランク・インフレーション(Fisher Rank Inflation)と呼ぶ。 崩壊ラベルは、低エネルギーまたは未使用の固有方向にスペクトル質量を注入することで有効ランクを上昇させ、勾配スペクトルのエントロピーを増大させる。 我々は1次帰属式を導出し、破損した例がクリーンな例よりも強く寄与する条件を特定し、正規化されたフィッシャー勾配スペクトルが安定すると、帰属信号が弱まる理由を説明する。 我々は,これらの予測をSmallCNN,ResNet18,Vision Transformerを用いてCIFAR-10,CIFAR-100,CIFAR-10N上で検証する。 フィッシャー・エフェクト・ランクは、設定全体にわたって、一貫したインフレ-崩壊軌道を記憶と整合させる。 ピークランクチェックポイントでは、CIFAR-10N上の5シードの合成破壊実験において、上位100個のノイズ分画が \(69.2\%\) から \(96.2\%\) に、そして \(94.4\%\pm1.9\%\) に富んでいる。 一階のスペクトル属性は、畳み込みモデルにおける正確な出発点の寄与と密接に一致し、ビジョン変換器に富んでいる。 ピーク有効ランクは汚職の重大度とともに単調に増加し、クリーントレーニングでは \(28.88\pm1.95\) から \(60\%\) の汚職では \(97.09\pm1.78\) となる。 いくつかの設定では、遡及的に特定されたランクインフレーションの開始は、観測可能なテストの劣化に先行する。 これらの結果から, 汚泥の富化, 汚泥の深刻度, 構造学習から記憶への遷移を結合するスペクトル信号として, フィッシャー・ランク・インフレーションが確立された。

関連論文リスト

• Conformal calibration and look-elsewhere effect in anomaly detection for new-physics searches [0.0]
  機械学習による異常検出は、新しい物理学の探索を再構築している。 本稿では,共形予測に基づく校正層を提案する。
  論文  参考訳（メタデータ） (2026-06-11T18:00:02Z)
• Data Scaling as Progressive Coverage of a Predictive Contribution Spectrum [8.712329259931673]
  我々は,テキストコーパスの接尾辞オートマトン表現を用いて,データ固有のグローバルKL予測コントリビューションスペクトルを定義する。 12個の実コーパスで、このスペクトルの尾傾きは、固定された小さなGPT学習者の経験的データスケーリング指数とすでに強く相関している。 そして,各トレーニングサイズ N に対して,観測された余剰損失を準備された1000kグローバルKLスペクトルの残留テール質量にマッチングすることにより,有効トルーニケートランクK(N) を定義する。
  論文  参考訳（メタデータ） (2026-04-05T10:47:24Z)
• Spectral Guardrails for Agents in the Wild: Detecting Tool Use Hallucinations via Attention Topology [0.0]
  本稿では,教師付きアプローチを補完する注目トポロジのスペクトル分析に基づくフリーガードレールのトレーニングを提案する。 Llama 3.1 8Bでは,マルチ機能検出による97.7%のリコール,86.1%のリコール,81.0%の精度のバランス配置を実現している。 Llama 3.1 8Bの故障は、スペクトル的に破滅的であり、検出しやすく、Mistral 7Bは最高の識別を行う。
  論文  参考訳（メタデータ） (2026-02-08T18:56:16Z)
• Towards Anomaly-Aware Pre-Training and Fine-Tuning for Graph Anomaly Detection [59.042018542376596]
  グラフ異常検出(GAD)は近年注目度が高まりつつあるが、2つの重要な要因があるため、依然として困難である。 Anomaly-Aware Pre-Training and Fine-Tuning (APF)は、GADの課題を軽減するためのフレームワークである。 10のベンチマークデータセットに関する総合的な実験は、最先端のベースラインと比較してAPFの優れたパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2025-04-19T09:57:35Z)
• DiffAttack: Evasion Attacks Against Diffusion-Based Adversarial Purification [63.65630243675792]
  拡散に基づく浄化防御は拡散モデルを利用して、敵の例の人工摂動を除去する。 近年の研究では、先進的な攻撃でさえ、そのような防御を効果的に破壊できないことが示されている。 拡散型浄化防衛を効果的かつ効率的に行うための統合フレームワークDiffAttackを提案する。
  論文  参考訳（メタデータ） (2023-10-27T15:17:50Z)
• Exploiting Completeness and Uncertainty of Pseudo Labels for Weakly Supervised Video Anomaly Detection [149.23913018423022]
  弱教師付きビデオ異常検出は、ビデオレベルのラベルのみを用いて、ビデオ内の異常事象を特定することを目的としている。 2段階の自己学習法は擬似ラベルの自己生成によって著しく改善されている。 本稿では,自己学習のための完全性と不確実性を利用した強化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-08T05:53:53Z)
• Soft Diffusion: Score Matching for General Corruptions [84.26037497404195]
  我々は,任意の線形汚職過程のスコア関数を確実に学習するSoft Score Matchingと呼ばれる新しい目的を提案する。 本研究の目的は, 汚職過程の家族に対して, 適正な規則性条件下での確率の勾配を学習することである。 提案手法はCelebA-64上でのFIDスコアを1.85ドルで達成し,従来の線形拡散モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-09-12T17:45:03Z)
• Catastrophic Fisher Explosion: Early Phase Fisher Matrix Impacts Generalization [111.57403811375484]
  学習開始当初から,勾配降下がフィッシャー情報マトリックスの痕跡を暗黙的にペナルティ化することを示す。 暗黙的あるいは明示的な正規化がない場合、FIMの痕跡は訓練の早い段階で大きな値に増加する可能性があることを強調する。
  論文  参考訳（メタデータ） (2020-12-28T11:17:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。