論文の概要: Machine Unlearning for Robust DNNs: Attribution-Guided Partitioning and Neuron Pruning in Noisy Environments

• arxiv url: http://arxiv.org/abs/2506.11615v1
• Date: Fri, 13 Jun 2025 09:37:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 17:50:49.737755
• Title: Machine Unlearning for Robust DNNs: Attribution-Guided Partitioning and Neuron Pruning in Noisy Environments
• Title（参考訳）: ロバストDNNのための機械学習:雑音環境下での属性誘導分割とニューロン切断
• Authors: Deliang Jin, Gang Chen, Shuo Feng, Yufeng Ling, Haoran Zhu,
• Abstract要約: ディープニューラルネットワーク(DNN)は、さまざまなドメインで顕著な成功を収めているが、ノイズやトレーニングデータによってそのパフォーマンスが著しく低下する可能性がある。 本稿では,帰属誘導型データパーティショニング,識別的ニューロンプルーニング,およびノイズのあるサンプルの影響を軽減するための微調整を目的とした新しいフレームワークを提案する。 CIFAR-10の標準リトレーニングよりも約10%の絶対精度向上を実現し,ラベルノイズを注入した。
• 参考スコア（独自算出の注目度）: 5.8166742412657895
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) have achieved remarkable success across diverse domains, but their performance can be severely degraded by noisy or corrupted training data. Conventional noise mitigation methods often rely on explicit assumptions about noise distributions or require extensive retraining, which can be impractical for large-scale models. Inspired by the principles of machine unlearning, we propose a novel framework that integrates attribution-guided data partitioning, discriminative neuron pruning, and targeted fine-tuning to mitigate the impact of noisy samples. Our approach employs gradient-based attribution to probabilistically distinguish high-quality examples from potentially corrupted ones without imposing restrictive assumptions on the noise. It then applies regression-based sensitivity analysis to identify and prune neurons that are most vulnerable to noise. Finally, the resulting network is fine-tuned on the high-quality data subset to efficiently recover and enhance its generalization performance. This integrated unlearning-inspired framework provides several advantages over conventional noise-robust learning approaches. Notably, it combines data-level unlearning with model-level adaptation, thereby avoiding the need for full model retraining or explicit noise modeling. We evaluate our method on representative tasks (e.g., CIFAR-10 image classification and speech recognition) under various noise levels and observe substantial gains in both accuracy and efficiency. For example, our framework achieves approximately a 10% absolute accuracy improvement over standard retraining on CIFAR-10 with injected label noise, while reducing retraining time by up to 47% in some settings. These results demonstrate the effectiveness and scalability of the proposed approach for achieving robust generalization in noisy environments.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、さまざまなドメインで顕著な成功を収めているが、ノイズやトレーニングデータによってそのパフォーマンスが著しく低下する可能性がある。 従来のノイズ緩和法は、しばしばノイズ分布に関する明示的な仮定に依存するか、広範囲な再訓練を必要とするが、大規模なモデルでは現実的ではない。 機械学習の原理に触発されて,帰属誘導型データ分割,識別的ニューロンの刈り取り,ノイズのあるサンプルの影響を軽減するための微調整を目的とした新しいフレームワークを提案する。 提案手法では,雑音に制約的な仮定を課すことなく,確率論的に高品質な例を潜在的に破損した例と区別するために,勾配に基づく属性を用いる。 次に、ノイズに最も弱いニューロンを識別およびプーンするために回帰に基づく感度分析を適用する。 最後に、結果のネットワークを高品質なデータサブセットに微調整して、その一般化性能を効率的に回復し、向上させる。 この統合学習にインスパイアされたフレームワークは、従来のノイズロバスト学習アプローチよりもいくつかの利点を提供する。 特に、データレベルのアンラーニングとモデルレベルの適応を組み合わせることで、完全なモデル再トレーニングや明示的なノイズモデリングの必要性を回避することができる。 本研究では,CIFAR-10画像分類,音声認識などの代表課題について,様々な雑音レベル下で評価し,精度と効率の両面で有意な利得を観測した。 例えば,CIFAR-10の標準リトレーニングよりも約10%の絶対精度向上を実現し,一部の設定では最大47%のリトレーニング時間を短縮した。 これらの結果から,雑音環境下でのロバストな一般化を実現するための提案手法の有効性と拡張性を示す。

関連論文リスト

• Mitigating Instance-Dependent Label Noise: Integrating Self-Supervised Pretraining with Pseudo-Label Refinement [3.272177633069322]
  実世界のデータセットは、アノテーションプロセス中にヒューマンエラー、あいまいさ、リソース制約のために、ノイズの多いラベルを含むことが多い。 そこで本研究では,SimCLRを用いた自己教師型学習と反復的擬似ラベル改良を組み合わせた新しいフレームワークを提案する。 提案手法は,特に高騒音条件下では,いくつかの最先端手法よりも優れる。
  論文  参考訳（メタデータ） (2024-12-06T09:56:49Z)
• Efficient Noise Mitigation for Enhancing Inference Accuracy in DNNs on Mixed-Signal Accelerators [4.416800723562206]
  我々は、アナログニューラルネットワークの精度に基づいて、プロセス誘起および老化に関連するアナログコンピューティングコンポーネントのバリエーションをモデル化する。 事前学習モデルの選択した層間に挿入された遮音ブロックを導入する。 雑音レベルに対するモデルのロバスト性を大幅に向上させることを実証した。
  論文  参考訳（メタデータ） (2024-09-27T08:45:55Z)
• Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• May the Noise be with you: Adversarial Training without Adversarial Examples [3.4673556247932225]
  我々は、敵の訓練を受けずに敵の訓練を受けたモデルを得ることができるかという疑問を調査する。 提案手法は,訓練時にNNモデルの層にガウス雑音を埋め込むことによって固有性を取り入れる。 我々の研究は、全く異なるアプローチで敵の訓練を受けたネットワークに貢献し、敵の訓練と経験的に類似した堅牢性を持つ。
  論文  参考訳（メタデータ） (2023-12-12T08:22:28Z)
• Fine tuning Pre trained Models for Robustness Under Noisy Labels [34.68018860186995]
  トレーニングデータセットにノイズの多いラベルが存在することは、機械学習モデルのパフォーマンスに大きな影響を及ぼす可能性がある。 我々は、事前学習されたモデルの事前知識を頑健かつ効率的に伝達するTURNと呼ばれる新しいアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-10-24T20:28:59Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Improving the Robustness of Summarization Models by Detecting and Removing Input Noise [50.27105057899601]
  本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。 本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T00:33:11Z)
• Bridging the Gap Between Clean Data Training and Real-World Inference for Spoken Language Understanding [76.89426311082927]
  既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。 本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。 広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
  論文  参考訳（メタデータ） (2021-04-13T17:54:33Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。