論文の概要: Forget or Fine-tune? A Comparative Study of Machine Unlearning Strategies for Noisy Label Correction

• arxiv url: http://arxiv.org/abs/2608.30046v1
• Date: Sun, 30 Aug 2026 21:16:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.165272
• Title: Forget or Fine-tune? A Comparative Study of Machine Unlearning Strategies for Noisy Label Correction
• Title（参考訳）: 忘れ物, きのきのきのきのきのきのきのきの矯正のための機械学習戦略の比較研究
• Abstract要約: ディープニューラルネットワークのトレーニングにおいて、ノイズラベルは依然として重要な課題である。 標準的なソリューションは、クリーン化されたデータセットのスクラッチからモデルをトレーニングすることです。 マシン・アンラーニングは計算的に効率的な代替手段として登場した。
• 参考スコア（独自算出の注目度）: 0.5647577824219207
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Noisy labels remain a critical challenge for training deep neural networks, since memorizing incorrect labels degrades generalization. Once noisy samples are identified after training, the standard solution is to retrain the model from scratch on the cleaned dataset, which is increasingly expensive as datasets and models grow. Machine Unlearning (MU) has recently emerged as a computationally efficient alternative, but the relative effectiveness of different MU strategies for noisy-label correction remains poorly understood. In this work, we conduct a comparative empirical study of five MU methods (NegGrad, Fine-Tuning (FT), Random Labeling (RL), SalUn, and MUNBa) across symmetric, asymmetric, instance-dependent, and open-set noise on CIFAR-10, CIFAR-100, and the real-world noisy dataset Food-101N. Our central finding is that the appropriate unlearning strategy is conditioned on the noise structure. Simple FT is a strong baseline across most closed-set scenarios; RL and SalUn are the most consistently robust methods and, under instance-dependent noise, approach retraining accuracy at a fraction of the computational cost; MUNBa shows advantages mainly under extreme symmetric noise. Under open-set noise, in contrast, we show that retraining on the cleaned subset degrades accuracy relative to the noisy baseline, so approximating the retrained model is not an adequate objective in this regime. On Food-101N, all MU methods remain competitive and achieve accuracies close to retraining despite reducing runtime by an order of magnitude. These findings provide practical guidelines for selecting MU strategies for post-training noisy-label correction.
• Abstract（参考訳）: 誤ったラベルを記憶することは一般化を低下させるため、ディープニューラルネットワークのトレーニングにおいてノイズラベルは依然として重要な課題である。 トレーニング後にノイズの多いサンプルが特定されると、標準的なソリューションは、クリーン化されたデータセットのスクラッチからモデルをトレーニングすることです。 マシン・アンラーニング(MU)は近年,計算効率のよい代替手段として登場したが,ノイズラベル補正のための異なるMU戦略の相対的有効性はいまだによく分かっていない。 本研究では,CIFAR-10,CIFAR-100,および実世界のノイズデータセットFood-101N上で,対称,非対称,インスタンス依存,オープンセット雑音の5つのMU法(NegGrad, Fine-Tuning (FT), Random Labeling (RL), SalUn, MUNBa)の比較実験を行った。 我々の中心的な発見は、適切な未学習戦略がノイズ構造に条件付けられていることである。 単純なFTは、ほとんどの閉集合シナリオにおいて強力なベースラインであり、RLとSalUnは最も一貫して頑健な手法であり、インスタンス依存ノイズの下では、計算コストのごく一部で再学習の精度にアプローチする。 一方, 開集合雑音下では, クリーン化部分集合に対する再学習がノイズベースラインに対して精度を低下させることが示されるので, 再学習モデルの近似は, この体制において適切な目的ではない。 Food-101Nでは、全てのMUメソッドは競争力を維持し、実行時を桁違いに減らしたにもかかわらず、再トレーニングに近い精度を達成する。 これらの知見は,ノイズラベル修正後のMU戦略を選択するための実践的ガイドラインを提供する。

関連論文リスト

• Pre-train to Gain: Robust Learning Without Clean Labels [1.1582652820340928]
  ノイズの多いラベルでディープネットワークを訓練すると、一般化が悪く、精度が低下する。 ラベルなしで特徴抽出器のバックボーンを事前トレーニングすることで、クリーンなラベルのサブセットを必要とせずに、よりノイズの強いモデルをトレーニングできる。 提案手法は,低雑音レベルにおけるImageNet事前学習モデルに匹敵する結果を得たが,高雑音条件下ではかなり優れていた。
  論文  参考訳（メタデータ） (2025-11-25T20:48:07Z)
• Detect and Correct: A Selective Noise Correction Method for Learning with Noisy Labels [14.577138753507203]
  ノイズラベル(noisy labels)としても知られる偽アノテートサンプルは、ディープラーニングモデルの性能を著しく損なう可能性がある。 ノイズラベルを用いた学習には,大域的雑音推定とデータフィルタリングの2つのアプローチがある。 本手法は, 損失分布に基づいて, うるさいサンプルを同定する。 次に、ノイズとクリーンなサンプルを分離する選択プロセスを適用し、ノイズ遷移行列を学習してノイズのあるサンプルの損失を補正し、クリーンなデータは影響を受けないままにしておく。
  論文  参考訳（メタデータ） (2025-05-19T16:49:27Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Combating Label Noise With A General Surrogate Model For Sample Selection [77.45468386115306]
  本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。 提案手法の有効性を実世界および合成ノイズデータセットで検証した。
  論文  参考訳（メタデータ） (2023-10-16T14:43:27Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Class Prototype-based Cleaner for Label Noise Learning [73.007001454085]
  半教師付き学習法は、雑音ラベル学習問題に対する現在のSOTAソリューションである。 textbfClass textbfPrototype-based label textbfCleaner。
  論文  参考訳（メタデータ） (2022-12-21T04:56:41Z)
• UNICON: Combating Label Noise Through Uniform Selection and Contrastive Learning [89.56465237941013]
  UNICONは,高ラベル雑音に対して頑健な,シンプルで効果的なサンプル選択法である。 90%のノイズレートでCIFAR100データセットの最先端データよりも11.4%改善した。
  論文  参考訳（メタデータ） (2022-03-28T07:36:36Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• Identifying Training Stop Point with Noisy Labeled Data [0.0]
  テスト精度(MOTA)に近いトレーニング停止点(TSP)を見つけるためのアルゴリズムを開発しています。 我々は,CIFAR-10,CIFAR-100,実世界の雑音データを用いて,アルゴリズム(AutoTSP)のロバスト性を検証した。
  論文  参考訳（メタデータ） (2020-12-24T20:07:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。