論文の概要: COLUR: Confidence-Oriented Learning, Unlearning and Relearning with Noisy-Label Data for Model Restoration and Refinement

• arxiv url: http://arxiv.org/abs/2506.19496v1
• Date: Tue, 24 Jun 2025 10:33:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.59584
• Title: COLUR: Confidence-Oriented Learning, Unlearning and Relearning with Noisy-Label Data for Model Restoration and Refinement
• Title（参考訳）: COLUR: モデル復元とリファインメントのためのノイズラベルデータによる信頼性指向学習,非学習,再学習
• Authors: Zhihao Sui, Liang Hu, Jian Cao, Usman Naseem, Zhongyuan Lai, Qi Zhang,
• Abstract要約: 本稿では,堅牢なモデル復元・改良(MRR)フレームワークCOLURを提案する。 COLURはラベルノイズの影響を解き明かし、各ラベルに対するモデルの信頼性を洗練して再学習する。 4つの実データセットで大規模な実験を行い、全ての評価結果から、COLURはMRR後の他のSOTA法よりも一貫して優れていることが示された。
• 参考スコア（独自算出の注目度）: 12.806566837307223
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large deep learning models have achieved significant success in various tasks. However, the performance of a model can significantly degrade if it is needed to train on datasets with noisy labels with misleading or ambiguous information. To date, there are limited investigations on how to restore performance when model degradation has been incurred by noisy label data. Inspired by the ``forgetting mechanism'' in neuroscience, which enables accelerating the relearning of correct knowledge by unlearning the wrong knowledge, we propose a robust model restoration and refinement (MRR) framework COLUR, namely Confidence-Oriented Learning, Unlearning and Relearning. Specifically, we implement COLUR with an efficient co-training architecture to unlearn the influence of label noise, and then refine model confidence on each label for relearning. Extensive experiments are conducted on four real datasets and all evaluation results show that COLUR consistently outperforms other SOTA methods after MRR.
• Abstract（参考訳）: 大規模なディープラーニングモデルは、様々なタスクで大きな成功を収めています。 しかし、誤った情報や曖昧な情報を持つノイズの多いラベルを持つデータセットでトレーニングする必要がある場合、モデルの性能は著しく低下する可能性がある。 現在, ノイズラベルデータによりモデル劣化が生じた場合に, 性能を回復する方法について, 限定的な調査がなされている。 誤った知識を学習することで正しい知識の再学習を促進する神経科学の ‘forgetting mechanism’ にインスパイアされた我々は、堅牢なモデル復元・改善(MRR)フレームワークであるCOLUR(Confidence-Oriented Learning, Unlearning and Relearning)を提案する。 具体的には、COLURを効率的な協調学習アーキテクチャで実装し、ラベルノイズの影響を解き放つとともに、各ラベルに対するモデルの信頼性を高めて再学習する。 4つの実データセットで大規模な実験を行い、全ての評価結果から、COLURはMRR後の他のSOTA法よりも一貫して優れていることが示された。

関連論文リスト

• AdvKT: An Adversarial Multi-Step Training Framework for Knowledge Tracing [64.79967583649407]
  知識追跡(KT)は、学生の知識状態を監視し、質問シーケンスに対する反応をシミュレートする。 既存のKTモデルは通常、単一ステップのトレーニングパラダイムに従っており、大きなエラーの蓄積につながる。 本稿では,多段階KTタスクに着目した新しい知識追跡のための多段階学習フレームワーク(AdvKT)を提案する。
  論文  参考訳（メタデータ） (2025-04-07T03:31:57Z)
• Relation Modeling and Distillation for Learning with Noisy Labels [4.556974104115929]
  本稿では,自己教師型学習を通して,サンプル間の関係をモデル化する関係モデリングと蒸留の枠組みを提案する。 提案手法は,ノイズの多いデータに対する識別表現を学習し,既存の手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-05-30T01:47:27Z)
• Iterative Data Smoothing: Mitigating Reward Overfitting and Overoptimization in RLHF [79.98542868281471]
  強化学習(Reinforcement Learning from Human Feedback, RLHF)は、言語モデルを人間中心の値と密接に整合させる手法である。 学習した報奨モデルに対して過度に最適化すると、最終的には真の目的が損なわれることが観察された。 本稿では、これらの問題を考察し、「Iterative Data Smoothing」(IDS)と呼ばれる改良された報酬学習アルゴリズムの設計に理論的知見を活用する。
  論文  参考訳（メタデータ） (2024-01-29T17:43:42Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Machine Unlearning Methodology base on Stochastic Teacher Network [33.763901254862766]
  「忘れられる権利」は、データ所有者に、モデルトレーニングに使用したデータを積極的に取り出す権利を与える。 既存の機械学習手法は、ディープラーニングモデルから知識を素早く取り除くのに効果がないことが判明した。 本稿では,ネットワークを教師として利用して,忘れられたデータによる影響の軽減を図ることを提案する。
  論文  参考訳（メタデータ） (2023-08-28T06:05:23Z)
• Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training [66.80558875393565]
  遠距離ラベル付きデータのみを用いて、名前付きエンティティ認識(NER)モデルを訓練する際の課題について検討する。 本稿では,新しい損失関数と雑音ラベル除去ステップからなるノイズロスバスト学習手法を提案する。 提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-09-10T17:19:56Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• An Efficient Method of Training Small Models for Regression Problems with Knowledge Distillation [1.433758865948252]
  回帰問題に対する知識蒸留の新しい定式化を提案する。 まず,教師モデル予測を用いて,教師モデルを用いた学習サンプルの退学率を下げる新たな損失関数,教師の退学率の減少を提案する。 マルチタスクネットワークを考えることで、学生モデルの特徴抽出の訓練がより効果的になる。
  論文  参考訳（メタデータ） (2020-02-28T08:46:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。