論文の概要: Label Denoising through Cross-Model Agreement

• arxiv url: http://arxiv.org/abs/2308.13976v1
• Date: Sun, 27 Aug 2023 00:31:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 17:59:48.974462
• Title: Label Denoising through Cross-Model Agreement
• Title（参考訳）: クロスモデル合意によるラベルデノーミング
• Authors: Yu Wang, Xin Xin, Zaiqiao Meng, Xiangnan He, Joemon Jose, Fuli Feng
• Abstract要約: ノイズのあるラベルを記憶することはモデルの学習に影響を与え、準最適性能をもたらす可能性がある。 雑音ラベルから堅牢な機械学習モデルを学習するための新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 58.01626688186254
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning from corrupted labels is very common in real-world machine-learning applications. Memorizing such noisy labels could affect the learning of the model, leading to sub-optimal performances. In this work, we propose a novel framework to learn robust machine-learning models from noisy labels. Through an empirical study, we find that different models make relatively similar predictions on clean examples, while the predictions on noisy examples vary much more across different models. Motivated by this observation, we propose \em denoising with cross-model agreement \em (DeCA) which aims to minimize the KL-divergence between the true label distributions parameterized by two machine learning models while maximizing the likelihood of data observation. We employ the proposed DeCA on both the binary label scenario and the multiple label scenario. For the binary label scenario, we select implicit feedback recommendation as the downstream task and conduct experiments with four state-of-the-art recommendation models on four datasets. For the multiple-label scenario, the downstream application is image classification on two benchmark datasets. Experimental results demonstrate that the proposed methods significantly improve the model performance compared with normal training and other denoising methods on both binary and multiple-label scenarios.
• Abstract（参考訳）: 破損したラベルからの学習は、現実世界の機械学習アプリケーションで非常に一般的である。 このようなノイズのあるラベルを記憶することはモデルの学習に影響を与え、準最適性能をもたらす。 本研究では,雑音ラベルから頑健な機械学習モデルを学ぶための新しい枠組みを提案する。 実験的な研究では、異なるモデルがクリーンな例で比較的類似の予測をするのに対して、ノイズの多い例の予測は異なるモデルによって異なることがわかりました。 そこで本研究では,2つの機械学習モデルによってパラメータ化される真のラベル分布間のkl分布を最小化し,データ観測の可能性を最大化するクロスモデルアグリーメント \em (deca) を考案する。 提案したDeCAをバイナリラベルシナリオとマルチラベルシナリオの両方に適用する。 バイナリラベルのシナリオでは、下流タスクとして暗黙的なフィードバックレコメンデーションを選択し、4つのデータセット上で4つの最先端レコメンデーションモデルで実験を行う。 マルチラベルのシナリオでは、ダウンストリームアプリケーションは2つのベンチマークデータセットの画像分類である。 実験結果から,提案手法は通常の訓練法や,バイナリと複数ラベルの両方のシナリオにおける認知手法と比較して,モデル性能を著しく向上することが示された。

関連論文リスト

• Dual-Decoupling Learning and Metric-Adaptive Thresholding for Semi-Supervised Multi-Label Learning [81.83013974171364]
  半教師付きマルチラベル学習(SSMLL)は、正確なマルチラベルアノテーションを収集するコストを削減するために、ラベルのないデータを活用する強力なフレームワークである。 半教師付き学習とは異なり、インスタンスに含まれる複数のセマンティクスのため、SSMLLの擬似ラベルとして最も確率の高いラベルを選択することはできない。 本稿では,高品質な擬似ラベルを生成するための二重パースペクティブ手法を提案する。
  論文  参考訳（メタデータ） (2024-07-26T09:33:53Z)
• Pre-Trained Vision-Language Models as Partial Annotators [40.89255396643592]
  事前学習された視覚言語モデルは、画像と自然言語の統一表現をモデル化するために大量のデータを学習する。 本稿では,事前学習型モデルアプリケーションのための「事前学習型-弱教師付き学習」パラダイムについて検討し,画像分類タスクの実験を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:17:27Z)
• Pairwise Similarity Distribution Clustering for Noisy Label Learning [0.0]
  ノイズラベル学習は、ノイズラベルを持つ大量のサンプルを使用してディープニューラルネットワークをトレーニングすることを目的としている。 トレーニングサンプルを1つのクリーンなセットと別のノイズのあるセットに分割する,単純で効果的なサンプル選択アルゴリズムを提案する。 CIFAR-10、CIFAR-100、Clothing1Mといった様々なベンチマークデータセットの実験結果は、最先端の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-04-02T11:30:22Z)
• Virtual Category Learning: A Semi-Supervised Learning Method for Dense Prediction with Extremely Limited Labels [63.16824565919966]
  本稿では,ラベルの修正を伴わずに,混乱したサンプルを積極的に使用することを提案する。 仮想カテゴリー(VC)は、モデルの最適化に安全に貢献できるように、各混乱したサンプルに割り当てられる。 私たちの興味深い発見は、密集した視覚タスクにおけるVC学習の利用に注目しています。
  論文  参考訳（メタデータ） (2023-12-02T16:23:52Z)
• Twin Contrastive Learning with Noisy Labels [45.31997043789471]
  我々は、頑健な表現を学習し、分類のためのノイズラベルを処理する、新しい双子のコントラスト学習モデルTCLを提案する。 TCLは、CIFAR-10で90%ノイズラベルで7.5%改善した。
  論文  参考訳（メタデータ） (2023-03-13T08:53:47Z)
• Asymmetric Co-teaching with Multi-view Consensus for Noisy Label Learning [15.690502285538411]
  Asymmetric Co-Teaching (AsyCo) というノイズラベル学習手法を導入する。 AsyCoは、共学モデルのより一貫性のある分岐結果を生成する。 合成および実世界のノイズラベルデータセットの実験は、AsyCoが現在のSOTA法よりも改善していることを示している。
  論文  参考訳（メタデータ） (2023-01-01T04:10:03Z)
• Neighborhood Collective Estimation for Noisy Label Identification and Correction [92.20697827784426]
  ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。 近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。 提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
  論文  参考訳（メタデータ） (2022-08-05T14:47:22Z)
• Gaussian Mixture Variational Autoencoder with Contrastive Learning for Multi-Label Classification [27.043136219527767]
  本稿では,新しいコントラスト学習促進型マルチラベル予測モデルを提案する。 教師付き環境でのコントラスト学習を用いることで,ラベル情報を効果的に活用することができる。 学習した埋め込みがラベルとラベルの相互作用の解釈に洞察を与えることを示す。
  論文  参考訳（メタデータ） (2021-12-02T04:23:34Z)
• Learning Noise-Aware Encoder-Decoder from Noisy Labels by Alternating Back-Propagation for Saliency Detection [54.98042023365694]
  本稿では,ノイズを考慮したエンコーダ・デコーダ・フレームワークを提案する。 提案モデルはニューラルネットワークによってパラメータ化された2つのサブモデルから構成される。
  論文  参考訳（メタデータ） (2020-07-23T18:47:36Z)
• Deep k-NN for Noisy Labels [55.97221021252733]
  予備モデルのロジット層上での単純な$k$-nearest近傍フィルタリング手法により、ラベルの誤りを除去し、最近提案された多くの手法よりも正確なモデルを生成することができることを示す。
  論文  参考訳（メタデータ） (2020-04-26T05:15:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。