論文の概要: Robust Learning under Hybrid Noise

• arxiv url: http://arxiv.org/abs/2407.04029v1
• Date: Thu, 4 Jul 2024 16:13:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 17:23:59.668836
• Title: Robust Learning under Hybrid Noise
• Title（参考訳）: ハイブリッド雑音下でのロバスト学習
• Authors: Yang Wei, Shuo Chen, Shanshan Ye, Bo Han, Chen Gong,
• Abstract要約: 本稿では,データリカバリの観点からハイブリッドノイズに対処するため,新たな統合学習フレームワーク"Feature and Label Recovery"(FLR)を提案する。
• 参考スコア（独自算出の注目度）: 24.36707245704713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feature noise and label noise are ubiquitous in practical scenarios, which pose great challenges for training a robust machine learning model. Most previous approaches usually deal with only a single problem of either feature noise or label noise. However, in real-world applications, hybrid noise, which contains both feature noise and label noise, is very common due to the unreliable data collection and annotation processes. Although some results have been achieved by a few representation learning based attempts, this issue is still far from being addressed with promising performance and guaranteed theoretical analyses. To address the challenge, we propose a novel unified learning framework called "Feature and Label Recovery" (FLR) to combat the hybrid noise from the perspective of data recovery, where we concurrently reconstruct both the feature matrix and the label matrix of input data. Specifically, the clean feature matrix is discovered by the low-rank approximation, and the ground-truth label matrix is embedded based on the recovered features with a nuclear norm regularization. Meanwhile, the feature noise and label noise are characterized by their respective adaptive matrix norms to satisfy the corresponding maximum likelihood. As this framework leads to a non-convex optimization problem, we develop the non-convex Alternating Direction Method of Multipliers (ADMM) with the convergence guarantee to solve our learning objective. We also provide the theoretical analysis to show that the generalization error of FLR can be upper-bounded in the presence of hybrid noise. Experimental results on several typical benchmark datasets clearly demonstrate the superiority of our proposed method over the state-of-the-art robust learning approaches for various noises.
• Abstract（参考訳）: 機能ノイズとラベルノイズは、実践的なシナリオにおいてユビキタスであり、堅牢な機械学習モデルをトレーニングする上で大きな課題となる。 従来のほとんどのアプローチは、通常、特徴ノイズまたはラベルノイズのどちらかの1つの問題にのみ対処する。 しかし、実世界のアプリケーションでは、特徴ノイズとラベルノイズの両方を含むハイブリッドノイズは、信頼できないデータ収集とアノテーションプロセスのために非常に一般的である。 いくつかの結果はいくつかの表現学習に基づく試みによって達成されているが、この問題は有望な性能と理論解析によって解決されるには程遠い。 この課題に対処するために,データリカバリの観点からハイブリッドノイズに対処する新たな統合学習フレームワーク"Feature and Label Recovery"(FLR)を提案し,入力データの特徴行列とラベル行列の両方を同時に再構築する。 具体的には, クリーンな特徴行列を低ランク近似により検出し, 核ノルム正則化により得られた特徴に基づいて接地トラスラベル行列を埋め込む。 一方、特徴雑音とラベル雑音は、それぞれの適応行列ノルムによって特徴付けられ、対応する最大可能性を満たす。 このフレームワークが非凸最適化問題につながるため、学習目的を解決するための収束保証を備えた非凸代替乗算器方向法(ADMM)を開発した。 また,FLRの一般化誤差がハイブリッド雑音の存在下で上界に収まることを示す理論的解析を行った。 いくつかの典型的なベンチマークデータセットに対する実験結果から,提案手法が各種雑音に対する最先端の頑健な学習手法よりも優れていることが示された。

関連論文リスト

• Information limits and Thouless-Anderson-Palmer equations for spiked matrix models with structured noise [19.496063739638924]
  構造スパイクモデルに対するベイズ推定の飽和問題を考える。 適応的なThouless-Anderson-Palmer方程式の理論にインスパイアされた効率的なアルゴリズムを用いて、統計的限界を予測する方法を示す。
  論文  参考訳（メタデータ） (2024-05-31T16:38:35Z)
• Trusted Multi-view Learning with Label Noise [17.458306450909316]
  マルチビュー学習手法は、意思決定の不確実性を無視しながら、意思決定精度の向上に焦点を当てることが多い。 本稿では,この問題を解決するため,信頼度の高いマルチビューノイズ修正手法を提案する。 我々は,TMNRと最先端のマルチビュー学習,および5つの公開データセットに基づくラベルノイズ学習ベースラインを実証的に比較した。
  論文  参考訳（メタデータ） (2024-04-18T06:47:30Z)
• SoftPatch: Unsupervised Anomaly Detection with Noisy Data [67.38948127630644]
  本稿では,画像センサ異常検出におけるラベルレベルのノイズを初めて考察する。 本稿では,メモリベースの非教師付きAD手法であるSoftPatchを提案する。 既存の手法と比較して、SoftPatchは通常のデータの強力なモデリング能力を維持し、コアセットにおける過信問題を軽減する。
  論文  参考訳（メタデータ） (2024-03-21T08:49:34Z)
• Noisy Pair Corrector for Dense Retrieval [59.312376423104055]
  ノイズペアコレクタ(NPC)と呼ばれる新しい手法を提案する。 NPCは検出モジュールと修正モジュールから構成される。 我々は,テキスト検索ベンチマークのNatural QuestionとTriviaQA,コード検索ベンチマークのStaQCとSO-DSで実験を行った。
  論文  参考訳（メタデータ） (2023-11-07T08:27:14Z)
• Learning from Noisy Labels with Coarse-to-Fine Sample Credibility Modeling [22.62790706276081]
  ノイズの多いラベルでディープニューラルネットワーク(DNN)を訓練することは事実上難しい。 従来の取り組みでは、統合されたデノナイジングフローで部分データや完全なデータを扱う傾向があります。 本研究では,ノイズの多いデータを分割・分散的に処理するために,CREMAと呼ばれる粗大な頑健な学習手法を提案する。
  論文  参考訳（メタデータ） (2022-08-23T02:06:38Z)
• Robust Meta-learning with Sampling Noise and Label Noise via Eigen-Reptile [78.1212767880785]
  Meta-learnerは、利用可能なサンプルがわずかしかないため、過度に適合する傾向がある。 ノイズの多いラベルでデータを扱う場合、メタラーナーはラベルノイズに対して非常に敏感になる可能性がある。 本稿では,タスク固有のパラメータの主要な方向でメタパラメータを更新するEigen-Reptile(ER)を提案する。
  論文  参考訳（メタデータ） (2022-06-04T08:48:02Z)
• Open-set Label Noise Can Improve Robustness Against Inherent Label Noise [27.885927200376386]
  オープンセットノイズラベルは非毒性であり, 固有ノイズラベルに対するロバスト性にも寄与することを示した。 本研究では,動的雑音ラベル(ODNL)を用いたオープンセットサンプルをトレーニングに導入することで,シンプルかつ効果的な正規化を提案する。
  論文  参考訳（メタデータ） (2021-06-21T07:15:50Z)
• Training Classifiers that are Universally Robust to All Label Noise Levels [91.13870793906968]
  ディープニューラルネットワークは、ラベルノイズの存在下で過度に適合する傾向がある。 ポジティヴ・アンラベルラーニングの新たなサブカテゴリを取り入れた蒸留ベースのフレームワークを提案する。 我々の枠組みは概して中～高騒音レベルにおいて優れています。
  論文  参考訳（メタデータ） (2021-05-27T13:49:31Z)
• Learning Noise Transition Matrix from Only Noisy Labels via Total Variation Regularization [88.91872713134342]
  本稿では,雑音遷移行列を推定し,同時に分類器を学習する理論的基礎付け手法を提案する。 提案手法の有効性を,ベンチマークおよび実世界のデータセットを用いた実験により示す。
  論文  参考訳（メタデータ） (2021-02-04T05:09:18Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。