論文の概要: High-dimensional Learning with Noisy Labels

• arxiv url: http://arxiv.org/abs/2405.14088v1
• Date: Thu, 23 May 2024 01:32:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 19:34:41.471314
• Title: High-dimensional Learning with Noisy Labels
• Title（参考訳）: 雑音ラベルを用いた高次元学習
• Authors: Aymane El Firdoussi, Mohamed El Amine Seddik,
• Abstract要約: 本稿では,クラス条件付き雑音ラベルを用いた高次元二項分類に関する理論的知見を提供する。 導出に基づいて,高次元のノイズラベル処理において,より効率の良い最適化手法を設計する。
• 参考スコア（独自算出の注目度）: 5.962184741057505
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper provides theoretical insights into high-dimensional binary classification with class-conditional noisy labels. Specifically, we study the behavior of a linear classifier with a label noisiness aware loss function, when both the dimension of data $p$ and the sample size $n$ are large and comparable. Relying on random matrix theory by supposing a Gaussian mixture data model, the performance of the linear classifier when $p,n\to \infty$ is shown to converge towards a limit, involving scalar statistics of the data. Importantly, our findings show that the low-dimensional intuitions to handle label noise do not hold in high-dimension, in the sense that the optimal classifier in low-dimension dramatically fails in high-dimension. Based on our derivations, we design an optimized method that is shown to be provably more efficient in handling noisy labels in high dimensions. Our theoretical conclusions are further confirmed by experiments on real datasets, where we show that our optimized approach outperforms the considered baselines.
• Abstract（参考訳）: 本稿では,クラス条件付き雑音ラベルを用いた高次元二項分類に関する理論的知見を提供する。 具体的には,データサイズ$p$とサンプルサイズ$n$の両方が大きい場合,ラベルノイズ認識損失関数を持つ線形分類器の挙動について検討する。 ガウス混合データモデルによるランダム行列理論に基づいて、$p,n\to \infty$の線形分類器の性能は、データのスカラー統計を含む極限に向かって収束する。 以上の結果から,低次元雑音に対する低次元の直観は,低次元の最適分類器が高次元で劇的に失敗するという意味では,高次元雑音を扱えないことが示唆された。 導出に基づいて,高次元のノイズラベル処理において,より効率の良い最適化手法を設計する。 我々の理論的な結論は、実際のデータセットの実験によってさらに確認され、最適化されたアプローチが考慮されたベースラインよりも優れていることを示す。

関連論文リスト

• Highly Adaptive Ridge [84.38107748875144]
  直交可積分な部分微分を持つ右連続函数のクラスにおいて,$n-2/3$自由次元L2収束率を達成する回帰法を提案する。 Harは、飽和ゼロオーダーテンソル積スプライン基底展開に基づいて、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションを行う。 我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-03T17:06:06Z)
• Dual-Decoupling Learning and Metric-Adaptive Thresholding for Semi-Supervised Multi-Label Learning [81.83013974171364]
  半教師付きマルチラベル学習(SSMLL)は、正確なマルチラベルアノテーションを収集するコストを削減するために、ラベルのないデータを活用する強力なフレームワークである。 半教師付き学習とは異なり、インスタンスに含まれる複数のセマンティクスのため、SSMLLの擬似ラベルとして最も確率の高いラベルを選択することはできない。 本稿では,高品質な擬似ラベルを生成するための二重パースペクティブ手法を提案する。
  論文  参考訳（メタデータ） (2024-07-26T09:33:53Z)
• Robust Feature Learning Against Noisy Labels [0.2082426271304908]
  ミスラベルされたサンプルはモデルの一般化を著しく低下させることができる。 ノイズラベルによる監督の負の影響を最小限に抑えるために、プログレッシブな自己ブートストラッピングが導入される。 実験結果から,本手法は強騒音ラベル下でモデルロバスト性を効果的かつ効果的に向上できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-10T02:55:35Z)
• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Optimal Discriminant Analysis in High-Dimensional Latent Factor Models [1.4213973379473654]
  高次元分類問題において、一般的に用いられるアプローチは、まず高次元の特徴を低次元空間に射影することである。 我々は、この2段階の手順を正当化するために、隠れた低次元構造を持つ潜在変数モデルを定式化する。 観測された特徴の特定の主成分(PC)を射影とする計算効率の良い分類器を提案する。
  論文  参考訳（メタデータ） (2022-10-23T21:45:53Z)
• Learning Low-Dimensional Nonlinear Structures from High-Dimensional Noisy Data: An Integral Operator Approach [5.975670441166475]
  本研究では,高次元および雑音観測から低次元非線形構造を学習するためのカーネルスペクトル埋め込みアルゴリズムを提案する。 このアルゴリズムは、基礎となる多様体の事前の知識に依存しない適応的な帯域幅選択手順を用いる。 得られた低次元埋め込みは、データ可視化、クラスタリング、予測などの下流目的にさらに活用することができる。
  論文  参考訳（メタデータ） (2022-02-28T22:46:34Z)
• Adaptive Hierarchical Similarity Metric Learning with Noisy Labels [138.41576366096137]
  適応的階層的類似度メトリック学習法を提案する。 ノイズに敏感な2つの情報、すなわち、クラスワイドのばらつきとサンプルワイドの一貫性を考える。 提案手法は,現在の深層学習手法と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-10-29T02:12:18Z)
• Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection [138.97647716793333]
  再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。 提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
  論文  参考訳（メタデータ） (2020-12-29T04:08:38Z)
• GANs for learning from very high class conditional noisy labels [1.6516902135723865]
  我々は、GAN(Generative Adversarial Networks)を用いて、バイナリ分類のためのクラス条件付きラベルノイズ(CCN)ロバストなスキームを設計する。 まず、ノイズラベル付きデータと0.1%または1%クリーンラベルから正しいラベル付きデータポイントのセットを生成する。
  論文  参考訳（メタデータ） (2020-10-19T15:01:11Z)
• Dimensionality Reduction via Diffusion Map Improved with Supervised Linear Projection [1.7513645771137178]
  本稿では、データサンプルが1つの基礎となる滑らかな多様体上に存在すると仮定する。 ペアワイズローカルカーネル距離を用いてクラス内およびクラス間類似性を定義する。 クラス内類似度を最大化し、クラス間類似度を同時に最小化する線形射影を求める。
  論文  参考訳（メタデータ） (2020-08-08T04:26:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。