論文の概要: An Embedding is Worth a Thousand Noisy Labels

• arxiv url: http://arxiv.org/abs/2408.14358v2
• Date: Wed, 22 Jan 2025 11:07:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 13:30:28.135717
• Title: An Embedding is Worth a Thousand Noisy Labels
• Title（参考訳）: 埋め込みは、何千もの騒々しいラベルの価値がある
• Authors: Francesco Di Salvo, Sebastian Doerrich, Ines Rieger, Christian Ledig,
• Abstract要約: 本稿では,重み付けされたアダプティブNearest Neighborアプローチを用いてラベルノイズに対処するWANNを提案する。 WANNの参照手法は、様々な大きさの多様なデータセットや、様々なノイズタイプや重大さで優れていることを示す。 私たちのアプローチは、効率性と説明可能性を強調し、ディープニューラルネットワークトレーニングの固有の制限を克服するための、シンプルで堅牢なソリューションとして現れます。
• 参考スコア（独自算出の注目度）: 0.11999555634662634
• License:
• Abstract: The performance of deep neural networks scales with dataset size and label quality, rendering the efficient mitigation of low-quality data annotations crucial for building robust and cost-effective systems. Existing strategies to address label noise exhibit severe limitations due to computational complexity and application dependency. In this work, we propose WANN, a Weighted Adaptive Nearest Neighbor approach that builds on self-supervised feature representations obtained from foundation models. To guide the weighted voting scheme, we introduce a reliability score, which measures the likelihood of a data label being correct. WANN outperforms reference methods, including a linear layer trained with robust loss functions, on diverse datasets of varying size and under various noise types and severities. WANN also exhibits superior generalization on imbalanced data compared to both Adaptive-NNs (ANN) and fixed k-NNs. Furthermore, the proposed weighting scheme enhances supervised dimensionality reduction under noisy labels. This yields a significant boost in classification performance with 10x and 100x smaller image embeddings, minimizing latency and storage requirements. Our approach, emphasizing efficiency and explainability, emerges as a simple, robust solution to overcome inherent limitations of deep neural network training. The code is available at https://github.com/francescodisalvo05/wann-noisy-labels .
• Abstract（参考訳）: ディープニューラルネットワークのパフォーマンスはデータセットのサイズとラベルの品質でスケールし、ロバストで費用対効果の高いシステムを構築する上で欠かせない低品質のデータアノテーションを効率よく緩和する。 ラベルノイズに対処する既存の戦略は、計算複雑性とアプリケーション依存性による厳しい制限を示す。 本研究では,基礎モデルから得られた自己教師付き特徴表現をベースとした,重み付き適応的近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近 重み付き投票方式を導出するために、信頼性スコアを導入し、データラベルの正しさを計測する。 WANNは、ロバストな損失関数で訓練された線形層を含む参照手法を、様々な大きさの多様なデータセットと様々なノイズタイプと重大さで上回る。 WANNは、適応NN(Adaptive-NN)と固定k-NN(固定k-NN)と比較して、不均衡なデータに対して優れた一般化を示す。 さらに,重み付け方式により,ノイズラベル下でのディメンタリティ低減が促進される。 これにより、分類性能が10倍、100倍に向上し、レイテンシとストレージの要件が最小化される。 私たちのアプローチは、効率性と説明可能性を強調し、ディープニューラルネットワークトレーニングの固有の制限を克服するための、シンプルで堅牢なソリューションとして現れます。 コードはhttps://github.com/francescodisalvo05/wann-noisy-labelsで入手できる。

関連論文リスト

• ERASE: Error-Resilient Representation Learning on Graphs for Label Noise Tolerance [53.73316938815873]
  本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。 ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。 提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
  論文  参考訳（メタデータ） (2023-12-13T17:59:07Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Uncertainty-aware Self-training for Low-resource Neural Sequence Labeling [29.744621356187764]
  本稿では,ニューラルシークエンスラベリング(NSL)のための新しい未知の自己学習フレームワークSeqUSTを提案する。 ベイジアンニューラルネットワーク(BNN)にモンテカルロ(MC)ドロップアウトを組み込んでトークンレベルで不確実性評価を行い、ラベルのないデータから信頼性の高い言語トークンを選択する。 ノイズロスのあるマスク付きシークエンスラベリングタスクは、ノイズのある擬似ラベルの問題を抑えることを目的とした堅牢なトレーニングを支援する。
  論文  参考訳（メタデータ） (2023-02-17T02:40:04Z)
• Synergistic Network Learning and Label Correction for Noise-robust Image Classification [28.27739181560233]
  ディープニューラルネットワーク(DNN)は、トレーニングラベルノイズに過度に適合する傾向があるため、実際のモデルパフォーマンスは低下する。 損失選択と雑音補正のアイデアを組み合わせたロバストなラベル補正フレームワークを提案する。 ノイズタイプやレートの異なる合成および実世界のデータセット上で,本手法を実証する。
  論文  参考訳（メタデータ） (2022-02-27T23:06:31Z)
• Constrained Instance and Class Reweighting for Robust Learning under Label Noise [20.30785186456126]
  本稿では,個々のインスタンスやクラスラベルに重みを割り当てることを目的として,ラベルノイズに対処する手法を提案する。 本手法は,これらの重み付けに対して単純な閉形式更新をもたらす制約付き最適化問題のクラスを定式化することによって機能する。 提案手法を複数のベンチマークデータセット上で評価し,ラベルノイズの有無でかなりの性能向上を観測した。
  論文  参考訳（メタデータ） (2021-11-09T21:37:53Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• Delving Deep into Label Smoothing [112.24527926373084]
  ディープニューラルネットワーク(DNN)の効果的な正規化ツールとしてのラベル平滑化 対象カテゴリのモデル予測の統計に基づいてソフトラベルを生成するオンラインラベル平滑化(OLS)戦略を提案する。
  論文  参考訳（メタデータ） (2020-11-25T08:03:11Z)
• Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
  ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。 しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。 本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
  論文  参考訳（メタデータ） (2020-07-01T04:48:49Z)
• Rectified Meta-Learning from Noisy Labels for Robust Image-based Plant Disease Diagnosis [64.82680813427054]
  植物病は食料安全保障と作物生産に対する主要な脅威の1つである。 1つの一般的なアプローチは、葉画像分類タスクとしてこの問題を変換し、強力な畳み込みニューラルネットワーク(CNN)によって対処できる。 本稿では,正規化メタ学習モジュールを共通CNNパラダイムに組み込んだ新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-17T09:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。