論文の概要: Pi-DUAL: Using Privileged Information to Distinguish Clean from Noisy Labels

• arxiv url: http://arxiv.org/abs/2310.06600v1
• Date: Tue, 10 Oct 2023 13:08:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-11 15:27:40.324178
• Title: Pi-DUAL: Using Privileged Information to Distinguish Clean from Noisy Labels
• Title（参考訳）: pi-dual: ノイズラベルとクリーンを区別するために特権情報を使用する
• Authors: Ke Wang, Guillermo Ortiz-Jimenez, Rodolphe Jenatton, Mark Collier, Efi Kokiopoulou, Pascal Frossard
• Abstract要約: クリーンなラベルを識別するために特権情報(PI)を利用するアーキテクチャであるPi-DUALを導入する。 Pi-DUALは、主要なPIベンチマークで大幅なパフォーマンス向上を実現し、新しい最先端のテストセットの精度を確立する。 Pi-DUALは、PIを用いた様々な現実シナリオにおけるラベルノイズの影響を軽減するための、シンプルでスケーラブルで実践的なアプローチである。
• 参考スコア（独自算出の注目度）: 50.70455375106841
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Label noise is a pervasive problem in deep learning that often compromises the generalization performance of trained models. Recently, leveraging privileged information (PI) -- information available only during training but not at test time -- has emerged as an effective approach to mitigate this issue. Yet, existing PI-based methods have failed to consistently outperform their no-PI counterparts in terms of preventing overfitting to label noise. To address this deficiency, we introduce Pi-DUAL, an architecture designed to harness PI to distinguish clean from wrong labels. Pi-DUAL decomposes the output logits into a prediction term, based on conventional input features, and a noise-fitting term influenced solely by PI. A gating mechanism steered by PI adaptively shifts focus between these terms, allowing the model to implicitly separate the learning paths of clean and wrong labels. Empirically, Pi-DUAL achieves significant performance improvements on key PI benchmarks (e.g., +6.8% on ImageNet-PI), establishing a new state-of-the-art test set accuracy. Additionally, Pi-DUAL is a potent method for identifying noisy samples post-training, outperforming other strong methods at this task. Overall, Pi-DUAL is a simple, scalable and practical approach for mitigating the effects of label noise in a variety of real-world scenarios with PI.
• Abstract（参考訳）: ラベルノイズはディープラーニングの広範な問題であり、トレーニングされたモデルの一般化性能を損なうことが多い。 最近、特権情報(pi)の活用 -- トレーニング中にのみ利用できるが、テスト時間ではない情報 -- が、この問題を緩和するための効果的なアプローチとして登場している。 しかし、既存のPIベースの手法は、ラベルのノイズへの過度な適合を防ぐという点で、PIなしの手法を一貫して上回らなかった。 この欠陥に対処するために, PI を利用した間違ったラベルとクリーンなラベルを区別するアーキテクチャ Pi-DUAL を導入する。 Pi-DUALは、従来の入力特徴に基づいて出力ログを予測項に分解し、PIにのみ影響されるノイズ適合項を生成する。 PIによって操縦されるゲーティング機構は、これらの用語間の焦点を適応的にシフトし、モデルがクリーンなラベルと間違ったラベルの学習パスを暗黙的に分離できるようにする。 実証的には、Pi-DUALは主要なPIベンチマーク(例えばImageNet-PIの+6.8%)で大幅なパフォーマンス向上を実現し、新しい最先端のテストセットの精度を確立している。 さらに、Pi-DUALは、トレーニング後のノイズの多いサンプルを識別する強力な方法であり、このタスクで他の強力なメソッドよりも優れている。 全体として、Pi-DUALは、PIを用いた様々な現実シナリオにおけるラベルノイズの影響を軽減するための、シンプルでスケーラブルで実用的なアプローチである。

関連論文リスト

• Bayesian Prediction-Powered Inference [62.2436697657307]
  予測駆動推論(英: Prediction-powered Inference, PPI)は、人間ラベル付き限られたデータに基づいて統計的推定を改善する手法である。 本稿では,ベイズ推定に基づくPPIのためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-09T18:08:58Z)
• ERASE: Error-Resilient Representation Learning on Graphs for Label Noise Tolerance [53.73316938815873]
  本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。 ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。 提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
  論文  参考訳（メタデータ） (2023-12-13T17:59:07Z)
• Towards Effective Visual Representations for Partial-Label Learning [49.91355691337053]
  部分ラベル学習(PLL)では、トレーニングインスタンス毎に、未知の真のラベルを含むあいまいなラベルのセットのみがアクセス可能である。 真のラベルがなければ、正の点は本質的にノイズの多い擬似ラベルで予測され、負の点は大きなバッチや運動量エンコーダを必要とすることが多い。 本稿では,表現学習の改善のための重要なスコープを示す,最先端のコントラスト手法PiCO[PiPi24]を再考する。
  論文  参考訳（メタデータ） (2023-05-10T12:01:11Z)
• When does Privileged Information Explain Away Label Noise? [66.9725683097357]
  ラベルノイズを除去する際のPIの特性の違いによる役割について検討する。 ネットワークがノイズの多いデータとクリーンなデータを容易に区別できる場合、PIが最も役立ちます。 本稿では,最新のPI手法のいくつかの改良を提案し,ラベルノイズに対処する手段としてのPIの可能性を示す。
  論文  参考訳（メタデータ） (2023-03-03T09:25:39Z)
• Reliable Prediction Intervals with Directly Optimized Inductive Conformal Regression for Deep Learning [3.42658286826597]
  予測間隔(PI)は、ディープラーニング回帰における各予測の不確かさの定量化に使用される。 PIの品質向上のための多くのアプローチは、PIの幅を効果的に削減することができるが、実際のラベルが十分に取得されていることを保証しない。 本研究では,損失関数としてPIの平均幅のみを考慮に入れた直接最適化インダクティブ・コンダクティブ・レグレッション(DOICR)を用いる。 ベンチマーク実験により、DOICRは回帰問題に対する現在の最先端アルゴリズムよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-02-02T04:46:14Z)
• Towards Harnessing Feature Embedding for Robust Learning with Noisy Labels [44.133307197696446]
  ディープニューラルネットワーク(DNN)の記憶効果は,近年のラベルノイズ学習法において重要な役割を担っている。 ラベルノイズを用いたディープラーニングのための新しい特徴埋め込み方式, LabEl Noise Dilution (LEND) を提案する。
  論文  参考訳（メタデータ） (2022-06-27T02:45:09Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。