論文の概要: Learning to Rectify for Robust Learning with Noisy Labels
- arxiv url: http://arxiv.org/abs/2111.04239v1
- Date: Mon, 8 Nov 2021 02:25:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-09 16:46:54.785264
- Title: Learning to Rectify for Robust Learning with Noisy Labels
- Title（参考訳）: 雑音ラベルを用いたロバスト学習のための学習
- Authors: Haoliang Sun, Chenhui Guo, Qi Wei, Zhongyi Han, Yilong Yin
- Abstract要約: 分類ネットワークのトレーニング手順を適応的に修正するためのワープ確率推論(WarPI)を提案する。
雑音ラベルによる頑健な学習の4つのベンチマークでWarPIを評価し, 異種雑音下での新たな最先端の学習を実現する。
- 参考スコア（独自算出の注目度）: 25.149277009932423
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Label noise significantly degrades the generalization ability of deep models
in applications. Effective strategies and approaches, \textit{e.g.}
re-weighting, or loss correction, are designed to alleviate the negative impact
of label noise when training a neural network. Those existing works usually
rely on the pre-specified architecture and manually tuning the additional
hyper-parameters. In this paper, we propose warped probabilistic inference
(WarPI) to achieve adaptively rectifying the training procedure for the
classification network within the meta-learning scenario. In contrast to the
deterministic models, WarPI is formulated as a hierarchical probabilistic model
by learning an amortization meta-network, which can resolve sample ambiguity
and be therefore more robust to serious label noise. Unlike the existing
approximated weighting function of directly generating weight values from
losses, our meta-network is learned to estimate a rectifying vector from the
input of the logits and labels, which has the capability of leveraging
sufficient information lying in them. This provides an effective way to rectify
the learning procedure for the classification network, demonstrating a
significant improvement of the generalization ability. Besides, modeling the
rectifying vector as a latent variable and learning the meta-network can be
seamlessly integrated into the SGD optimization of the classification network.
We evaluate WarPI on four benchmarks of robust learning with noisy labels and
achieve the new state-of-the-art under variant noise types. Extensive study and
analysis also demonstrate the effectiveness of our model.
- Abstract（参考訳）: ラベルノイズは、アプリケーションにおける深層モデルの一般化能力を大幅に低下させる。
効果的な戦略とアプローチである \textit{e.} 再重み付け(lost correction)は、ニューラルネットワークのトレーニングにおけるラベルノイズの負の影響を軽減するように設計されている。
既存の作品は通常、事前定義されたアーキテクチャに依存し、追加のハイパーパラメータを手動でチューニングする。
本稿では,メタ学習シナリオにおける分類ネットワークの学習手順を適応的に修正するために,warpi(warped probabilistic inference)を提案する。
決定論的モデルとは対照的に、WarPIはアモータイズメタネットワークを学習することで階層的確率モデルとして定式化され、サンプルのあいまいさを解消し、真剣なラベルノイズに対してより堅牢になる。
損失から重み値を直接生成する既存の近似重み関数とは異なり、我々のメタネットワークは、ロジットやラベルの入力から整流ベクトルを推定することで学習される。
これは分類ネットワークの学習手順を正す効果的な方法を提供し、一般化能力の大幅な向上を示す。
さらに、整流ベクトルを潜在変数としてモデル化し、メタネットワークを学習することで、分類ネットワークのSGD最適化にシームレスに統合することができる。
雑音ラベルによる頑健な学習の4つのベンチマークでWarPIを評価し, 異種雑音下での新たな最先端の学習を実現する。
大規模な研究と分析も,本モデルの有効性を実証している。
関連論文リスト
- ERASE: Error-Resilient Representation Learning on Graphs for Label Noise
Tolerance [53.73316938815873]
本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。
ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。
提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
論文 参考訳（メタデータ） (2023-12-13T17:59:07Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-06T14:49:59Z) - Learning Confident Classifiers in the Presence of Label Noise [5.829762367794509]
本稿では,ノイズ観測のための確率論的モデルを提案し,信頼性の高い分類とセグメンテーションモデルの構築を可能にする。
実験により,本アルゴリズムは,検討された分類問題と分割問題に対して,最先端の解よりも優れていることが示された。
論文 参考訳（メタデータ） (2023-01-02T04:27:25Z) - Robust Training under Label Noise by Over-parameterization [41.03008228953627]
本稿では,トレーニングラベルの比率が低下した分類タスクにおいて,過パラメータ化深層ネットワークの堅牢なトレーニングを行うための原則的手法を提案する。
ラベルノイズはクリーンデータから学んだネットワークと疎結合なので、ノイズをモデル化してデータから分離することを学びます。
注目すべきは、このような単純な手法を用いて訓練を行う場合、様々な実データに対してラベルノイズに対する最先端のテスト精度を示すことである。
論文 参考訳（メタデータ） (2022-02-28T18:50:10Z) - Synergistic Network Learning and Label Correction for Noise-robust Image
Classification [28.27739181560233]
ディープニューラルネットワーク(DNN)は、トレーニングラベルノイズに過度に適合する傾向があるため、実際のモデルパフォーマンスは低下する。
損失選択と雑音補正のアイデアを組み合わせたロバストなラベル補正フレームワークを提案する。
ノイズタイプやレートの異なる合成および実世界のデータセット上で,本手法を実証する。
論文 参考訳（メタデータ） (2022-02-27T23:06:31Z) - Ensemble Wrapper Subsampling for Deep Modulation Classification [70.91089216571035]
受信した無線信号のサブサンプリングは、ハードウェア要件と信号処理アルゴリズムの計算コストを緩和するために重要である。
本稿では,無線通信システムにおけるディープラーニングを用いた自動変調分類のためのサブサンプリング手法を提案する。
論文 参考訳（メタデータ） (2020-05-10T06:11:13Z) - Rectified Meta-Learning from Noisy Labels for Robust Image-based Plant
Disease Diagnosis [64.82680813427054]
植物病は食料安全保障と作物生産に対する主要な脅威の1つである。
1つの一般的なアプローチは、葉画像分類タスクとしてこの問題を変換し、強力な畳み込みニューラルネットワーク(CNN)によって対処できる。
本稿では,正規化メタ学習モジュールを共通CNNパラダイムに組み込んだ新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-03-17T09:51:30Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳（メタデータ） (2020-03-13T13:11:35Z) - Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。
既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。
本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-19T08:35:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。