論文の概要: ProSelfLC: Progressive Self Label Correction for Training Robust Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2005.03788v6
• Date: Wed, 2 Jun 2021 12:27:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 22:31:17.474632
• Title: ProSelfLC: Progressive Self Label Correction for Training Robust Deep Neural Networks
• Title（参考訳）: ProSelfLC:ロバストディープニューラルネットワークのトレーニングのためのプログレッシブセルフラベル補正
• Authors: Xinshao Wang, Yang Hua, Elyor Kodirov, David A. Clifton, Neil M. Robertson
• Abstract要約: 本稿では,出力正則化,自己ラベル補正,非自己ラベル補正など,いくつかの目標修正手法について検討する。 本稿では,学習時間とエントロピーに基づいて設計したProSelfLCという新しいエンドツーエンド手法を提案する。 クリーンかつノイズの多い環境において,ProSelfLCの有効性を示す。
• 参考スコア（独自算出の注目度）: 27.247737178929263
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: To train robust deep neural networks (DNNs), we systematically study several target modification approaches, which include output regularisation, self and non-self label correction (LC). Two key issues are discovered: (1) Self LC is the most appealing as it exploits its own knowledge and requires no extra models. However, how to automatically decide the trust degree of a learner as training goes is not well answered in the literature? (2) Some methods penalise while the others reward low-entropy predictions, prompting us to ask which one is better? To resolve the first issue, taking two well-accepted propositions--deep neural networks learn meaningful patterns before fitting noise [3] and minimum entropy regularisation principle [10]--we propose a novel end-to-end method named ProSelfLC, which is designed according to learning time and entropy. Specifically, given a data point, we progressively increase trust in its predicted label distribution versus its annotated one if a model has been trained for enough time and the prediction is of low entropy (high confidence). For the second issue, according to ProSelfLC, we empirically prove that it is better to redefine a meaningful low-entropy status and optimise the learner toward it. This serves as a defence of entropy minimisation. We demonstrate the effectiveness of ProSelfLC through extensive experiments in both clean and noisy settings. The source code is available at https://github.com/XinshaoAmosWang/ProSelfLC-CVPR2021. Keywords: entropy minimisation, maximum entropy, confidence penalty, self knowledge distillation, label correction, label noise, semi-supervised learning, output regularisation
• Abstract（参考訳）: 頑健なディープニューラルネットワーク(DNN)を訓練するために,出力正則化,自己および非自己ラベル補正(LC)を含む,いくつかの目標修正アプローチを体系的に検討した。 1) 自己LCは、自身の知識を活用して、余分なモデルを必要としないため、最も魅力的である。 しかし、学習者の信頼度を自動的に判断する方法は、文献ではうまく答えられていない。 2)低エントロピー予測に報いる方法もあれば,どちらがよいのかを問いかける方法もある。 最初の問題を解決するために、ニューラルネットワークはノイズ[3]と最小エントロピー正規化原理[10]を付ける前に有意義なパターンを学習し、学習時間とエントロピーに応じて設計されるProSelfLCという新しいエンドツーエンド手法を提案する。 具体的には、モデルが十分な時間トレーニングを受けており、その予測が低エントロピー(高い信頼度)である場合、予測されたラベル分布に対する信頼度を徐々に増加させます。 第2の課題として,ProSelfLCでは,有意義な低エントロピー状態を再定義し,学習者に対して最適化することが実証されている。 これはエントロピーの最小化の防御となる。 クリーンかつノイズの多い環境において,ProSelfLCの有効性を示す。 ソースコードはhttps://github.com/XinshaoAmosWang/ProSelfLC-CVPR2021で公開されている。 キーワード:エントロピー最小化、最大エントロピー、信頼度ペナルティ、自己知識蒸留、ラベル修正、ラベルノイズ、半教師付き学習、出力正規化

関連論文リスト

• The Benefit of Being Bayesian in Online Conformal Prediction [7.713245413733777]
  ブラックボックス機械学習モデルを用いて、有効な信頼セットのオンライン構築について検討する。 対象の信頼レベルを量子レベルに変換することにより、逐次明らかにされたデータシーケンスの量子レベルを予測することで、問題を小さくすることができる。
  論文  参考訳（メタデータ） (2024-10-03T15:04:47Z)
• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• Neural Networks Against (and For) Self-Training: Classification with Small Labeled and Large Unlabeled Sets [11.385682758047775]
  自己学習の弱点の1つは意味的ドリフト問題である。 擬似ラベルの役割を再構築し,階層的な情報順序を創出する。 自己学習における重要なステップは、自信の予測を使用して、最適な候補の擬似ラベルを選択することである。
  論文  参考訳（メタデータ） (2023-12-31T19:25:34Z)
• Realistic Unsupervised CLIP Fine-tuning with Universal Entropy Optimization [101.08992036691673]
  本稿では,未知のクラスにおける配布外サンプルの存在を考慮し,教師なしの微調整シナリオについて考察する。 特に,分布外検出と既知のクラスに関連するインスタンスの認識を同時に強化することに注力する。 我々はUniversal Entropy Optimization(UEO)と呼ばれるシンプルで効率的で効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-24T16:47:17Z)
• ProSelfLC: Progressive Self Label Correction Towards A Low-Temperature Entropy State [25.397623092537902]
  本稿では,出力正則化,自己ラベル補正,非自己ラベル補正など,いくつかの目標修正手法について検討する。 自己LCは、自身の知識を活用して、余分なモデルを必要としないため、最も魅力的である。 いくつかの方法はペナライズし、他の方法は低エントロピー予測に報いる。 本稿では,学習時間とエントロピーに基づいて設計したProSelfLCという新しいエンドツーエンド手法を提案する。
  論文  参考訳（メタデータ） (2022-06-30T22:23:33Z)
• A Simple Approach to Improve Single-Model Deep Uncertainty via Distance-Awareness [33.09831377640498]
  本研究では,1つの決定論的表現に基づく1つのネットワークの不確実性向上手法について検討する。 本稿では,現代のDNNにおける距離認識能力を向上させる簡易な手法として,スペクトル正規化ニューラルガウス過程(SNGP)を提案する。 ビジョンと言語理解のベンチマークスイートでは、SNGPは予測、キャリブレーション、ドメイン外検出において、他の単一モデルアプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-05-01T05:46:13Z)
• On the Reproducibility of Neural Network Predictions [52.47827424679645]
  そこで本研究では, チャーン問題について検討し, 原因因子を同定し, 緩和する2つの簡単な方法を提案する。 最初に、標準的な画像分類タスクであっても、チャーンが問題であることを示す。 我々は,予測信頼度を高めるために,エントロピー正規化器を提案する。 両手法の有効性を実証的に示し, 基礎モデルの精度を向上しながら, チャーン低減効果を示す。
  論文  参考訳（メタデータ） (2021-02-05T18:51:01Z)
• Two-phase Pseudo Label Densification for Self-training based Domain Adaptation [93.03265290594278]
  TPLDと呼ばれる,新規な二相擬似ラベル高密度化フレームワークを提案する。 第1フェーズでは,スライディングウインドウ投票を用いて,画像内の内在的空間相関を利用して,自信のある予測を広める。 第2フェーズでは,信頼度に基づく容易な分類を行う。 トレーニングプロセスの容易化と騒音予測の回避を目的として,ブートストラップ機構の導入を行った。
  論文  参考訳（メタデータ） (2020-12-09T02:35:25Z)
• Probing Model Signal-Awareness via Prediction-Preserving Input Minimization [67.62847721118142]
  モデルが正しい脆弱性信号を捕捉して予測する能力を評価する。 SAR(Signal-Aware Recall)と呼ばれる新しい指標を用いて,モデルの信号認識を計測する。 その結果,90年代以降のリコールから60年代以降のリコールは,新たな指標で大幅に減少した。
  論文  参考訳（メタデータ） (2020-11-25T20:05:23Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。