論文の概要: ProSelfLC: Progressive Self Label Correction Towards A Low-Temperature Entropy State

• arxiv url: http://arxiv.org/abs/2207.00118v1
• Date: Thu, 30 Jun 2022 22:23:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-05 03:27:50.968600
• Title: ProSelfLC: Progressive Self Label Correction Towards A Low-Temperature Entropy State
• Title（参考訳）: ProSelfLC:低温エントロピー状態に向けた進行性自己ラベル補正
• Authors: Xinshao Wang, Yang Hua, Elyor Kodirov, Sankha Subhra Mukherjee, David A. Clifton, Neil M. Robertson
• Abstract要約: 本稿では,出力正則化,自己ラベル補正,非自己ラベル補正など,いくつかの目標修正手法について検討する。 自己LCは、自身の知識を活用して、余分なモデルを必要としないため、最も魅力的である。 いくつかの方法はペナライズし、他の方法は低エントロピー予測に報いる。 本稿では,学習時間とエントロピーに基づいて設計したProSelfLCという新しいエンドツーエンド手法を提案する。
• 参考スコア（独自算出の注目度）: 25.397623092537902
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: To train robust deep neural networks (DNNs), we systematically study several target modification approaches, which include output regularisation, self and non-self label correction (LC). Three key issues are discovered: (1) Self LC is the most appealing as it exploits its own knowledge and requires no extra models. However, how to automatically decide the trust degree of a learner as training goes is not well answered in the literature. (2) Some methods penalise while the others reward low-entropy predictions, prompting us to ask which one is better. (3) Using the standard training setting, a trained network is of low confidence when severe noise exists, making it hard to leverage its high-entropy self knowledge. To resolve the issue (1), taking two well-accepted propositions--deep neural networks learn meaningful patterns before fitting noise and minimum entropy regularisation principle--we propose a novel end-to-end method named ProSelfLC, which is designed according to learning time and entropy. Specifically, given a data point, we progressively increase trust in its predicted label distribution versus its annotated one if a model has been trained for enough time and the prediction is of low entropy (high confidence). For the issue (2), according to ProSelfLC, we empirically prove that it is better to redefine a meaningful low-entropy status and optimise the learner toward it. This serves as a defence of entropy minimisation. To address the issue (3), we decrease the entropy of self knowledge using a low temperature before exploiting it to correct labels, so that the revised labels redefine a low-entropy target state. We demonstrate the effectiveness of ProSelfLC through extensive experiments in both clean and noisy settings, and on both image and protein datasets. Furthermore, our source code is available at https://github.com/XinshaoAmosWang/ProSelfLC-AT.
• Abstract（参考訳）: 頑健なディープニューラルネットワーク(DNN)を訓練するために,出力正則化,自己および非自己ラベル補正(LC)を含む,いくつかの目標修正アプローチを体系的に検討した。 1) 自己LCは、自身の知識を活用して、余分なモデルを必要としないため、最も魅力的である。 しかし,学習者の信頼度を自動的に判断する方法は,文献上では不十分である。 2)低エントロピー予測に報いる方法もあれば,どちらがよいかを尋ねる方法もある。 3) 標準のトレーニング設定を用いると, 訓練されたネットワークは, 重騒音発生時の信頼性が低く, 高エントロピーな自己知識の活用が困難となる。 この課題を解決するために,(1)学習時間とエントロピーに応じて設計したproselflcという新しいエンド・ツー・エンド方式を提案する。 具体的には、モデルが十分な時間トレーニングを受けており、その予測が低エントロピー(高い信頼度)である場合、予測されたラベル分布に対する信頼度を徐々に増加させます。 その結果,ProSelfLCでは,有意義な低エントロピー状態を再定義し,学習者に対して最適化した方がよいことを実証的に証明した。 これはエントロピーの最小化の防御となる。 課題 (3) に対処するために, ラベルの修正に利用する前に低温を用いて自己知識のエントロピーを低減し, 低エントロピー目標状態を再定義する。 クリーンかつノイズの多い環境と,画像とタンパク質のデータセットにおいて,ProSelfLCの有効性を示す。 さらに、ソースコードはhttps://github.com/XinshaoAmosWang/ProSelfLC-ATで公開されています。

関連論文リスト

• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• Rethinking Self-training for Semi-supervised Landmark Detection: A Selection-free Approach [4.511384690621755]
  Self-Training for Landmark Detection (STLD) は、明示的な擬似ラベル選択を必要としない手法である。 STLDは、確認バイアスに対処するタスクカリキュラムを構築する。 3つの顔と1つの医学的ランドマーク検出ベンチマークの実験は、STLDが既存の方法より優れていることを示している。
  論文  参考訳（メタデータ） (2024-04-06T08:45:07Z)
• Neural Networks Against (and For) Self-Training: Classification with Small Labeled and Large Unlabeled Sets [11.385682758047775]
  自己学習の弱点の1つは意味的ドリフト問題である。 擬似ラベルの役割を再構築し,階層的な情報順序を創出する。 自己学習における重要なステップは、自信の予測を使用して、最適な候補の擬似ラベルを選択することである。
  論文  参考訳（メタデータ） (2023-12-31T19:25:34Z)
• LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection [49.52429991848581]
  深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。 本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
  論文  参考訳（メタデータ） (2023-10-09T12:36:16Z)
• A Simple Approach to Improve Single-Model Deep Uncertainty via Distance-Awareness [33.09831377640498]
  本研究では,1つの決定論的表現に基づく1つのネットワークの不確実性向上手法について検討する。 本稿では,現代のDNNにおける距離認識能力を向上させる簡易な手法として,スペクトル正規化ニューラルガウス過程(SNGP)を提案する。 ビジョンと言語理解のベンチマークスイートでは、SNGPは予測、キャリブレーション、ドメイン外検出において、他の単一モデルアプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-05-01T05:46:13Z)
• On the Reproducibility of Neural Network Predictions [52.47827424679645]
  そこで本研究では, チャーン問題について検討し, 原因因子を同定し, 緩和する2つの簡単な方法を提案する。 最初に、標準的な画像分類タスクであっても、チャーンが問題であることを示す。 我々は,予測信頼度を高めるために,エントロピー正規化器を提案する。 両手法の有効性を実証的に示し, 基礎モデルの精度を向上しながら, チャーン低減効果を示す。
  論文  参考訳（メタデータ） (2021-02-05T18:51:01Z)
• Two-phase Pseudo Label Densification for Self-training based Domain Adaptation [93.03265290594278]
  TPLDと呼ばれる,新規な二相擬似ラベル高密度化フレームワークを提案する。 第1フェーズでは,スライディングウインドウ投票を用いて,画像内の内在的空間相関を利用して,自信のある予測を広める。 第2フェーズでは,信頼度に基づく容易な分類を行う。 トレーニングプロセスの容易化と騒音予測の回避を目的として,ブートストラップ機構の導入を行った。
  論文  参考訳（メタデータ） (2020-12-09T02:35:25Z)
• Probing Model Signal-Awareness via Prediction-Preserving Input Minimization [67.62847721118142]
  モデルが正しい脆弱性信号を捕捉して予測する能力を評価する。 SAR(Signal-Aware Recall)と呼ばれる新しい指標を用いて,モデルの信号認識を計測する。 その結果,90年代以降のリコールから60年代以降のリコールは,新たな指標で大幅に減少した。
  論文  参考訳（メタデータ） (2020-11-25T20:05:23Z)
• ProSelfLC: Progressive Self Label Correction for Training Robust Deep Neural Networks [27.247737178929263]
  本稿では,出力正則化,自己ラベル補正,非自己ラベル補正など,いくつかの目標修正手法について検討する。 本稿では,学習時間とエントロピーに基づいて設計したProSelfLCという新しいエンドツーエンド手法を提案する。 クリーンかつノイズの多い環境において,ProSelfLCの有効性を示す。
  論文  参考訳（メタデータ） (2020-05-07T22:35:04Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。