論文の概要: Taming Overconfident Prediction on Unlabeled Data from Hindsight
- arxiv url: http://arxiv.org/abs/2112.08200v1
- Date: Wed, 15 Dec 2021 15:17:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-16 16:31:22.117083
- Title: Taming Overconfident Prediction on Unlabeled Data from Hindsight
- Title(参考訳): 隠れ視からのラベルなしデータの過信予測のモデル化
- Authors: Jing Li, Yuangang Pan, Ivor W. Tsang
- Abstract要約: ラベルのないデータに対する予測の不確実性を最小化することは、半教師付き学習において優れた性能を達成するための鍵となる要素である。
本稿では,アダプティブシャーニング(Adaptive Sharpening, ADS)と呼ばれる2つのメカニズムを提案する。
ADSは、プラグインにすることで最先端のSSLメソッドを大幅に改善する。
- 参考スコア(独自算出の注目度): 50.9088560433925
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Minimizing prediction uncertainty on unlabeled data is a key factor to
achieve good performance in semi-supervised learning (SSL). The prediction
uncertainty is typically expressed as the \emph{entropy} computed by the
transformed probabilities in output space. Most existing works distill
low-entropy prediction by either accepting the determining class (with the
largest probability) as the true label or suppressing subtle predictions (with
the smaller probabilities). Unarguably, these distillation strategies are
usually heuristic and less informative for model training. From this
discernment, this paper proposes a dual mechanism, named ADaptive Sharpening
(\ADS), which first applies a soft-threshold to adaptively mask out determinate
and negligible predictions, and then seamlessly sharpens the informed
predictions, distilling certain predictions with the informed ones only. More
importantly, we theoretically analyze the traits of \ADS by comparing with
various distillation strategies. Numerous experiments verify that \ADS
significantly improves the state-of-the-art SSL methods by making it a plug-in.
Our proposed \ADS forges a cornerstone for future distillation-based SSL
research.
- Abstract(参考訳): ラベルのないデータに対する予測の不確実性を最小化することは、半教師付き学習(SSL)において優れたパフォーマンスを達成するための鍵となる要素である。
予測の不確実性は通常、出力空間の変換確率によって計算される \emph{entropy} として表される。
既存の作品の多くは、決定クラス(最大確率)を真のラベルとして受け入れるか、(より小さな確率で)微妙な予測を抑制することによって、低エントロピー予測を蒸留している。
不可解なことに、これらの蒸留戦略は通常ヒューリスティックであり、モデルのトレーニングには役に立たない。
そこで本研究では,まずソフトスレッショルドを用いて,決定予測と無視予測を適応的にマスキングし,次に情報予測をシームレスにシャープし,情報予測のみを蒸留する,Adaptive Sharpening (\ADS) という2つのメカニズムを提案する。
さらに, 種々の蒸留戦略との比較により, 理論上, \adsの特性を解析した。
数多くの実験により、 \ADS はプラグインにすることで最先端のSSLメソッドを大幅に改善することを確認した。
提案した<ADS>は,蒸留法に基づくSSL研究の基盤となる。
関連論文リスト
- Conformal Prediction for Deep Classifier via Label Ranking [31.559954367481538]
コンフォーマル予測(Conformal prediction)は、予測セットを所望のカバレッジ保証で生成する統計フレームワークである。
本稿では,確率値の無視が,誤校正された確率値の望ましくない効果を軽減することを示す。
我々は,最大ソフトマックス確率を除いて全ての確率値を破棄する,$ittextSorted Adaptive Prediction Set$ (SAPS) という新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-10T08:54:14Z) - LMD: Light-weight Prediction Quality Estimation for Object Detection in
Lidar Point Clouds [3.927702899922668]
Lidarのクラウドデータのオブジェクト検出は、自動運転とロボット工学にとって有望な技術だ。
不確実性推定は下流タスクにとって重要な要素であり、ディープニューラルネットワークは信頼性の高い予測であってもエラーを起こしやすい。
予測品質推定のための軽量後処理方式LidarMetaDetectを提案する。
本実験は,偽予測から真を分離する際の統計的信頼性を著しく向上させることを示した。
論文 参考訳(メタデータ) (2023-06-13T15:13:29Z) - ADT-SSL: Adaptive Dual-Threshold for Semi-Supervised Learning [68.53717108812297]
Semi-Supervised Learning (SSL)は、ラベル付きデータとラベルなしデータを併用してモデルをトレーニングすることで、高度な分類タスクを実現している。
本稿では,半教師付き学習(ADT-SSL)のための適応的デュアル閾値法を提案する。
実験の結果,提案したADT-SSLは最先端の分類精度を実現することがわかった。
論文 参考訳(メタデータ) (2022-05-21T11:52:08Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Learning to Predict Trustworthiness with Steep Slope Loss [69.40817968905495]
本研究では,現実の大規模データセットにおける信頼性の予測問題について検討する。
我々は、先行技術損失関数で訓練された信頼性予測器が、正しい予測と誤った予測の両方を信頼に値するものとみなす傾向があることを観察する。
そこで我々は,2つのスライド状の曲線による不正確な予測から,特徴w.r.t.正しい予測を分離する,新たな急勾配損失を提案する。
論文 参考訳(メタデータ) (2021-09-30T19:19:09Z) - Multi-label Chaining with Imprecise Probabilities [0.0]
本稿では,古典的マルチラベル連鎖法を拡張し,不正確な確率推定を行うための2つの戦略を提案する。
このような推定に利用できる主な理由は、(1)連鎖において高い不確実性が検出された場合に慎重な予測を行うこと、(2)連鎖の初期決定におけるバイアスを回避し、より正確な予測を行うことである。
両手法の信頼性を検証したラベルの欠落に関する実験結果から,精度の高いモデルが故障した場合の予測が困難である事例に対して,本手法が関連する注意を喚起することを示す。
論文 参考訳(メタデータ) (2021-07-15T16:43:31Z) - Distribution-free uncertainty quantification for classification under
label shift [105.27463615756733]
2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。
まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。
これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
論文 参考訳(メタデータ) (2021-03-04T20:51:03Z) - Do Not Forget to Attend to Uncertainty while Mitigating Catastrophic
Forgetting [29.196246255389664]
ディープラーニングモデルの大きな制限の1つは、漸進的な学習シナリオにおいて、破滅的な忘れに直面していることだ。
ベイズ式を定式化して,不確実性をモデル化する。
漸進的な学習問題に対処するために、自己認識フレームワークも組み込んでいます。
論文 参考訳(メタデータ) (2021-02-03T06:54:52Z) - Efficient Estimation and Evaluation of Prediction Rules in
Semi-Supervised Settings under Stratified Sampling [6.930951733450623]
本稿では,2段階の半教師付き学習(SSL)手法を提案する。
ステップIでは、非ランダムサンプリングを考慮した非線形基底関数による重み付き回帰により、欠落ラベルをインプットする。
ステップIIでは、結果の予測器の整合性を確保するために、初期計算を増強する。
論文 参考訳(メタデータ) (2020-10-19T12:54:45Z) - Regularizing Class-wise Predictions via Self-knowledge Distillation [80.76254453115766]
類似サンプル間の予測分布を解析する新しい正規化法を提案する。
これにより、単一のネットワークの暗黒知識(すなわち誤った予測に関する知識)を規則化する。
画像分類タスクにおける実験結果から, 単純だが強力な手法が一般化能力を大幅に向上することを示した。
論文 参考訳(メタデータ) (2020-03-31T06:03:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。