論文の概要: Regularization via Adaptive Pairwise Label Smoothing
- arxiv url: http://arxiv.org/abs/2012.01559v1
- Date: Wed, 2 Dec 2020 22:08:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-25 04:11:11.528530
- Title: Regularization via Adaptive Pairwise Label Smoothing
- Title（参考訳）: Adaptive Pairwise Label Smoothing による正規化
- Authors: Hongyu Guo
- Abstract要約: 本稿では Pairwise Label Smoothing (PLS) と呼ばれる新しいラベル平滑化手法を提案する。
クロスバリデーションサーチによって大域的に滑らかな分布質量を求める現在のLS法とは異なり、PSSはトレーニング中に各入力ペアの分布質量を自動的に学習する。
PLSはLSおよびベースラインモデルよりも有意に優れており,相対的分類誤差の最大30%を達成している。
- 参考スコア（独自算出の注目度）: 19.252319300590653
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Label Smoothing (LS) is an effective regularizer to improve the
generalization of state-of-the-art deep models. For each training sample the LS
strategy smooths the one-hot encoded training signal by distributing its
distribution mass over the non ground-truth classes, aiming to penalize the
networks from generating overconfident output distributions. This paper
introduces a novel label smoothing technique called Pairwise Label Smoothing
(PLS). The PLS takes a pair of samples as input. Smoothing with a pair of
ground-truth labels enables the PLS to preserve the relative distance between
the two truth labels while further soften that between the truth labels and the
other targets, resulting in models producing much less confident predictions
than the LS strategy. Also, unlike current LS methods, which typically require
to find a global smoothing distribution mass through cross-validation search,
PLS automatically learns the distribution mass for each input pair during
training. We empirically show that PLS significantly outperforms LS and the
baseline models, achieving up to 30% of relative classification error
reduction. We also visually show that when achieving such accuracy gains the
PLS tends to produce very low winning softmax scores.
- Abstract（参考訳）: ラベル平滑化(ls)は最先端の深層モデルの一般化を改善する効果的な正規化である。
各トレーニングサンプルに対して、LS戦略は、不確実なクラスに分布質量を分散することにより、1ホット符号化されたトレーニング信号を円滑にし、ネットワークが過信な出力分布を生成することを防ぐ。
本稿では Pairwise Label Smoothing (PLS) と呼ばれる新しいラベル平滑化手法を提案する。
PLSはサンプルのペアを入力として取ります。
一対の地平線ラベルによる平滑化により、PSSは2つの真理線ラベル間の相対的な距離を保ちつつ、真理線ラベルと他の目標との相対的な距離を和らげることができる。
また、クロスバリデーションサーチによって大域的に滑らかな分布質量を求める現在のLS法とは異なり、PSSはトレーニング中に各入力ペアの分布質量を自動的に学習する。
PLSはLSおよびベースラインモデルよりも有意に優れており,相対的分類誤差の最大30%を達成している。
また,このような精度を達成すると,PSSはソフトマックススコアが極めて低い傾向を示す。
関連論文リスト
- A Channel-ensemble Approach: Unbiased and Low-variance Pseudo-labels is Critical for Semi-supervised Classification [61.473485511491795]
半教師付き学習(SSL)はコンピュータビジョンにおける実践的な課題である。
Pseudo-label (PL) メソッド、例えば FixMatch や FreeMatch は SSL で State of The Art (SOTA) のパフォーマンスを取得する。
本稿では,複数の下位PLを理論的に保証された非偏りと低分散のPLに集約する,軽量なチャネルベースアンサンブル法を提案する。
論文 参考訳（メタデータ） (2024-03-27T09:49:37Z) - RankMatch: A Novel Approach to Semi-Supervised Label Distribution
Learning Leveraging Inter-label Correlations [52.549807652527306]
本稿では,SSLDL (Semi-Supervised Label Distribution Learning) の革新的なアプローチである RankMatch を紹介する。
RankMatchは、ラベルのない大量のデータとともに、少数のラベル付き例を効果的に活用する。
我々はRandMatchに縛られる理論的な一般化を確立し、広範な実験を通じて既存のSSLDL法に対する性能上の優位性を実証した。
論文 参考訳（メタデータ） (2023-12-11T12:47:29Z) - Flexible Distribution Alignment: Towards Long-tailed Semi-supervised Learning with Proper Calibration [18.376601653387315]
Longtailed semi-supervised learning (LTSSL)は、半教師付きアプリケーションのための実践的なシナリオである。
この問題は、ラベル付きとラベルなしのクラス分布の相違によってしばしば悪化する。
本稿では,新しい適応ロジット調整型損失フレームワークFlexDAを紹介する。
論文 参考訳（メタデータ） (2023-06-07T17:50:59Z) - Learning in Imperfect Environment: Multi-Label Classification with
Long-Tailed Distribution and Partial Labels [53.68653940062605]
新しいタスク, 部分ラベリングとLong-Tailed Multi-Label Classification (PLT-MLC) を導入する。
その結果,ほとんどのLT-MLCとPL-MLCは劣化MLCの解決に失敗していることがわかった。
textbfCOrrection $rightarrow$ textbfModificattextbfIon $rightarrow$ balantextbfCe。
論文 参考訳（メタデータ） (2023-04-20T20:05:08Z) - CLS: Cross Labeling Supervision for Semi-Supervised Learning [9.929229055862491]
Cross Labeling Supervision (CLS) は、典型的な擬似ラベル処理を一般化するフレームワークである。
CLSは擬似ラベルと相補ラベルの両方を作成でき、正と負の両方の学習をサポートする。
論文 参考訳（メタデータ） (2022-02-17T08:09:40Z) - Midpoint Regularization: from High Uncertainty Training to Conservative
Classification [19.252319300590653]
Label Smoothing (LS)は、過信出力分布の生成からモデルをペナライズすることでモデル一般化を改善する。
PLSはまず、ランダムなサンプルペアを平均化して中点サンプルを作成し、その後、各中点サンプルのトレーニング中に滑らかな分布を学習し、その結果、トレーニングのための高い不確実性ラベルを持つ中点を学習する。
論文 参考訳（メタデータ） (2021-06-26T00:31:46Z) - Understanding (Generalized) Label Smoothing when Learning with Noisy
Labels [57.37057235894054]
ラベルスムーシング(LS)は、ハードトレーニングラベルと一様分散ソフトラベルの両方の正の重み付け平均を使用する学習パラダイムである。
雑音ラベルを用いた学習において,一般化ラベル平滑化(GLS)の特性について理解する。
論文 参考訳（メタデータ） (2021-06-08T07:32:29Z) - PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。
本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。
本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
論文 参考訳（メタデータ） (2021-05-22T18:07:56Z) - Weakly Supervised Label Smoothing [15.05158252504978]
L2Rモデルに分類するニューラルラーニングの文脈において,広く使用されている正規化手法であるラベルスムージング(LS)について検討する。
ニューラルL2Rモデルの文脈におけるLSの研究に触発され、Weakly Supervised Label Smoothing(WSLS)と呼ばれる新しい技術を提案する。
論文 参考訳（メタデータ） (2020-12-15T19:36:52Z) - Distribution Aligning Refinery of Pseudo-label for Imbalanced
Semi-supervised Learning [126.31716228319902]
Pseudo-label (DARP) アルゴリズムの分散アライメント・リファナリーを開発する。
DARPは最先端のSSLスキームと有効かつ効率的に互換性があることを示す。
論文 参考訳（メタデータ） (2020-07-17T09:16:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。