論文の概要: Regularization via Structural Label Smoothing
- arxiv url: http://arxiv.org/abs/2001.01900v2
- Date: Sat, 4 Jul 2020 23:22:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-13 20:17:48.257763
- Title: Regularization via Structural Label Smoothing
- Title（参考訳）: 構造ラベル平滑化による規則化
- Authors: Weizhi Li, Gautam Dasarathy and Visar Berisha
- Abstract要約: 正規化は機械学習モデルの一般化性能を促進する効果的な方法である。
本稿では,ニューラルネットワークの過度な適合を防止するための出力分布正規化の一形態であるラベル平滑化に着目した。
このようなラベルの平滑化はトレーニングデータのベイズ誤り率に定量的なバイアスを与えることを示す。
- 参考スコア（独自算出の注目度）: 22.74769739125912
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Regularization is an effective way to promote the generalization performance
of machine learning models. In this paper, we focus on label smoothing, a form
of output distribution regularization that prevents overfitting of a neural
network by softening the ground-truth labels in the training data in an attempt
to penalize overconfident outputs. Existing approaches typically use
cross-validation to impose this smoothing, which is uniform across all training
data. In this paper, we show that such label smoothing imposes a quantifiable
bias in the Bayes error rate of the training data, with regions of the feature
space with high overlap and low marginal likelihood having a lower bias and
regions of low overlap and high marginal likelihood having a higher bias. These
theoretical results motivate a simple objective function for data-dependent
smoothing to mitigate the potential negative consequences of the operation
while maintaining its desirable properties as a regularizer. We call this
approach Structural Label Smoothing (SLS). We implement SLS and empirically
validate on synthetic, Higgs, SVHN, CIFAR-10, and CIFAR-100 datasets. The
results confirm our theoretical insights and demonstrate the effectiveness of
the proposed method in comparison to traditional label smoothing.
- Abstract（参考訳）: 正規化は機械学習モデルの一般化性能を促進する効果的な方法である。
本稿では,信頼度の高い出力をペナルティ化するために,トレーニングデータ中の接地ラベルを軟化することにより,ニューラルネットワークの過剰フィッティングを防止する出力分布正規化方式であるラベル平滑化に着目した。
既存のアプローチでは、通常、すべてのトレーニングデータに対して均一な、この平滑化を強制するためにクロスバリデーションを使用する。
本稿では,このようなラベル平滑化が,高い重なりと低い辺縁確率を有する特徴空間の領域と、高いバイアスを持つ低重なり・高辺縁確率の領域とで,トレーニングデータのベイズ誤差率に定量化可能なバイアスを課すことを示す。
これらの理論的な結果は、データ依存の平滑化のための単純な客観的関数を動機付け、操作の潜在的な負の結果を緩和し、その望ましい特性を正則化として維持する。
この手法をStructure Label Smoothing (SLS)と呼ぶ。
我々はSLSを実装し,合成,ヒッグス,SVHN,CIFAR-10,CIFAR-100データセットを実証的に検証した。
その結果,従来のラベル平滑化法と比較して,提案手法の有効性が実証された。
関連論文リスト
- Towards the Mitigation of Confirmation Bias in Semi-supervised Learning: a Debiased Training Perspective [6.164100243945264]
半教師付き学習(SSL)は、モデルが特定のクラスを不均等に好むという、一般的に確認バイアスを示す。
SSLのデバイアスドトレーニングのための統合フレームワークであるTaMatchを紹介します。
TaMatchは,様々な課題の画像分類タスクにおいて,既存の最先端手法よりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2024-09-26T21:50:30Z) - Model Debiasing by Learnable Data Augmentation [19.625915578646758]
本稿では,トレーニングを正規化可能なデータ拡張戦略を備えた,新しい2段階学習パイプラインを提案する。
合成および現実的なバイアス付きデータセットの実験は、最先端の分類精度を示し、競合する手法より優れている。
論文 参考訳（メタデータ） (2024-08-09T09:19:59Z) - A Channel-ensemble Approach: Unbiased and Low-variance Pseudo-labels is Critical for Semi-supervised Classification [61.473485511491795]
半教師付き学習(SSL)はコンピュータビジョンにおける実践的な課題である。
Pseudo-label (PL) メソッド、例えば FixMatch や FreeMatch は SSL で State of The Art (SOTA) のパフォーマンスを取得する。
本稿では,複数の下位PLを理論的に保証された非偏りと低分散のPLに集約する,軽量なチャネルベースアンサンブル法を提案する。
論文 参考訳（メタデータ） (2024-03-27T09:49:37Z) - All Points Matter: Entropy-Regularized Distribution Alignment for
Weakly-supervised 3D Segmentation [67.30502812804271]
擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。
本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
論文 参考訳（メタデータ） (2023-05-25T08:19:31Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-06T14:49:59Z) - Robust Neural Network Classification via Double Regularization [2.41710192205034]
本稿では、分類モデルの複雑さに対するペナルティと、学習観察の最適な再重み付けを組み合わせた、ニューラルネットワークトレーニング損失の新しい二重正則化を提案する。
我々は, (i) MNIST と (ii) CIFAR-10 のニューラルネット分類のための DRFit について, 両者の相違点について実証した。
論文 参考訳（メタデータ） (2021-12-15T13:19:20Z) - RATT: Leveraging Unlabeled Data to Guarantee Generalization [96.08979093738024]
ラベルのないデータを利用して一般化境界を生成する手法を紹介します。
境界が0-1経験的リスク最小化に有効であることを証明します。
この作業は、見えないラベル付きデータが利用できない場合でも、ディープネットの一般化を証明するためのオプションを実践者に提供します。
論文 参考訳（メタデータ） (2021-05-01T17:05:29Z) - In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label
Selection Framework for Semi-Supervised Learning [53.1047775185362]
Pseudo-labeling (PL) は一般的な SSL アプローチで、この制約はありませんが、当初の処方では比較的不十分です。
PLは不整合モデルからの誤った高い信頼度予測により性能が低下していると論じる。
そこで本研究では,疑似ラベリング精度を向上させるための不確実性認識型擬似ラベル選択(ups)フレームワークを提案する。
論文 参考訳（メタデータ） (2021-01-15T23:29:57Z) - Delving Deep into Label Smoothing [112.24527926373084]
ディープニューラルネットワーク(DNN)の効果的な正規化ツールとしてのラベル平滑化
対象カテゴリのモデル予測の統計に基づいてソフトラベルを生成するオンラインラベル平滑化(OLS)戦略を提案する。
論文 参考訳（メタデータ） (2020-11-25T08:03:11Z) - Deep Active Learning for Biased Datasets via Fisher Kernel
Self-Supervision [5.352699766206807]
アクティブラーニング(AL)は、データ要求型ディープニューラルネットワーク(DNN)のラベル付け作業を最小化する
自己教師型フィッシャーカーネル(FK)を用いた特徴密度マッチングのための低複雑さ手法を提案する。
本手法は,MNIST,SVHN,ImageNetの分類において,処理の1/10しか必要とせず,最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2020-03-01T03:56:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。