Fugu-MT 論文翻訳(概要): Robust Neural Network Classification via Double Regularization

論文の概要: Robust Neural Network Classification via Double Regularization

arxiv url: http://arxiv.org/abs/2112.08102v1
Date: Wed, 15 Dec 2021 13:19:20 GMT
ステータス: 処理完了
システム内更新日: 2021-12-16 19:38:32.900687
Title: Robust Neural Network Classification via Double Regularization
Title（参考訳）: 二重正規化によるロバストニューラルネットワークの分類
Authors: Olof Zetterqvist, Rebecka J\"ornsten, Johan Jonasson
Abstract要約: 本稿では、分類モデルの複雑さに対するペナルティと、学習観察の最適な再重み付けを組み合わせた、ニューラルネットワークトレーニング損失の新しい二重正則化を提案する。我々は, (i) MNIST と (ii) CIFAR-10 のニューラルネット分類のための DRFit について, 両者の相違点について実証した。
参考スコア（独自算出の注目度）: 2.41710192205034
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: The presence of mislabeled observations in data is a notoriously challenging problem in statistics and machine learning, associated with poor generalization properties for both traditional classifiers and, perhaps even more so, flexible classifiers like neural networks. Here we propose a novel double regularization of the neural network training loss that combines a penalty on the complexity of the classification model and an optimal reweighting of training observations. The combined penalties result in improved generalization properties and strong robustness against overfitting in different settings of mislabeled training data and also against variation in initial parameter values when training. We provide a theoretical justification for our proposed method derived for a simple case of logistic regression. We demonstrate the double regularization model, here denoted by DRFit, for neural net classification of (i) MNIST and (ii) CIFAR-10, in both cases with simulated mislabeling. We also illustrate that DRFit identifies mislabeled data points with very good precision. This provides strong support for DRFit as a practical of-the-shelf classifier, since, without any sacrifice in performance, we get a classifier that simultaneously reduces overfitting against mislabeling and gives an accurate measure of the trustworthiness of the labels.
Abstract（参考訳）: データに誤記された観察が存在することは、統計学や機械学習において、従来の分類器と、ニューラルネットワークのような柔軟な分類器の両方の一般化特性の貧弱さに関係している、と悪名高い問題である。本稿では,分類モデルの複雑性に対するペナルティと,訓練観察の最適重み付けを組み合わせたニューラルネットワーク学習損失の新たな二重正則化を提案する。組み合わせたペナルティは、誤ラベル付きトレーニングデータの異なる設定でのオーバーフィッティングに対する一般化特性の向上と強靭性、およびトレーニング時の初期パラメータ値の変化に対する効果をもたらす。本提案手法は,ロジスティック回帰の単純な場合から導出した理論的正当性を示す。ニューラルネット分類のための二重正則化モデルを実演する。 (i)MNISTおよび (二)CIFAR-10は、どちらも模擬誤記の場合。また, DRFitは, 精度のよいラベル付きデータポイントを同定する。性能を犠牲にすることなく、誤ラベルに対する過度な適合を同時に低減し、ラベルの信頼性を正確に測定する分類器を得る。

関連論文リスト

Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文参考訳（メタデータ） (2024-03-01T03:27:08Z)
Fixed Random Classifier Rearrangement for Continual Learning [0.5439020425819]
視覚分類のシナリオでは、ニューラルネットワークは新しいタスクを学習した後、必然的に古いタスクの知識を忘れる。我々はFixed Random Rearrangement (FRCR)という連続学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-02-23T09:43:58Z)
Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
Regularized Linear Regression for Binary Classification [20.710343135282116]
正規化線形回帰は、トレーニングセットがノイズラベルを持つ二項分類問題に対して有望なアプローチである。十分な正則化強度に対して、最適重みは反対符号の2つの値の周りに集中していることを示す。多くの場合、各重みの1ビットに対する「圧縮」が性能の損失を極めて少なくする。
論文参考訳（メタデータ） (2023-11-03T23:18:21Z)
Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文参考訳（メタデータ） (2023-05-17T17:47:19Z)
TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文参考訳（メタデータ） (2023-03-20T14:12:55Z)
Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文参考訳（メタデータ） (2023-03-06T14:49:59Z)
Robust Training under Label Noise by Over-parameterization [41.03008228953627]
本稿では,トレーニングラベルの比率が低下した分類タスクにおいて,過パラメータ化深層ネットワークの堅牢なトレーニングを行うための原則的手法を提案する。ラベルノイズはクリーンデータから学んだネットワークと疎結合なので、ノイズをモデル化してデータから分離することを学びます。注目すべきは、このような単純な手法を用いて訓練を行う場合、様々な実データに対してラベルノイズに対する最先端のテスト精度を示すことである。
論文参考訳（メタデータ） (2022-02-28T18:50:10Z)
Benign Overfitting without Linearity: Neural Network Classifiers Trained by Gradient Descent for Noisy Linear Data [44.431266188350655]
勾配降下による一般化を訓練した2層ニューラルネットワークの一般化誤差を考察する。ニューラルネットワークはトレーニングエラーをゼロにし、ノイズの多いトレーニングラベルを完璧に適合させ、同時に最小限のテストエラーを達成できる。線形あるいはカーネルベースの予測器を必要とする良性オーバーフィッティングに関するこれまでの研究とは対照的に、我々の分析はモデルと学習力学の両方が基本的に非線形であるような環境で成り立っている。
論文参考訳（メタデータ） (2022-02-11T23:04:00Z)
Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
論文参考訳（メタデータ） (2021-10-22T01:55:01Z)
Label-Imbalanced and Group-Sensitive Classification under Overparameterization [32.923780772605596]
ラベルの不均衡でグループに敏感な分類は、関連するメトリクスを最適化するための標準トレーニングアルゴリズムを適切に修正することを目指す。標準実証的リスク最小化に対するロジット調整による損失修正は,一般的には効果がない可能性がある。本研究では, 2つの共通する不均衡(ラベル/グループ)を統一的に処理し, 敏感群の二値分類に自然に適用できることを示した。
論文参考訳（メタデータ） (2021-03-02T08:09:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。