Fugu-MT 論文翻訳(概要): Improving Generalization by Controlling Label-Noise Information in Neural Network Weights

論文の概要: Improving Generalization by Controlling Label-Noise Information in Neural Network Weights

arxiv url: http://arxiv.org/abs/2002.07933v2
Date: Fri, 20 Nov 2020 09:41:41 GMT
ステータス: 処理完了
システム内更新日: 2022-12-30 12:59:15.886196
Title: Improving Generalization by Controlling Label-Noise Information in Neural Network Weights
Title（参考訳）: ニューラルネットワーク重みのラベルノイズ情報制御による一般化
Authors: Hrayr Harutyunyan, Kyle Reing, Greg Ver Steeg, Aram Galstyan
Abstract要約: ノイズや誤ったラベルが存在する場合、ニューラルネットワークはノイズに関する情報を記憶する好ましくない傾向にある。ドロップアウト、ウェイト崩壊、データ増大といった標準的な正則化技術は、時折役立つが、そのような振舞いを防げない。任意のトレーニングアルゴリズムに対して、この項の低値はラベルノイズの記憶の減少とより良い境界の減少に対応していることを示す。
参考スコア（独自算出の注目度）: 33.85101318266319
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In the presence of noisy or incorrect labels, neural networks have the undesirable tendency to memorize information about the noise. Standard regularization techniques such as dropout, weight decay or data augmentation sometimes help, but do not prevent this behavior. If one considers neural network weights as random variables that depend on the data and stochasticity of training, the amount of memorized information can be quantified with the Shannon mutual information between weights and the vector of all training labels given inputs, $I(w ; \mathbf{y} \mid \mathbf{x})$. We show that for any training algorithm, low values of this term correspond to reduction in memorization of label-noise and better generalization bounds. To obtain these low values, we propose training algorithms that employ an auxiliary network that predicts gradients in the final layers of a classifier without accessing labels. We illustrate the effectiveness of our approach on versions of MNIST, CIFAR-10, and CIFAR-100 corrupted with various noise models, and on a large-scale dataset Clothing1M that has noisy labels.
Abstract（参考訳）: ノイズや誤ったラベルが存在する場合、ニューラルネットワークはノイズに関する情報を記憶する好ましくない傾向を持つ。ドロップアウト、ウェイト崩壊、データ増大といった標準的な正則化技術は、時折役立つが、そのような振舞いを防げない。ニューラルネットワークの重みを、データとトレーニングの確率性に依存する確率変数として考えると、記憶された情報の量は、入力されたすべてのトレーニングラベルの重みとベクトルの間のシャノン相互情報、すなわち$i(w ; \mathbf{y} \mid \mathbf{x})$で定量化することができる。任意の学習アルゴリズムにおいて,この項の低値がラベル雑音の記憶量減少と一般化境界の改善に対応していることを示す。これらの低値を得るために,ラベルにアクセスせずに分類器の最終層の勾配を予測する補助ネットワークを用いた学習アルゴリズムを提案する。本稿では, MNIST, CIFAR-10, CIFAR-100の様々なノイズモデルで劣化したバージョンと, ノイズラベルを持つ大規模データセットであるCloting1Mについて検討した。

関連論文リスト

Blind Knowledge Distillation for Robust Image Classification [19.668440671541546]
ブラインド知識蒸留(Blind Knowledge Distillation)は、ノイズラベルで学習する教師による学習方法である。我々はOtsusアルゴリズムを用いて、一般化からオーバーフィッティングまでのチップポイントを推定する。実験では, Blind Knowledge Distillation がトレーニング中の過剰適合を効果的に検出することを示した。
論文参考訳（メタデータ） (2022-11-21T11:17:07Z)
Learning advisor networks for noisy image classification [22.77447144331876]
本稿では,画像分類におけるノイズラベルの問題に対処するためのアドバイザネットワークの概念を紹介する。私たちはメタラーニング戦略でそれをトレーニングし、メインモデルのトレーニングを通じて適応できるようにしました。我々はCIFAR10とCIFAR100を合成雑音で試験し,実環境雑音を含むCrothing1Mを用いて最先端の結果を報告する。
論文参考訳（メタデータ） (2022-11-08T11:44:08Z)
Context-based Virtual Adversarial Training for Text Classification with Noisy Labels [1.9508698179748525]
本研究では,テキスト分類器が雑音ラベルに過度に収まらないよう,コンテキストベースの仮想対位訓練(ConVAT)を提案する。従来の手法とは異なり,提案手法は入力よりも文脈レベルで逆学習を行う。 2種類のラベルノイズを持つ4つのテキスト分類データセットについて広範な実験を行った。
論文参考訳（メタデータ） (2022-05-29T14:19:49Z)
Synergistic Network Learning and Label Correction for Noise-robust Image Classification [28.27739181560233]
ディープニューラルネットワーク(DNN)は、トレーニングラベルノイズに過度に適合する傾向があるため、実際のモデルパフォーマンスは低下する。損失選択と雑音補正のアイデアを組み合わせたロバストなラベル補正フレームワークを提案する。ノイズタイプやレートの異なる合成および実世界のデータセット上で,本手法を実証する。
論文参考訳（メタデータ） (2022-02-27T23:06:31Z)
Learning with Neighbor Consistency for Noisy Labels [69.83857578836769]
特徴空間におけるトレーニング例間の類似性を利用した雑音ラベルから学習する手法を提案する。合成(CIFAR-10, CIFAR-100)とリアル(mini-WebVision, Clothing1M, mini-ImageNet-Red)の両方のノイズを評価するデータセットの評価を行った。
論文参考訳（メタデータ） (2022-02-04T15:46:27Z)
Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
論文参考訳（メタデータ） (2021-10-22T01:55:01Z)
Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
論文参考訳（メタデータ） (2021-01-14T05:43:51Z)
Attention-Aware Noisy Label Learning for Image Classification [97.26664962498887]
大規模ラベル付きサンプルで学習した深層畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンにおいて顕著な進歩を遂げている。大量のラベル付きビジュアルデータを取得する最も安価な方法は、Flickrのようなユーザーが提供するラベルでウェブサイトからクロールすることである。本稿では,潜在的なラベルノイズのあるデータセットに基づいて学習したネットワークの識別能力を向上させるために,注目に敏感なラベル学習手法を提案する。
論文参考訳（メタデータ） (2020-09-30T15:45:36Z)
Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
論文参考訳（メタデータ） (2020-07-01T04:48:49Z)
Learning from Noisy Labels with Noise Modeling Network [7.523041606515877]
ノイズモデリングネットワーク(NMN)は、私たちの畳み込みニューラルネットワーク(CNN)に従い、それを統合します。 NMNはノイズデータから直接ノイズパターンの分布を学習する。統合NMN/CNN学習システムでは,一貫した分類性能の向上が期待できる。
論文参考訳（メタデータ） (2020-05-01T20:32:22Z)
Learning with Out-of-Distribution Data for Audio Classification [60.48251022280506]
我々は,OODインスタンスを破棄するよりも,特定のOODインスタンスを検出・復号化することで,学習に肯定的な影響を及ぼすことを示す。提案手法は,畳み込みニューラルネットワークの性能を著しく向上させる。
論文参考訳（メタデータ） (2020-02-11T21:08:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。