論文の概要: Fighting over-fitting with quantization for learning deep neural networks on noisy labels

• arxiv url: http://arxiv.org/abs/2303.11803v1
• Date: Tue, 21 Mar 2023 12:36:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-22 15:05:36.445026
• Title: Fighting over-fitting with quantization for learning deep neural networks on noisy labels
• Title（参考訳）: ノイズラベルを用いたディープニューラルネットワーク学習のための量子化による過剰適合対策
• Authors: Gauthier Tallec, Edouard Yvinec, Arnaud Dapogny, Kevin Bailly
• Abstract要約: 両問題に一度に対処できる圧縮法について検討する。 我々は、ニューラルネットワークの表現性を制限することによって、量子化を意識したトレーニングが正規化として振る舞うことを仮定する。
• 参考スコア（独自算出の注目度）: 7.09232719022402
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rising performance of deep neural networks is often empirically attributed to an increase in the available computational power, which allows complex models to be trained upon large amounts of annotated data. However, increased model complexity leads to costly deployment of modern neural networks, while gathering such amounts of data requires huge costs to avoid label noise. In this work, we study the ability of compression methods to tackle both of these problems at once. We hypothesize that quantization-aware training, by restricting the expressivity of neural networks, behaves as a regularization. Thus, it may help fighting overfitting on noisy data while also allowing for the compression of the model at inference. We first validate this claim on a controlled test with manually introduced label noise. Furthermore, we also test the proposed method on Facial Action Unit detection, where labels are typically noisy due to the subtlety of the task. In all cases, our results suggests that quantization significantly improve the results compared with existing baselines, regularization as well as other compression methods.
• Abstract（参考訳）: ディープニューラルネットワークの性能の上昇は、多くの場合、利用可能な計算能力の増加によるものであり、大量の注釈付きデータに基づいて複雑なモデルをトレーニングすることができる。 しかし、モデルの複雑さが増大すると、現代のニューラルネットワークはコストがかかり、そのような量のデータを集めるにはラベルノイズを避けるために膨大なコストが必要となる。 本研究では,これらの問題に一度に対処する圧縮手法について検討する。 量子化アウェアトレーニングは、ニューラルネットワークの表現性を制限することによって、正規化として振る舞うと仮定する。 これにより、ノイズの多いデータに対するオーバーフィッティングと、推論時にモデルの圧縮を可能にする。 手動でラベルノイズを導入した制御テストにおいて,まずこの主張を検証する。 さらに,提案手法では,作業の微妙さからラベルがノイズの多い顔動作単位検出法についても実験を行った。 いずれの場合においても,量子化は既存のベースラインや正規化,その他の圧縮手法に比べて有意に改善することが示唆された。

関連論文リスト

• Learning with Noisy labels via Self-supervised Adversarial Noisy Masking [33.87292143223425]
  対向雑音マスキングと呼ばれる新しいトレーニング手法を提案する。 入力データとラベルを同時に調整し、ノイズの多いサンプルが過度に収まらないようにする。 合成および実世界のノイズデータセットの両方でテストされる。
  論文  参考訳（メタデータ） (2023-02-14T03:13:26Z)
• Weak-signal extraction enabled by deep-neural-network denoising of diffraction data [26.36525764239897]
  深層畳み込みニューラルネットワークを用いて、データの復号化を図示する。 ノイズの多いデータでは、電荷の順序から生じる弱信号が可視化され、精度が向上することを示す。
  論文  参考訳（メタデータ） (2022-09-19T14:43:01Z)
• Dissecting U-net for Seismic Application: An In-Depth Study on Deep Learning Multiple Removal [3.058685580689605]
  地震処理は、しばしばデータ収集時に現れる多重を抑圧する必要がある。 我々は、その使い方の複雑さを減らしながら、競争力のある結果を提供するディープラーニングベースの代替案を提示します。
  論文  参考訳（メタデータ） (2022-06-24T07:16:27Z)
• BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning [93.38239238988719]
  本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。 BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。 我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
  論文  参考訳（メタデータ） (2022-03-03T05:31:33Z)
• Robust Training under Label Noise by Over-parameterization [41.03008228953627]
  本稿では,トレーニングラベルの比率が低下した分類タスクにおいて,過パラメータ化深層ネットワークの堅牢なトレーニングを行うための原則的手法を提案する。 ラベルノイズはクリーンデータから学んだネットワークと疎結合なので、ノイズをモデル化してデータから分離することを学びます。 注目すべきは、このような単純な手法を用いて訓練を行う場合、様々な実データに対してラベルノイズに対する最先端のテスト精度を示すことである。
  論文  参考訳（メタデータ） (2022-02-28T18:50:10Z)
• SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
  本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。 基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。 シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
  論文  参考訳（メタデータ） (2021-06-10T04:21:20Z)
• Data-free mixed-precision quantization using novel sensitivity metric [6.031526641614695]
  量子化誤差がタスクロスや他の層との相互作用に与える影響を考慮した新しい感度測定法を提案する。 実験により,提案手法が量子化感度をよりよく表現し,生成したデータは混合精度量子化に適用できることを示す。
  論文  参考訳（メタデータ） (2021-03-18T07:23:21Z)
• Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model [80.91927573604438]
  本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。 合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
  論文  参考訳（メタデータ） (2021-01-14T05:43:51Z)
• Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
  ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。 しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。 本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
  論文  参考訳（メタデータ） (2020-07-01T04:48:49Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。