論文の概要: Denoising Noisy Neural Networks: A Bayesian Approach with Compensation

• arxiv url: http://arxiv.org/abs/2105.10699v1
• Date: Sat, 22 May 2021 11:51:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-25 15:21:50.552341
• Title: Denoising Noisy Neural Networks: A Bayesian Approach with Compensation
• Title（参考訳）: ノイズの多いニューラルネットワーク:補償によるベイズ的アプローチ
• Authors: Yulin Shao and Soung Chang Liew and Deniz Gunduz
• Abstract要約: ノイズニューラルネット(ノイズニューラルネット、Noisy Neural Network)は、ノイズの存在下でのNNの推測と訓練を指す。 本報告では, ノイズや症状から未汚染NN重量を推定する方法について検討する。
• 参考スコア（独自算出の注目度）: 36.39188653838991
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Noisy neural networks (NoisyNNs) refer to the inference and training of NNs in the presence of noise. Noise is inherent in most communication and storage systems; hence, NoisyNNs emerge in many new applications, including federated edge learning, where wireless devices collaboratively train a NN over a noisy wireless channel, or when NNs are implemented/stored in an analog storage medium. This paper studies a fundamental problem of NoisyNNs: how to estimate the uncontaminated NN weights from their noisy observations or manifestations. Whereas all prior works relied on the maximum likelihood (ML) estimation to maximize the likelihood function of the estimated NN weights, this paper demonstrates that the ML estimator is in general suboptimal. To overcome the suboptimality of the conventional ML estimator, we put forth an $\text{MMSE}_{pb}$ estimator to minimize a compensated mean squared error (MSE) with a population compensator and a bias compensator. Our approach works well for NoisyNNs arising in both 1) noisy inference, where noise is introduced only in the inference phase on the already-trained NN weights; and 2) noisy training, where noise is introduced over the course of training. Extensive experiments on the CIFAR-10 and SST-2 datasets with different NN architectures verify the significant performance gains of the $\text{MMSE}_{pb}$ estimator over the ML estimator when used to denoise the NoisyNN. For noisy inference, the average gains are up to $156\%$ for a noisy ResNet34 model and $14.7\%$ for a noisy BERT model; for noisy training, the average gains are up to $18.1$ dB for a noisy ResNet18 model.
• Abstract（参考訳）: ノイズニューラルネットワーク(ノイズニューラルネット、Noisy Neural Network)は、ノイズの存在下でのNNの推測と訓練を指す。 ノイズは、ほとんどの通信やストレージシステムに固有のものであり、フェデレーションエッジ学習(英語版)や、ノイズの多い無線チャネル上でNNを協調訓練したり、アナログ記憶媒体でNNを実装・保存する場合など、多くの新しいアプリケーションで発生する。 本稿では,ノイズの観測や症状から汚染されていないNN重量を推定する方法について検討する。 推定NN重みの確率関数を最大化するために,すべての先行研究が最大確率(ML)推定に依存しているのに対し,本稿はML推定器が一般に最適であることを示す。 従来のML推定器の準最適性を克服するため,人口補償器とバイアス補償器による補償平均二乗誤差(MSE)を最小限に抑えるために$\text{MMSE}_{pb}$推定器を作成した。 提案手法は,(1)すでに訓練済みのnn重みの推論段階でのみ雑音が導入される雑音推定と,(2)学習過程で雑音が導入される雑音訓練の両方において発生する雑音nnに対して有効である。 異なるNNアーキテクチャを持つCIFAR-10とSST-2データセットに対する大規模な実験により、NoisyNNをノイズ化する際にML推定器上での$\text{MMSE}_{pb}$ estimatorの大幅な性能向上が検証された。 騒がしい推論では、ノイズの多いresnet34モデルでは平均値が156\%、ノイズの多いbertモデルでは14.7\%であり、ノイズの多いトレーニングでは、ノイズの多いresnet18モデルでは平均値が18.1ドルである。

関連論文リスト

• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Physics-guided Noise Neural Proxy for Practical Low-light Raw Image Denoising [22.11250276261829]
  近年,低照度生画像復調訓練の主流は,合成データの利用に移行している。 実世界のセンサのノイズ分布を特徴付けるノイズモデリングは,合成データの有効性と実用性に大きな影響を及ぼす。 そこで本研究では,実データではなく,暗黒フレームからノイズモデルを学習し,データ依存を分解する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-13T14:14:43Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Impact of L1 Batch Normalization on Analog Noise Resistant Property of Deep Learning Models [3.520496620951778]
  本研究では, 耐雑音性に優れたディープニューラルネットワーク(DNN)モデルの設計におけるL1型やTopK BatchNorm型の使用を提案する。 その結果, モデル重量に添加音を注入し, ノイズによる新しいモデル推定精度を評価することにより, モデル耐雑音性を検証した。 その結果,L1型とTopK BatchNorm型は耐雑音性に優れており,BatchNorm型がL2からL1/TopK BatchNorm型に変更されたため,性能上の犠牲はないことがわかった。
  論文  参考訳（メタデータ） (2022-05-07T22:23:21Z)
• Robust Learning of Recurrent Neural Networks in Presence of Exogenous Noise [22.690064709532873]
  入力雑音を受けるRNNモデルに対するトラクタブルロバストネス解析を提案する。 線形化手法を用いてロバストネス測度を効率的に推定することができる。 提案手法はリカレントニューラルネットワークのロバスト性を大幅に改善する。
  論文  参考訳（メタデータ） (2021-05-03T16:45:05Z)
• Learning based signal detection for MIMO systems with unknown noise statistics [84.02122699723536]
  本論文では,未知のノイズ統計による信号を堅牢に検出する一般化最大確率(ML)推定器を考案する。 実際には、システムノイズに関する統計的な知識はほとんどなく、場合によっては非ガウス的であり、衝動的であり、分析不可能である。 我々のフレームワークは、ノイズサンプルのみを必要とする教師なしの学習アプローチによって駆動される。
  論文  参考訳（メタデータ） (2021-01-21T04:48:15Z)
• Deep Networks for Direction-of-Arrival Estimation in Low SNR [89.45026632977456]
  我々は,真の配列多様体行列の変異チャネルデータから学習した畳み込みニューラルネットワーク(CNN)を導入する。 我々は低SNR体制でCNNを訓練し、すべてのSNRでDoAを予測する。 私たちの堅牢なソリューションは、ワイヤレスアレイセンサーから音響マイクロフォンやソナーまで、いくつかの分野に適用できます。
  論文  参考訳（メタデータ） (2020-11-17T12:52:18Z)
• Robust Processing-In-Memory Neural Networks via Noise-Aware Normalization [26.270754571140735]
  PIM加速器は、しばしば物理的成分の固有のノイズに悩まされる。 雑音設定に対してロバストなニューラルネットワーク性能を実現するためのノイズ非依存手法を提案する。
  論文  参考訳（メタデータ） (2020-07-07T06:51:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。