論文の概要: Robustness Enhancement in Neural Networks with Alpha-Stable Training Noise

• arxiv url: http://arxiv.org/abs/2311.10803v1
• Date: Fri, 17 Nov 2023 10:00:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 14:10:59.847569
• Title: Robustness Enhancement in Neural Networks with Alpha-Stable Training Noise
• Title（参考訳）: アルファ安定トレーニングノイズを用いたニューラルネットワークのロバスト性向上
• Authors: Xueqiong Yuan, Jipeng Li, Ercan Engin Kuruo\u{g}lu
• Abstract要約: 本研究では,非ガウス音,特にアルファ安定雑音に対する強い強靭性の可能性について検討する。 ガウス雑音とアルファ安定雑音で訓練したモデルの試験精度を比較することで,ガウス雑音よりもアルファ安定雑音で訓練した方が有効であることがわかった。 トレーニングデータに通常付加されるガウス雑音をアルファ安定雑音で置き換える新しいデータ拡張法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the increasing use of deep learning on data collected by non-perfect sensors and in non-perfect environments, the robustness of deep learning systems has become an important issue. A common approach for obtaining robustness to noise has been to train deep learning systems with data augmented with Gaussian noise. In this work, we challenge the common choice of Gaussian noise and explore the possibility of stronger robustness for non-Gaussian impulsive noise, specifically alpha-stable noise. Justified by the Generalized Central Limit Theorem and evidenced by observations in various application areas, alpha-stable noise is widely present in nature. By comparing the testing accuracy of models trained with Gaussian noise and alpha-stable noise on data corrupted by different noise, we find that training with alpha-stable noise is more effective than Gaussian noise, especially when the dataset is corrupted by impulsive noise, thus improving the robustness of the model. The generality of this conclusion is validated through experiments conducted on various deep learning models with image and time series datasets, and other benchmark corrupted datasets. Consequently, we propose a novel data augmentation method that replaces Gaussian noise, which is typically added to the training data, with alpha-stable noise.
• Abstract（参考訳）: 非完全センサや非完全環境のデータに対するディープラーニングの利用の増加に伴い、ディープラーニングシステムの堅牢性は重要な問題となっている。 ノイズに対する堅牢性を得るための一般的なアプローチは、ガウス雑音を付加したデータを用いたディープラーニングシステムの訓練である。 本研究では,ガウス雑音の一般的な選択に挑戦し,非ガウス雑音,特にアルファ安定雑音に対する強靭性の可能性を探る。 一般中央極限理論によって正当化され、様々な応用領域での観測によって証明されたアルファ安定雑音は自然界に広く存在している。 ガウス雑音とアルファ安定雑音で訓練したモデルの試験精度を比較することにより、ガウス雑音よりもアルファ安定雑音で訓練した方が、特にインパルス雑音でデータセットが破損した場合に有効であることが判明し、モデルの堅牢性が改善される。 この結論の一般性は、画像および時系列データセットを含むさまざまなディープラーニングモデルおよび他のベンチマーク破損データセットで実施された実験によって検証される。 そこで本研究では,学習データに典型的に付加されるガウス雑音をアルファ安定雑音に置き換える新しいデータ拡張法を提案する。

関連論文リスト

• NoiseBench: Benchmarking the Impact of Real Label Noise on Named Entity Recognition [3.726602636064681]
  そこで本研究では,実雑音がシミュレーションノイズよりもはるかに難易度が高いことを示す。 ノイズロスト学習の最先端モデルが理論的に達成可能な上限よりもはるかに低くなることを示す。
  論文  参考訳（メタデータ） (2024-05-13T10:20:31Z)
• SoftPatch: Unsupervised Anomaly Detection with Noisy Data [67.38948127630644]
  本稿では,画像センサ異常検出におけるラベルレベルのノイズを初めて考察する。 本稿では,メモリベースの非教師付きAD手法であるSoftPatchを提案する。 既存の手法と比較して、SoftPatchは通常のデータの強力なモデリング能力を維持し、コアセットにおける過信問題を軽減する。
  論文  参考訳（メタデータ） (2024-03-21T08:49:34Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation [80.07065346699005]
  GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。 我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。 本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
  論文  参考訳（メタデータ） (2023-01-23T19:57:58Z)
• CFNet: Conditional Filter Learning with Dynamic Noise Estimation for Real Image Denoising [37.29552796977652]
  本稿では、カメラ内信号処理パイプラインを用いた異方性ガウス/ポアソンガウス分布によって近似された実雑音について考察する。 本稿では,特徴位置の異なる最適なカーネルを画像とノイズマップの局所的特徴により適応的に推定できる条件付きフィルタを提案する。 また,CNN構造にノイズ推定や非ブラインド復調を行う場合,反復的特徴復調を導出する前に連続的にノイズを更新すると考える。
  論文  参考訳（メタデータ） (2022-11-26T14:28:54Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Rethinking Noise Synthesis and Modeling in Raw Denoising [75.55136662685341]
  センサの実際の雑音を直接サンプリングすることで、ノイズを合成する新しい視点を導入する。 それは本質的に、異なるカメラセンサーに対して正確な生画像ノイズを発生させる。
  論文  参考訳（メタデータ） (2021-10-10T10:45:24Z)
• Removing Noise from Extracellular Neural Recordings Using Fully Convolutional Denoising Autoencoders [62.997667081978825]
  ノイズの多いマルチチャネル入力からクリーンなニューロン活動信号を生成することを学習する完全畳み込みデノイングオートエンコーダを提案する。 シミュレーションデータを用いた実験結果から,提案手法はノイズ崩壊型ニューラルネットワークの品質を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-09-18T14:51:24Z)
• Determining the origin of impulsive noise events using paired wireless sound sensors [0.0]
  本研究では,一対の無線ノイズセンサを用いてインパルスノイズの発生源を特定する方法について検討する。 1つのセンサを既知のノイズ源に、もう1つのセンサをノイズ受信機に配置する。 プライバシー問題を避けるために、このアプローチでは、音をプライバシー互換のスペクトログラムに変換する、オンプレミスのプリプロセッシングを使用している。
  論文  参考訳（メタデータ） (2021-08-23T14:19:42Z)
• Denoising Distantly Supervised Named Entity Recognition via a Hypergeometric Probabilistic Model [26.76830553508229]
  ハイパージオメトリ・ラーニング(HGL)は、遠距離教師付きエンティティ認識のための認知アルゴリズムである。 HGLはノイズ分布とインスタンスレベルの信頼性の両方を考慮に入れている。 実験により、HGLは遠方の監督から取得した弱いラベル付きデータを効果的に復調できることが示された。
  論文  参考訳（メタデータ） (2021-06-17T04:01:25Z)
• Dynamic Layer Customization for Noise Robust Speech Emotion Recognition in Heterogeneous Condition Training [16.807298318504156]
  ノイズ条件毎に,サンプルを特殊特徴エンコーダに動的にルーティングすることで,性能を向上できることを示す。 時間的順序付けを動的にルーティングすることで,これらの改善をマルチモーダル設定に拡張する。
  論文  参考訳（メタデータ） (2020-10-21T18:07:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。