論文の概要: NoisyNN: Exploring the Influence of Information Entropy Change in Learning Systems

• arxiv url: http://arxiv.org/abs/2309.10625v3
• Date: Fri, 2 Feb 2024 20:02:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 05:07:00.889081
• Title: NoisyNN: Exploring the Influence of Information Entropy Change in Learning Systems
• Title（参考訳）: NoisyNN:学習システムにおける情報エントロピー変化の影響を探る
• Authors: Xiaowei Yu, Zhe Huang, Yao Xue, Lu Zhang, Li Wang, Tianming Liu, Dajiang Zhu
• Abstract要約: 本研究では,特定の条件下での各種深層建築物の性能向上効果を示す。 ノイズが作業の複雑さを軽減するのに役立つかどうかに基づいて、ノイズを正ノイズ(PN)と有害ノイズ(HN)の2つのタイプに分類する。
• 参考スコア（独自算出の注目度）: 25.05692528736342
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We explore the impact of entropy change in deep learning systems via noise injection at different levels, i.e., the latent space and input image. The series of models that employ our methodology are collectively known as Noisy Neural Networks (NoisyNN), with examples such as NoisyViT and NoisyCNN. Noise is conventionally viewed as a harmful perturbation in various deep learning architectures, such as convolutional neural networks (CNNs) and vision transformers (ViTs), as well as different learning tasks like image classification and transfer learning. However, this work shows noise can be an effective way to change the entropy of the learning system. We demonstrate that specific noise can boost the performance of various deep architectures under certain conditions. We theoretically prove the enhancement gained from positive noise by reducing the task complexity defined by information entropy and experimentally show the significant performance gain in large image datasets, such as the ImageNet. Herein, we use the information entropy to define the complexity of the task. We categorize the noise into two types, positive noise (PN) and harmful noise (HN), based on whether the noise can help reduce the complexity of the task. Extensive experiments of CNNs and ViTs have shown performance improvements by proactively injecting positive noise, where we achieved an unprecedented top 1 accuracy of over 95$\%$ on ImageNet. Both theoretical analysis and empirical evidence have confirmed that the presence of positive noise, can benefit the learning process, while the traditionally perceived harmful noise indeed impairs deep learning models. The different roles of noise offer new explanations for deep models on specific tasks and provide a new paradigm for improving model performance. Moreover, it reminds us that we can influence the performance of learning systems via information entropy change.
• Abstract（参考訳）: 本研究では,様々なレベルのノイズインジェクション,すなわち潜在空間と入力画像を用いて,深層学習システムにおけるエントロピー変化の影響について検討する。 我々の手法を応用した一連のモデルは、まとめてNoisy Neural Networks (NoisyNN)と呼ばれ、NoisyViTやNoisyCNNのような例がある。 ノイズは従来、畳み込みニューラルネットワーク(cnns)や視覚トランスフォーマー(vits)といったさまざまなディープラーニングアーキテクチャや、画像分類や転送学習といったさまざまな学習タスクにおいて、有害な摂動と見なされる。 しかし,本研究では,ノイズが学習システムのエントロピーを変える効果的な方法であることを示す。 特定の雑音が特定の条件下で様々な深層建築の性能を高めることを実証する。 本研究では,情報エントロピーによって定義されるタスク複雑性を低減し,画像ネットなどの大規模画像データセットにおいて有意な性能向上を実験的に示すことにより,正の雑音から得られる拡張を理論的に証明する。 ここでは,情報エントロピーを用いてタスクの複雑さを定義する。 ノイズが作業の複雑さを軽減するのに役立つかどうかに基づいて、ノイズを正ノイズ(PN)と有害ノイズ(HN)の2つのタイプに分類する。 CNNとViTの大規模な実験では、積極的に正のノイズを注入することでパフォーマンスが向上し、ImageNet上で95$\%以上の前例のないトップ1の精度を達成した。 理論的な分析と実証的な証拠の両方が、正のノイズの存在は学習プロセスにとって有益であり、伝統的に有害なノイズが深層学習モデルに悪影響を及ぼすことを証明している。 ノイズの異なる役割は、特定のタスクに関するディープモデルに対する新しい説明を提供し、モデルパフォーマンスを改善するための新しいパラダイムを提供する。 さらに,情報エントロピー変化によって学習システムの性能に影響を及ぼすことができることを思い出させる。

関連論文リスト

• Data Augmentation in Training CNNs: Injecting Noise to Images [0.0]
  本研究では,CNNアーキテクチャに様々な大きさの異なるノイズモデルを追加したり,適用したりすることの効果について分析する。 基本的な結果は、機械学習における一般的な概念のほとんどに適合している。 新しいアプローチは、画像分類のための最適な学習手順をよりよく理解する。
  論文  参考訳（メタデータ） (2023-07-12T17:29:42Z)
• Masked Image Training for Generalizable Deep Image Denoising [53.03126421917465]
  本稿では,デノナイジングネットワークの一般化性能を高めるための新しい手法を提案する。 提案手法では,入力画像のランダムなピクセルをマスキングし,学習中に欠落した情報を再構成する。 提案手法は,他のディープラーニングモデルよりも優れた一般化能力を示し,実世界のシナリオに直接適用可能である。
  論文  参考訳（メタデータ） (2023-03-23T09:33:44Z)
• Noise Injection as a Probe of Deep Learning Dynamics [0.0]
  ノイズインジェクションノード(NIN)を用いたシステム摂動により,ディープニューラルネットワーク(DNN)の学習メカニズムを探索する新しい手法を提案する。 このシステムは,音の音量によって予測される訓練中に異なる位相を呈することがわかった。 ノイズノードの進化は、乱れのない損失のそれと似ており、NINを使って将来、完全なシステムについてより深く学ぶ可能性を示している。
  論文  参考訳（メタデータ） (2022-10-24T20:51:59Z)
• Treatment Learning Causal Transformer for Noisy Image Classification [62.639851972495094]
  本研究では,この2値情報「ノイズの存在」を画像分類タスクに組み込んで予測精度を向上させる。 因果的変動推定から動機付け,雑音画像分類のための頑健な特徴表現を潜在生成モデルを用いて推定するトランスフォーマーに基づくアーキテクチャを提案する。 また、パフォーマンスベンチマークのための幅広いノイズ要素を取り入れた、新しいノイズの多い画像データセットも作成する。
  論文  参考訳（メタデータ） (2022-03-29T13:07:53Z)
• Practical Blind Image Denoising via Swin-Conv-UNet and Data Synthesis [148.16279746287452]
  本研究では,残差畳み込み層の局所モデリング能力とスウィントランスブロックの非局所モデリング能力を組み込むスウィンコンブブロックを提案する。 トレーニングデータ合成のために,異なる種類のノイズを考慮した実用的なノイズ劣化モデルの設計を行う。 AGWN除去と実画像復号化の実験は、新しいネットワークアーキテクチャ設計が最先端の性能を達成することを実証している。
  論文  参考訳（メタデータ） (2022-03-24T18:11:31Z)
• Physics-based Noise Modeling for Extreme Low-light Photography [63.65570751728917]
  CMOS光センサの撮像パイプラインにおけるノイズ統計について検討する。 実雑音構造を正確に特徴付けることのできる包括的ノイズモデルを定式化する。 我々のノイズモデルは、学習に基づく低照度復調アルゴリズムのためのリアルなトレーニングデータを合成するのに利用できる。
  論文  参考訳（メタデータ） (2021-08-04T16:36:29Z)
• Unpaired Learning of Deep Image Denoising [80.34135728841382]
  本稿では,自己指導型学習と知識蒸留を取り入れた2段階の手法を提案する。 自己教師型学習では,実雑音の画像のみから視覚を学習するための拡張型盲点ネットワーク(D-BSN)を提案する。 実験の結果,本手法は合成ノイズ画像と実世界のノイズ画像の両方で良好に機能することがわかった。
  論文  参考訳（メタデータ） (2020-08-31T16:22:40Z)
• Robust Processing-In-Memory Neural Networks via Noise-Aware Normalization [26.270754571140735]
  PIM加速器は、しばしば物理的成分の固有のノイズに悩まされる。 雑音設定に対してロバストなニューラルネットワーク性能を実現するためのノイズ非依存手法を提案する。
  論文  参考訳（メタデータ） (2020-07-07T06:51:28Z)
• Variational Denoising Network: Toward Blind Noise Modeling and Removal [59.36166491196973]
  ブラインド画像のデノイングはコンピュータビジョンにおいて重要な問題であるが、非常に難しい問題である。 本稿では,ノイズ推定と画像デノーミングを併用した新しい変分推論手法を提案する。
  論文  参考訳（メタデータ） (2019-08-29T15:54:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。