論文の概要: Training neural networks with structured noise improves classification
and generalization
- arxiv url: http://arxiv.org/abs/2302.13417v2
- Date: Thu, 2 Mar 2023 09:13:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-03 17:30:50.093570
- Title: Training neural networks with structured noise improves classification
and generalization
- Title(参考訳): 構造化雑音によるニューラルネットワークの学習は分類と一般化を改善する
- Authors: Marco Benedetti and Enrico Ventura
- Abstract要約: ノイズの多いトレーニングデータに構造を追加することで、メモリ性能が大幅に向上することを示す。
また、ノイズが最大値である場合、いわゆるアンラーニングルールは、トレーニング・ウィズ・ノイズ・アルゴリズムと一致することを証明した。
最適な雑音データのためのサンプリング手法を提案し, 学習方法と学習方法の両方に優れるように実装した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The beneficial role of noise in learning is nowadays a consolidated concept
in the field of artificial neural networks. The training-with-noise algorithm
proposed by Gardner and collaborators is an emblematic example of a noise
injection procedure in recurrent networks. We show how adding structure into
noisy training data can substantially improve memory performance, allowing to
approach perfect classification and maximal basins of attraction. We also prove
that the so-called unlearning rule coincides with the training-with-noise
algorithm when noise is maximal and data are fixed points of the network
dynamics. Moreover, a sampling scheme for optimal noisy data is proposed and
implemented to outperform both the training-with-noise and the unlearning
procedures.
- Abstract(参考訳): 学習におけるノイズの有益な役割は、現在、ニューラルネットワークの分野における統合概念である。
ガードナーと共同研究者が提案するトレーニング・ウィズ・ノイズ・アルゴリズムは、繰り返しネットワークにおけるノイズ注入の例である。
ノイズの多いトレーニングデータに構造を加えることで、メモリ性能が大幅に向上し、完全な分類とアトラクションの最大範囲にアプローチできることを示す。
また、ノイズが最大であり、データがネットワークダイナミクスの固定点である場合、いわゆるアンラーニングルールがトレーニング・アズ・ノイズアルゴリズムと一致することも証明する。
さらに, 最適雑音データのサンプリング手法を提案し, 学習手順と無学習手順の両方を上回るように実装した。
関連論文リスト
- The Integrated Forward-Forward Algorithm: Integrating Forward-Forward
and Shallow Backpropagation With Local Losses [0.0]
本稿では,FFAと浅部バックプロパゲーションの双方の強度を組み合わせた統合手法を提案する。
Integrated Forward-Forward Algorithmでニューラルネットワークをトレーニングすることは、ロバストネスのような有利な特徴を持つニューラルネットワークを生成する可能性を秘めている。
論文 参考訳(メタデータ) (2023-05-22T12:10:47Z) - Properties and Potential Applications of Random Functional-Linked Types
of Neural Networks [81.56822938033119]
ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。
本稿では周波数領域の観点からRFLNNの特性について考察する。
本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
論文 参考訳(メタデータ) (2023-04-03T13:25:22Z) - Sequential Learning from Noisy Data: Data-Assimilation Meets Echo-State
Network [0.0]
アンサンブルカルマンフィルタを用いた雑音観測を取り入れたエコー状態ネットワーク(ESN)のためのシーケンシャルトレーニングアルゴリズムを開発した。
その結果、カルマン訓練されたエコー状態ネットワーク(KalT-ESN)は、計算コストを抑えながら、最小二乗アルゴリズムで従来の訓練されたESNよりも優れていた。
論文 参考訳(メタデータ) (2023-04-01T02:03:08Z) - SA-CNN: Application to text categorization issues using simulated
annealing-based convolutional neural network optimization [0.0]
畳み込みニューラルネットワーク(CNN)は、ディープラーニングアルゴリズムの代表クラスである。
テキストCNNニューラルネットワークに基づくテキスト分類タスクのためのSA-CNNニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2023-03-13T14:27:34Z) - The Predictive Forward-Forward Algorithm [79.07468367923619]
本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。
我々は,有向生成回路と表現回路を同時に同時に学習する,新しい動的リカレントニューラルネットワークを設計する。
PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
論文 参考訳(メタデータ) (2023-01-04T05:34:48Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳(メタデータ) (2022-10-02T05:03:38Z) - Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。
スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。
公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文 参考訳(メタデータ) (2021-05-27T12:27:24Z) - Analytically Tractable Inference in Deep Neural Networks [0.0]
Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。
従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
論文 参考訳(メタデータ) (2021-03-09T14:51:34Z) - Stochastic Markov Gradient Descent and Training Low-Bit Neural Networks [77.34726150561087]
本稿では,量子化ニューラルネットワークのトレーニングに適用可能な離散最適化手法であるGradient Markov Descent (SMGD)を紹介する。
アルゴリズム性能の理論的保証と数値的な結果の促進を提供する。
論文 参考訳(メタデータ) (2020-08-25T15:48:15Z) - Robust Processing-In-Memory Neural Networks via Noise-Aware
Normalization [26.270754571140735]
PIM加速器は、しばしば物理的成分の固有のノイズに悩まされる。
雑音設定に対してロバストなニューラルネットワーク性能を実現するためのノイズ非依存手法を提案する。
論文 参考訳(メタデータ) (2020-07-07T06:51:28Z) - Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。
段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。
オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
論文 参考訳(メタデータ) (2020-02-17T18:57:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。