論文の概要: Training neural networks with structured noise improves classification and generalization

• arxiv url: http://arxiv.org/abs/2302.13417v6
• Date: Fri, 31 May 2024 21:01:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 23:35:51.845637
• Title: Training neural networks with structured noise improves classification and generalization
• Title（参考訳）: 構造化雑音によるニューラルネットワークの学習は分類と一般化を改善する
• Authors: Marco Benedetti, Enrico Ventura,
• Abstract要約: ノイズの多いトレーニングデータに構造を加えることで,アルゴリズムの性能が大幅に向上することを示す。 また,Hebbian Unlearning(ヘビアン・アンラーニング・ルール)と呼ばれる規則は,雑音が最大値である場合のトレーニング・ウィズ・ノイズ・アルゴリズムと一致することを証明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The beneficial role of noise-injection in learning is a consolidated concept in the field of artificial neural networks, suggesting that even biological systems might take advantage of similar mechanisms to optimize their performance. The training-with-noise algorithm proposed by Gardner and collaborators is an emblematic example of a noise-injection procedure in recurrent networks, which can be used to model biological neural systems. We show how adding structure to noisy training data can substantially improve the algorithm performance, allowing the network to approach perfect retrieval of the memories and wide basins of attraction, even in the scenario of maximal injected noise. We also prove that the so-called Hebbian Unlearning rule coincides with the training-with-noise algorithm when noise is maximal and data are stable fixed points of the network dynamics.
• Abstract（参考訳）: 学習におけるノイズ注入の利点は、人工ニューラルネットワークの分野における統合された概念であり、生物学的システムでさえ、その性能を最適化するために同様のメカニズムを利用する可能性があることを示唆している。 ガードナーと共同研究者によって提案されたトレーニング・ウィズ・ノイズ・アルゴリズムは、生物学的ニューラルネットワークのモデル化に使用できるリカレントネットワークにおけるノイズ注入手順の象徴的な例である。 雑音の多い学習データに構造を加えることでアルゴリズムの性能が大幅に向上し、最大射出雑音のシナリオにおいても、ネットワークは記憶の完全検索やアトラクションの広い流域にアプローチできることを示す。 また,いわゆるヘビアン・アンラーニング則は,ノイズが最大であり,データがネットワーク力学の安定な固定点である場合に,トレーニング・ウィズ・ノイズ・アルゴリズムと一致することを証明した。

関連論文リスト

• Impact of white noise in artificial neural networks trained for classification: performance and noise mitigation strategies [0.0]
  ニューロンレベルでの加法的および乗法的なガウスホワイトノイズがネットワークの精度に与える影響を考察する。 我々はいくつかのノイズ低減手法を分類タスクの基本設定に適用する。
  論文  参考訳（メタデータ） (2024-11-07T01:21:12Z)
• Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
  本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。 本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。 本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:40:07Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Enhanced quantum state preparation via stochastic prediction of neural network [0.8287206589886881]
  本稿では,ニューラルネットワークの知識盲点を生かして,アルゴリズムの有効性を高めるための興味深い道を探る。 本手法は,半導体ダブル量子ドットシステムにおける任意の量子状態の生成に使用される機械学習アルゴリズムを中心にしている。 ニューラルネットワークが生成した予測を活用することにより、最適化プロセスの導出により、局所最適化を回避できる。
  論文  参考訳（メタデータ） (2023-07-27T09:11:53Z)
• The Integrated Forward-Forward Algorithm: Integrating Forward-Forward and Shallow Backpropagation With Local Losses [0.0]
  本稿では,FFAと浅部バックプロパゲーションの双方の強度を組み合わせた統合手法を提案する。 Integrated Forward-Forward Algorithmでニューラルネットワークをトレーニングすることは、ロバストネスのような有利な特徴を持つニューラルネットワークを生成する可能性を秘めている。
  論文  参考訳（メタデータ） (2023-05-22T12:10:47Z)
• Properties and Potential Applications of Random Functional-Linked Types of Neural Networks [81.56822938033119]
  ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。 本稿では周波数領域の観点からRFLNNの特性について考察する。 本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-04-03T13:25:22Z)
• The Predictive Forward-Forward Algorithm [79.07468367923619]
  本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。 我々は,有向生成回路と表現回路を同時に同時に学習する,新しい動的リカレントニューラルネットワークを設計する。 PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
  論文  参考訳（メタデータ） (2023-01-04T05:34:48Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Analytically Tractable Inference in Deep Neural Networks [0.0]
  Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。 従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
  論文  参考訳（メタデータ） (2021-03-09T14:51:34Z)
• Stochastic Markov Gradient Descent and Training Low-Bit Neural Networks [77.34726150561087]
  本稿では,量子化ニューラルネットワークのトレーニングに適用可能な離散最適化手法であるGradient Markov Descent (SMGD)を紹介する。 アルゴリズム性能の理論的保証と数値的な結果の促進を提供する。
  論文  参考訳（メタデータ） (2020-08-25T15:48:15Z)
• Robust Processing-In-Memory Neural Networks via Noise-Aware Normalization [26.270754571140735]
  PIM加速器は、しばしば物理的成分の固有のノイズに悩まされる。 雑音設定に対してロバストなニューラルネットワーク性能を実現するためのノイズ非依存手法を提案する。
  論文  参考訳（メタデータ） (2020-07-07T06:51:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。