論文の概要: Neural auto-association with optimal Bayesian learning

• arxiv url: http://arxiv.org/abs/2412.18349v1
• Date: Tue, 24 Dec 2024 11:22:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:56:19.511632
• Title: Neural auto-association with optimal Bayesian learning
• Title（参考訳）: 最適なベイズ学習による神経自己解離
• Authors: Andreas Knoblauch,
• Abstract要約: 本稿では,入力層と出力層が同一である自己連想のためのベイズ連想ネットワークについて検討する。 性能は、単純ベイズの仮定に反する入力コンポーネントの微妙な依存関係に依存する可能性があることが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Neural associative memories are single layer perceptrons with fast synaptic learning typically storing discrete associations between pairs of neural activity patterns. Previous works have analyzed the optimal networks under naive Bayes assumptions of independent pattern components and heteroassociation, where the task is to learn associations from input to output patterns. Here I study the optimal Bayesian associative network for auto-association where input and output layers are identical. In particular, I compare performance to different variants of approximate Bayesian learning rules, like the BCPNN (Bayesian Confidence Propagation Neural Network), and try to explain why sometimes the suboptimal learning rules achieve higher storage capacity than the (theoretically) optimal model. It turns out that performance can depend on subtle dependencies of input components violating the ``naive Bayes'' assumptions. This includes patterns with constant number of active units, iterative retrieval where patterns are repeatedly propagated through recurrent networks, and winners-take-all activation of the most probable units. Performance of all learning rules can improve significantly if they include a novel adaptive mechanism to estimate noise in iterative retrieval steps (ANE). The overall maximum storage capacity is achieved again by the Bayesian learning rule with ANE.
• Abstract（参考訳）: ニューラル・アソシアティブ・メモリ(Neural Associative memory)は、高速なシナプス学習を伴う単一層パーセプトロンであり、通常、一対のニューラル・アクティビティー・パターン間の個別の関連を記憶する。 従来の研究は、独立したパターン成分とヘテロアソシエーションのベイズ仮定の下で最適なネットワークを分析しており、そこでは入力から出力パターンまでの関連を学習する。 本稿では,入力層と出力層が同一となる自己連想のためのベイズ連想ネットワークについて検討する。 特に、BCPNN(Bayesian Confidence Propagation Neural Network)のようなベイズ的学習規則の様々な変種と比較し、なぜ最適学習規則が(理論的に)最適モデルよりも高い記憶能力を達成するのかを説明する。 その結果、パフォーマンスは入力コンポーネントの微妙な依存関係に依存し、‘naive Bayes’の仮定に違反していることがわかった。 これには、一定数のアクティブユニットを持つパターン、繰り返し発生するパターンを繰り返し伝播する反復的検索、最も確率の高いユニットの勝者が全て活性化するパターンが含まれる。 繰り返し探索ステップ(ANE)における雑音を推定する新しい適応機構を含む場合、全ての学習規則の性能は大幅に向上する。 全体的な最大ストレージ容量は、ANEによるベイズ学習規則によって再び達成される。

関連論文リスト

• Learning Discretized Bayesian Networks with GOMEA [0.0]
  我々は、可変離散化を共同学習するために、既存の最先端構造学習アプローチを拡張した。 これにより、専門家の知識をユニークな洞察に富んだ方法で組み込むことができ、複雑性、正確性、および事前に決定された専門家ネットワークとの差異をトレードオフする複数のDBNを見つけることができることを示す。
  論文  参考訳（メタデータ） (2024-02-19T14:29:35Z)
• Benchmarking Hebbian learning rules for associative memory [0.0]
  連想記憶は認知と計算の脳科学における重要な概念である。 ストレージ容量とプロトタイプ抽出に関する6つの異なる学習ルールをベンチマークする。
  論文  参考訳（メタデータ） (2023-12-30T21:49:47Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Characterizing and overcoming the greedy nature of learning in multi-modal deep neural networks [62.48782506095565]
  深層ニューラルネットワークにおける学習の欲張った性質から、モデルは一つのモダリティにのみ依存する傾向にあり、他のモダリティには不適合であることを示す。 本稿では,学習中のモーダル間の条件付き学習速度のバランスをとるアルゴリズムを提案し,グリージー学習の問題に対処できることを実証する。
  論文  参考訳（メタデータ） (2022-02-10T20:11:21Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Multi-Sample Online Learning for Spiking Neural Networks based on Generalized Expectation Maximization [42.125394498649015]
  スパイキングニューラルネットワーク(SNN)は、バイナリニューラルダイナミックアクティベーションを通じて処理することで、生物学的脳の効率の一部をキャプチャする。 本稿では, シナプス重みを共有しながら, 独立したスパイキング信号をサンプリングする複数のコンパートメントを活用することを提案する。 鍵となる考え方は、これらの信号を使ってログライクなトレーニング基準のより正確な統計的推定と勾配を求めることである。
  論文  参考訳（メタデータ） (2021-02-05T16:39:42Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Separation of Memory and Processing in Dual Recurrent Neural Networks [0.0]
  入力に接続する繰り返し層とフィードフォワード層を積み重ねるニューラルネットワークアーキテクチャを探索する。 繰り返し単位の活性化関数にノイズが導入されたとき、これらのニューロンは二項活性化状態に強制され、ネットワークは有限オートマトンのように振る舞う。
  論文  参考訳（メタデータ） (2020-05-17T11:38:42Z)
• Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
  ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。 本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
  論文  参考訳（メタデータ） (2020-04-29T01:28:32Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。