論文の概要: SoftHebb: Bayesian inference in unsupervised Hebbian soft winner-take-all networks

• arxiv url: http://arxiv.org/abs/2107.05747v1
• Date: Mon, 12 Jul 2021 21:34:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-14 14:57:57.341226
• Title: SoftHebb: Bayesian inference in unsupervised Hebbian soft winner-take-all networks
• Title（参考訳）: softhebb: unsupervised hebbian soft winner-take-all networkにおけるベイズ推定
• Authors: Timoleon Moraitis, Dmitry Toichkin, Yansong Chua, Qinghai Guo
• Abstract要約: 入賞者全員(WTA)ネットワークにおけるヘビアン学習は、教師されず、フィードフォワードであり、生物学的に妥当である。 我々は、生物学的に可塑性だが汎用的なANN要素に基づいて、そのような理論を正式に導出する。 我々は実際に我々の理論を確認し、手書き桁(MNIST)認識において、ヘビアンアルゴリズムであるSoftHebbは、それにアクセスすることなくクロスエントロピーを最小化する。
• 参考スコア（独自算出の注目度）: 1.125159338610819
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art artificial neural networks (ANNs) require labelled data or feedback between layers, are often biologically implausible, and are vulnerable to adversarial attacks that humans are not susceptible to. On the other hand, Hebbian learning in winner-take-all (WTA) networks, is unsupervised, feed-forward, and biologically plausible. However, an objective optimization theory for WTA networks has been missing, except under very limiting assumptions. Here we derive formally such a theory, based on biologically plausible but generic ANN elements. Through Hebbian learning, network parameters maintain a Bayesian generative model of the data. There is no supervisory loss function, but the network does minimize cross-entropy between its activations and the input distribution. The key is a "soft" WTA where there is no absolute "hard" winner neuron, and a specific type of Hebbian-like plasticity of weights and biases. We confirm our theory in practice, where, in handwritten digit (MNIST) recognition, our Hebbian algorithm, SoftHebb, minimizes cross-entropy without having access to it, and outperforms the more frequently used, hard-WTA-based method. Strikingly, it even outperforms supervised end-to-end backpropagation, under certain conditions. Specifically, in a two-layered network, SoftHebb outperforms backpropagation when the training dataset is only presented once, when the testing data is noisy, and under gradient-based adversarial attacks. Adversarial attacks that confuse SoftHebb are also confusing to the human eye. Finally, the model can generate interpolations of objects from its input distribution.
• Abstract（参考訳）: 最先端の人工知能ニューラルネットワーク(ANN)は、ラベル付きデータや層間のフィードバックを必要とし、しばしば生物学的に理解不能であり、人間が受容できない敵の攻撃に弱い。 一方で、wta(ウィナーテイク・オール)ネットワークでのヘビー学習は教師なし、フィードフォワード、生物学的に妥当である。 しかし、WTAネットワークに対する客観的最適化理論は、非常に限定的な仮定の下では欠落している。 ここでは、生物学的に可塑性だが一般的なANN要素に基づいて、そのような理論を正式に導出する。 ヘビアン学習を通じて、ネットワークパラメータはデータのベイズ生成モデルを維持する。 監視損失関数は存在しないが、ネットワークは活性化と入力分布の相互エントロピーを最小限に抑える。 鍵となるのは、絶対的な「硬い」勝者ニューロンが存在しない「ソフト」WTAと、重みと偏りのヘビアン的な可塑性である。 我々は実際に我々の理論を確認し、手書き桁(MNIST)認識において、我々のHebbアルゴリズムであるSoftHebbは、それにアクセスすることなくクロスエントロピーを最小化し、より頻繁に使用されるハードWTA法よりも優れている。 驚くべきことに、特定の条件下では、監視されたエンドツーエンドのバックプロパゲーションよりも優れています。 具体的には、2層ネットワークでは、トレーニングデータセットが1回だけ表示される場合、テストデータがノイズの多い場合、勾配ベースの敵攻撃下では、SoftHebbがバックプロパゲーションを上回っている。 SoftHebbを混乱させる敵攻撃も、人間の目には紛らわしい。 最後に、モデルは入力分布からオブジェクトの補間を生成することができる。

関連論文リスト

• Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
  このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。 記号の配置に非依存であり、それによって表現される意味論にのみ依存する。 識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
  論文  参考訳（メタデータ） (2024-05-12T22:18:25Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Look Beyond Bias with Entropic Adversarial Data Augmentation [4.893694715581673]
  ディープニューラルネットワークは、スパイラルパターンと因果パターンを区別せず、他を無視しながら最も予測的なパターンのみを学ぶ。 ネットワークをこのような刺激的なバイアスに頑健にするためにデバイアス法が開発されたが、データセットがバイアスを受けているかどうかを事前に知る必要がある。 本稿では,「隠された」因果情報がバイアス画像に含まれる場合が多いため,このようなサンプルは必ずしも必要ではない,と論じる。
  論文  参考訳（メタデータ） (2023-01-10T08:25:24Z)
• Unfolding Local Growth Rate Estimates for (Almost) Perfect Adversarial Detection [22.99930028876662]
  畳み込みニューラルネットワーク(CNN)は、多くの知覚的タスクにおける最先端のソリューションを定義する。 現在のCNNアプローチは、システムを騙すために特別に作られた入力の敵の摂動に対して脆弱なままである。 本稿では,ネットワークの局所固有次元(LID)と敵攻撃の関係について,最近の知見を生かした,シンプルで軽量な検出器を提案する。
  論文  参考訳（メタデータ） (2022-12-13T17:51:32Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Bayesian Nested Neural Networks for Uncertainty Calibration and Adaptive Compression [40.35734017517066]
  ネストネットワーク(Nested Network)またはスリムブルネットワーク(Slimmable Network)は、テスト期間中にアーキテクチャを即座に調整できるニューラルネットワークである。 最近の研究は、トレーニング中に重要なレイヤのノードを順序付けできる"ネストされたドロップアウト"層に焦点を当てている。
  論文  参考訳（メタデータ） (2021-01-27T12:34:58Z)
• How Powerful are Shallow Neural Networks with Bandlimited Random Weights? [25.102870584507244]
  制限深度2バンドランダムニューラルネットワークの表現力について検討する。 ランダムネットは、隠れた層パラメータがランダムな帯域幅で凍結されるニューラルネットワークである。
  論文  参考訳（メタデータ） (2020-08-19T13:26:12Z)
• How benign is benign overfitting? [96.07549886487526]
  深層ニューラルネットワークにおける敵対的脆弱性の2つの原因について検討する。 ディープニューラルネットワークは基本的にラベルノイズがある場合でも、トレーニングエラーをゼロにする。 我々は、ラベルノイズを敵対的脆弱性の原因の1つとみなしている。
  論文  参考訳（メタデータ） (2020-07-08T11:07:10Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)
• Depth-2 Neural Networks Under a Data-Poisoning Attack [2.105564340986074]
  本研究では,浅層ニューラルネットワークをレグレッション・セットアップでトレーニングしながら,データ中毒攻撃に対する防御の可能性について検討する。 本研究では,深度2有限幅ニューラルネットワークのクラスに対して教師あり学習を行うことに焦点をあてる。
  論文  参考訳（メタデータ） (2020-05-04T17:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。