論文の概要: Binary autoencoder with random binary weights

• arxiv url: http://arxiv.org/abs/2004.14717v1
• Date: Thu, 30 Apr 2020 12:13:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 03:21:28.277496
• Title: Binary autoencoder with random binary weights
• Title（参考訳）: ランダムバイナリ重み付きバイナリオートエンコーダ
• Authors: Viacheslav Osaulenko
• Abstract要約: 層間情報を保存するために,隠蔽層の疎活性化が自然に起こることが示されている。 十分に大きな隠蔽層があれば、ニューロンのしきい値を変えるだけで任意の入力に対する再構成誤差をゼロにすることができる。 このモデルはフルーツフライの嗅覚システムに似ており、提示された理論的結果はより複雑なニューラルネットワークを理解する上で有用な洞察を与える。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Here is presented an analysis of an autoencoder with binary activations $\{0, 1\}$ and binary $\{0, 1\}$ random weights. Such set up puts this model at the intersection of different fields: neuroscience, information theory, sparse coding, and machine learning. It is shown that the sparse activation of the hidden layer arises naturally in order to preserve information between layers. Furthermore, with a large enough hidden layer, it is possible to get zero reconstruction error for any input just by varying the thresholds of neurons. The model preserves the similarity of inputs at the hidden layer that is maximal for the dense hidden layer activation. By analyzing the mutual information between layers it is shown that the difference between sparse and dense representations is related to a memory-computation trade-off. The model is similar to an olfactory perception system of a fruit fly, and the presented theoretical results give useful insights toward understanding more complex neural networks.
• Abstract（参考訳）: ここでは、バイナリアクティベーション$\{0, 1\}$とバイナリ$\{0, 1\}$ランダムウェイトを持つオートエンコーダの分析を行う。 このような設定により、このモデルは神経科学、情報理論、スパースコーディング、機械学習といった異なる分野の交点となる。 層間情報を保存するために,隠蔽層の疎活性化が自然に起こることが示されている。 さらに、十分に大きな隠蔽層があれば、ニューロンのしきい値を変えるだけで任意の入力に対する再構成誤差をゼロにすることができる。 このモデルは、密閉層活性化の最大となる隠れ層における入力の類似性を保持する。 層間の相互情報を解析することにより、スパース表現と密度表現の差がメモリ計算トレードオフと関連していることを示す。 このモデルはフルーツフライの嗅覚システムに似ており、提示された理論的結果はより複雑なニューラルネットワークを理解する上で有用な洞察を与える。

関連論文リスト

• Neural Metamorphosis [72.88137795439407]
  本稿では,ニューラル・メタモルファス(NeuMeta)と呼ばれる,自己変形可能なニューラルネットワークの構築を目的とした新たな学習パラダイムを提案する。 NeuMetaはニューラルネットワークの連続重み多様体を直接学習する。 75%の圧縮速度でもフルサイズの性能を維持する。
  論文  参考訳（メタデータ） (2024-10-10T14:49:58Z)
• Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
  教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。 このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
  論文  参考訳（メタデータ） (2024-06-07T08:32:30Z)
• Codebook Features: Sparse and Discrete Interpretability for Neural Networks [43.06828312515959]
  ニューラルネットワークが、疎く、離散的で、より解釈可能な隠された状態を持つように訓練できるかどうかを探る。 コードブックの特徴は、各層にベクトル量子化ボトルネックを持つニューラルネットワークを微調整することによって生成される。 ニューラルネットワークは、パフォーマンスをわずかに低下させるだけで、この極端なボトルネックの下で動作できることがわかりました。
  論文  参考訳（メタデータ） (2023-10-26T08:28:48Z)
• Towards Disentangling Information Paths with Coded ResNeXt [11.884259630414515]
  ネットワーク全体の機能の透明性を高めるために,我々は新しいアプローチを採っている。 分類のためのニューラルネットワークアーキテクチャを提案し、各クラスに関連する情報が特定の経路を流れる。
  論文  参考訳（メタデータ） (2022-02-10T21:45:49Z)
• Deep ensembles in bioimage segmentation [74.01883650587321]
  本研究では,畳み込みニューラルネットワーク(CNN)のアンサンブルを提案する。 アンサンブル法では、多くの異なるモデルが訓練され、分類に使用され、アンサンブルは単一分類器の出力を集約する。 提案するアンサンブルは,DeepLabV3+とHarDNet環境を用いて,異なるバックボーンネットワークを組み合わせることで実現されている。
  論文  参考訳（メタデータ） (2021-12-24T05:54:21Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Hierarchical Associative Memory [2.66512000865131]
  Associative Memories や Modern Hopfield Networks は、多くの魅力的な特性を持っている。 パターン補完を行い、多数のメモリを格納し、リカレントニューラルネットワークを使用して記述することができる。 本稿では,任意の数のレイヤを持つ連想メモリの完全再帰モデルについて述べる。
  論文  参考訳（メタデータ） (2021-07-14T01:38:40Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)
• What Information Does a ResNet Compress? [0.0]
  情報ボトルネックの原理がResNetモデルを用いて現実的な設定に適用できるかどうかを検証する。 学習の2つの段階は、両方の訓練体制で起こり、圧縮はオートエンコーダでも起こります。
  論文  参考訳（メタデータ） (2020-03-13T13:02:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。