論文の概要: A Sparse Coding Interpretation of Neural Networks and Theoretical
Implications
- arxiv url: http://arxiv.org/abs/2108.06622v1
- Date: Sat, 14 Aug 2021 21:54:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-18 06:15:56.979778
- Title: A Sparse Coding Interpretation of Neural Networks and Theoretical
Implications
- Title(参考訳): ニューラルネットワークのスパース符号化解釈と理論的意味
- Authors: Joshua Bowren
- Abstract要約: 深層畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて前例のない性能を達成した。
本稿では、ReLUアクティベーションを持つニューラルネットワークのスパース符号化解釈を提案する。
正規化やプーリングなしに完全な畳み込みニューラルネットワークを導出する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks, specifically deep convolutional neural networks, have
achieved unprecedented performance in various computer vision tasks, but the
rationale for the computations and structures of successful neural networks is
not fully understood. Theories abound for the aptitude of convolutional neural
networks for image classification, but less is understood about why such models
would be capable of complex visual tasks such as inference and anomaly
identification. Here, we propose a sparse coding interpretation of neural
networks that have ReLU activation and of convolutional neural networks in
particular. In sparse coding, when the model's basis functions are assumed to
be orthogonal, the optimal coefficients are given by the soft-threshold
function of the basis functions projected onto the input image. In a
non-negative variant of sparse coding, the soft-threshold function becomes a
ReLU. Here, we derive these solutions via sparse coding with orthogonal-assumed
basis functions, then we derive the convolutional neural network forward
transformation from a modified non-negative orthogonal sparse coding model with
an exponential prior parameter for each sparse coding coefficient. Next, we
derive a complete convolutional neural network without normalization and
pooling by adding logistic regression to a hierarchical sparse coding model.
Finally we motivate potentially more robust forward transformations by
maintaining sparse priors in convolutional neural networks as well performing a
stronger nonlinear transformation.
- Abstract(参考訳): ニューラルネットワーク、特に深層畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて前例のないパフォーマンスを達成しているが、成功したニューラルネットワークの計算と構造に関する根拠は完全には理解されていない。
画像分類のための畳み込みニューラルネットワークの適性の理論は多いが、なぜそのようなモデルが推論や異常識別のような複雑な視覚的タスクを実現できるのかについては理解されていない。
本稿では、ReLUアクティベーションを持つニューラルネットワークのスパース符号化解釈と、特に畳み込みニューラルネットワークを提案する。
スパース符号化では、モデルの基底関数が直交であると仮定すると、最適係数は入力画像に投影された基底関数のソフト閾値関数によって与えられる。
スパース符号の非負の変種では、ソフトスレッショルド関数はReLUとなる。
ここでは、直交推定基底関数によるスパース符号化を用いてこれらの解を導出し、各スパース符号化係数に対して指数的事前パラメータを持つ修正非負の直交スパース符号化モデルから畳み込みニューラルネットワーク前方変換を導出する。
次に,階層的スパース符号化モデルにロジスティック回帰を追加することにより,正規化やプール化を伴わない完全畳み込みニューラルネットワークを導出する。
最後に、畳み込みニューラルネットワークにおけるスパースプリアーを維持し、より強固な非線形変換を行うことで、より強固なフォワード変換を動機付ける。
関連論文リスト
- Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳(メタデータ) (2023-02-27T18:52:38Z) - Exploring the Approximation Capabilities of Multiplicative Neural
Networks for Smooth Functions [9.936974568429173]
対象関数のクラスは、一般化帯域制限関数とソボレフ型球である。
以上の結果から、乗法ニューラルネットワークは、これらの関数をはるかに少ない層とニューロンで近似できることを示した。
これらの結果は、乗法ゲートが標準フィードフォワード層より優れ、ニューラルネットワーク設計を改善する可能性があることを示唆している。
論文 参考訳(メタデータ) (2023-01-11T17:57:33Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - Optimal Learning Rates of Deep Convolutional Neural Networks: Additive
Ridge Functions [19.762318115851617]
深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。
付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
論文 参考訳(メタデータ) (2022-02-24T14:22:32Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳(メタデータ) (2021-10-12T01:11:07Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-06-15T06:39:13Z) - Deep Kronecker neural networks: A general framework for neural networks
with adaptive activation functions [4.932130498861987]
我々は,適応的アクティベーション機能を持つニューラルネットワークの汎用フレームワークとして,新しいタイプのニューラルネットワークKronecker Neural Network(KNN)を提案する。
適切な条件下では、KNNはフィードフォワードネットワークによる損失よりも早く損失を減少させる。
論文 参考訳(メタデータ) (2021-05-20T04:54:57Z) - Modeling the Nonsmoothness of Modern Neural Networks [35.93486244163653]
ピークの大きさの和(SMP)という特徴を用いて不滑らかさを定量化する。
この非平滑性機能は、ニューラルネットワークの回帰ベースのアプリケーションのためのフォレンジックツールとして利用される可能性があると考えます。
論文 参考訳(メタデータ) (2021-03-26T20:55:19Z) - A Deep Conditioning Treatment of Neural Networks [37.192369308257504]
本研究では,入力データの特定のカーネル行列の条件付けを改善することにより,ニューラルネットワークのトレーニング性を向上させることを示す。
ニューラルネットワークの上位層のみのトレーニングと、ニューラルネットワークのタンジェントカーネルを通じてすべてのレイヤをトレーニングするための学習を行うためのバージョンを提供しています。
論文 参考訳(メタデータ) (2020-02-04T20:21:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。