論文の概要: Effect of top-down connections in Hierarchical Sparse Coding
- arxiv url: http://arxiv.org/abs/2002.00892v1
- Date: Mon, 3 Feb 2020 17:12:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-04 09:17:16.724873
- Title: Effect of top-down connections in Hierarchical Sparse Coding
- Title(参考訳): 階層的スパース符号化におけるトップダウン接続の効果
- Authors: Victor Boutin, Angelo Franciosini, Franck Ruffier, Laurent Perrinet
- Abstract要約: 本研究では,2L-SPCが生成した予測誤差が,層間で予測誤差を伝達するフィードバック機構により小さくなることを示す。
2L-SPCの推論段階は、Hi-Laモデルよりも高速に収束することを示した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hierarchical Sparse Coding (HSC) is a powerful model to efficiently represent
multi-dimensional, structured data such as images. The simplest solution to
solve this computationally hard problem is to decompose it into independent
layer-wise subproblems. However, neuroscientific evidence would suggest
inter-connecting these subproblems as in the Predictive Coding (PC) theory,
which adds top-down connections between consecutive layers. In this study, a
new model called 2-Layers Sparse Predictive Coding (2L-SPC) is introduced to
assess the impact of this inter-layer feedback connection. In particular, the
2L-SPC is compared with a Hierarchical Lasso (Hi-La) network made out of a
sequence of independent Lasso layers. The 2L-SPC and the 2-layers Hi-La
networks are trained on 4 different databases and with different sparsity
parameters on each layer. First, we show that the overall prediction error
generated by 2L-SPC is lower thanks to the feedback mechanism as it transfers
prediction error between layers. Second, we demonstrate that the inference
stage of the 2L-SPC is faster to converge than for the Hi-La model. Third, we
show that the 2L-SPC also accelerates the learning process. Finally, the
qualitative analysis of both models dictionaries, supported by their activation
probability, show that the 2L-SPC features are more generic and informative.
- Abstract(参考訳): 階層スパース符号化(HSC)は画像などの多次元構造データを効率的に表現する強力なモデルである。
この計算学的に難しい問題を解決する最も単純な解決策は、それを独立した層毎のサブプロブレムに分解することである。
しかし、神経科学的証拠は、予測符号化(pc)理論のようにこれらのサブプロブレムを相互に接続することを示唆する。
本研究では、この層間フィードバック接続の影響を評価するために、2層スパース予測符号化(2L-SPC)と呼ばれる新しいモデルを導入する。
特に、2L-SPCは、独立したLasso層からなる階層型Lasso(Hi-La)ネットワークと比較される。
2L-SPCと2層Hi-Laネットワークは4つの異なるデータベース上でトレーニングされ、各レイヤに異なる空間パラメータを持つ。
まず,2l-spcが生成する予測誤差は,層間の予測誤差を伝達するフィードバック機構により低下することを示した。
第二に、2l-spcの推論段階はhi-laモデルよりも収束が早いことを示す。
第3に,2L-SPCは学習過程を加速することを示した。
最後に、それらのアクティベーション確率によって支持される両モデルの辞書の質的解析により、2L-SPC特徴がより汎用的で情報的であることが示される。
関連論文リスト
- Layer-wise Linear Mode Connectivity [56.53308504862033]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識を融合させる直感的な方法である。
私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文 参考訳(メタデータ) (2023-07-13T09:39:10Z) - WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。
我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。
本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
論文 参考訳(メタデータ) (2023-01-03T20:57:22Z) - Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。
我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。
彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
論文 参考訳(メタデータ) (2022-12-05T14:47:52Z) - Biologically Plausible Training Mechanisms for Self-Supervised Learning
in Deep Networks [14.685237010856953]
我々は,深層ネットワークにおける自己教師付き学習(SSL)のための生物学的に妥当なトレーニング機構を開発する。
バックパゲーションの2つの選択肢のうちの1つを用いて学習を行うことができることを示す。
論文 参考訳(メタデータ) (2021-09-30T12:56:57Z) - A Hierarchical Deep Actor-Critic Learning Method for Joint Distribution
System State Estimation [1.7205106391379026]
グリッドエッジにおける顧客のリアルタイム監視は、重要なタスクとなっている。
ほぼリアルタイムなソリューションを実現するために,新しい階層型強化学習支援フレームワークを提案する。
論文 参考訳(メタデータ) (2020-12-04T22:38:21Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳(メタデータ) (2020-10-01T17:51:49Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳(メタデータ) (2020-09-08T13:10:21Z) - Tensor decomposition to Compress Convolutional Layers in Deep Learning [5.199454801210509]
本稿では,CP分解法を用いて,ディープラーニングにおける畳み込み層(CPAC-Conv層)を近似的に圧縮することを提案する。
提案するCPAC-Conv層に対して, 提案したCPAC-Conv層に対して, 提案したCPAC-Conv層を圧縮するためにCP分解を適用し, 提案したCPAC-Conv層と比較して, 提案したCPAC-Conv層は, 予測性能を損なうことなくパラメータ数を減少させることができ, (3) 分解されたカーネルの値は, 対応する特徴写像の意義を示す。
論文 参考訳(メタデータ) (2020-05-28T02:35:48Z) - Convolutional Networks with Dense Connectivity [59.30634544498946]
Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。
各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。
提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
論文 参考訳(メタデータ) (2020-01-08T06:54:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。