論文の概要: On the convergence of group-sparse autoencoders
- arxiv url: http://arxiv.org/abs/2102.07003v1
- Date: Sat, 13 Feb 2021 21:17:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-17 01:30:19.758994
- Title: On the convergence of group-sparse autoencoders
- Title(参考訳): 群分離オートエンコーダの収束について
- Authors: Emmanouil Theodosis, Bahareh Tolooshams, Pranay Tankala, Abiy Tasissa,
Demba Ba
- Abstract要約: 我々は,様々な生成モデルを考慮したグループスパースオートエンコーダを導入,研究する。
クラスタリングモデルの場合、アクティブなユニットの同じグループで発生する入力は同じクラスタに属します。
この設定では、ネットワークパラメータを生成行列の近傍に収束させることを理論的に証明する。
- 参考スコア(独自算出の注目度): 9.393652136001732
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent approaches in the theoretical analysis of model-based deep learning
architectures have studied the convergence of gradient descent in shallow ReLU
networks that arise from generative models whose hidden layers are sparse.
Motivated by the success of architectures that impose structured forms of
sparsity, we introduce and study a group-sparse autoencoder that accounts for a
variety of generative models, and utilizes a group-sparse ReLU activation
function to force the non-zero units at a given layer to occur in blocks. For
clustering models, inputs that result in the same group of active units belong
to the same cluster. We proceed to analyze the gradient dynamics of a shallow
instance of the proposed autoencoder, trained with data adhering to a
group-sparse generative model. In this setting, we theoretically prove the
convergence of the network parameters to a neighborhood of the generating
matrix. We validate our model through numerical analysis and highlight the
superior performance of networks with a group-sparse ReLU compared to networks
that utilize traditional ReLUs, both in sparse coding and in parameter recovery
tasks. We also provide real data experiments to corroborate the simulated
results, and emphasize the clustering capabilities of structured sparsity
models.
- Abstract(参考訳): モデルに基づくディープラーニングアーキテクチャの理論解析における最近のアプローチでは、隠れた層が疎い生成モデルから生じる浅いreluネットワークにおける勾配降下の収束が研究されている。
構造化されたスパーシティを付与するアーキテクチャの成功を動機に、様々なジェネレーションモデルに対応するグループスパースオートエンコーダを導入し、研究するとともに、グループスパースRELUアクティベーション機能を利用して、特定の層の非ゼロユニットをブロックに強制的に発生させる。
クラスタリングモデルの場合、アクティブなユニットの同じグループで発生する入力は同じクラスタに属します。
提案するオートエンコーダの浅部インスタンスの勾配ダイナミクスを解析し,グループスパース生成モデルに付着したデータを用いて学習する。
この設定では、ネットワークパラメータを生成行列の近傍に収束させることを理論的に証明する。
本モデルの有効性を数値解析により検証し,グループスパースReLUを用いたネットワークの性能を,スパース符号化とパラメータ回復の両方において従来のReLUを用いたネットワークと比較した。
また、シミュレーション結果と相関する実データ実験を行い、構造化スパーシティモデルのクラスタリング能力を強調します。
関連論文リスト
- Generalization and Estimation Error Bounds for Model-based Neural
Networks [78.88759757988761]
スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。
我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
論文 参考訳(メタデータ) (2023-04-19T16:39:44Z) - Learning Coherent Clusters in Weakly-Connected Network Systems [7.766921168069532]
本稿では,コンポーネントが密結合な大規模動的ネットワークのための構造保存モデル手法を提案する。
重みブロックモデルからネットワークグラフをランダムに生成する場合、近似誤差の上限を与える。
論文 参考訳(メタデータ) (2022-11-28T13:32:25Z) - Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。
本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。
損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
論文 参考訳(メタデータ) (2022-05-22T16:37:53Z) - Enhancing Latent Space Clustering in Multi-filter Seq2Seq Model: A
Reinforcement Learning Approach [0.0]
クラスタリングアルゴリズムを用いて潜在空間表現を解析する潜時拡張型マルチフィルタセq2seqモデル (LMS2S) を設計する。
セマンティック解析と機械翻訳の実験により,クラスタリングの品質とモデルの性能の正の相関が示された。
論文 参考訳(メタデータ) (2021-09-25T16:36:31Z) - Deep adaptive fuzzy clustering for evolutionary unsupervised
representation learning [2.8028128734158164]
大規模で複雑な画像のクラスタ割り当ては、パターン認識とコンピュータビジョンにおいて重要かつ困難な作業です。
反復最適化による新しい進化的教師なし学習表現モデルを提案する。
ファジィメンバシップを利用して深層クラスタ割り当ての明確な構造を表現するディープリコンストラクションモデルに対して,共同でファジィクラスタリングを行った。
論文 参考訳(メタデータ) (2021-03-31T13:58:10Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳(メタデータ) (2021-02-27T03:17:20Z) - LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。
我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。
任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
論文 参考訳(メタデータ) (2020-12-20T11:02:49Z) - Joint Optimization of an Autoencoder for Clustering and Embedding [22.16059261437617]
本稿では,自動エンコーダとクラスタリングを同時に学習する代替手法を提案する。
この単純なニューラルネットワークはクラスタリングモジュールと呼ばれ、ディープオートエンコーダに統合され、ディープクラスタリングモデルとなる。
論文 参考訳(メタデータ) (2020-12-07T14:38:10Z) - Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。
我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。
その結果,我々のモデルは最先端の性能を達成できることがわかった。
論文 参考訳(メタデータ) (2020-10-12T03:27:07Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳(メタデータ) (2020-06-19T22:05:19Z) - Hierarchical regularization networks for sparsification based learning
on noisy datasets [0.0]
階層は、連続的により微細なスケールで特定される近似空間から従う。
各スケールでのモデル一般化を促進するため,複数次元にわたる新規な射影型ペナルティ演算子も導入する。
その結果、合成データセットと実データセットの両方において、データ削減およびモデリング戦略としてのアプローチの性能が示された。
論文 参考訳(メタデータ) (2020-06-09T18:32:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。