論文の概要: On the convergence of group-sparse autoencoders

• arxiv url: http://arxiv.org/abs/2102.07003v1
• Date: Sat, 13 Feb 2021 21:17:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-17 01:30:19.758994
• Title: On the convergence of group-sparse autoencoders
• Title（参考訳）: 群分離オートエンコーダの収束について
• Authors: Emmanouil Theodosis, Bahareh Tolooshams, Pranay Tankala, Abiy Tasissa, Demba Ba
• Abstract要約: 我々は,様々な生成モデルを考慮したグループスパースオートエンコーダを導入,研究する。 クラスタリングモデルの場合、アクティブなユニットの同じグループで発生する入力は同じクラスタに属します。 この設定では、ネットワークパラメータを生成行列の近傍に収束させることを理論的に証明する。
• 参考スコア（独自算出の注目度）: 9.393652136001732
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent approaches in the theoretical analysis of model-based deep learning architectures have studied the convergence of gradient descent in shallow ReLU networks that arise from generative models whose hidden layers are sparse. Motivated by the success of architectures that impose structured forms of sparsity, we introduce and study a group-sparse autoencoder that accounts for a variety of generative models, and utilizes a group-sparse ReLU activation function to force the non-zero units at a given layer to occur in blocks. For clustering models, inputs that result in the same group of active units belong to the same cluster. We proceed to analyze the gradient dynamics of a shallow instance of the proposed autoencoder, trained with data adhering to a group-sparse generative model. In this setting, we theoretically prove the convergence of the network parameters to a neighborhood of the generating matrix. We validate our model through numerical analysis and highlight the superior performance of networks with a group-sparse ReLU compared to networks that utilize traditional ReLUs, both in sparse coding and in parameter recovery tasks. We also provide real data experiments to corroborate the simulated results, and emphasize the clustering capabilities of structured sparsity models.
• Abstract（参考訳）: モデルに基づくディープラーニングアーキテクチャの理論解析における最近のアプローチでは、隠れた層が疎い生成モデルから生じる浅いreluネットワークにおける勾配降下の収束が研究されている。 構造化されたスパーシティを付与するアーキテクチャの成功を動機に、様々なジェネレーションモデルに対応するグループスパースオートエンコーダを導入し、研究するとともに、グループスパースRELUアクティベーション機能を利用して、特定の層の非ゼロユニットをブロックに強制的に発生させる。 クラスタリングモデルの場合、アクティブなユニットの同じグループで発生する入力は同じクラスタに属します。 提案するオートエンコーダの浅部インスタンスの勾配ダイナミクスを解析し,グループスパース生成モデルに付着したデータを用いて学習する。 この設定では、ネットワークパラメータを生成行列の近傍に収束させることを理論的に証明する。 本モデルの有効性を数値解析により検証し,グループスパースReLUを用いたネットワークの性能を,スパース符号化とパラメータ回復の両方において従来のReLUを用いたネットワークと比較した。 また、シミュレーション結果と相関する実データ実験を行い、構造化スパーシティモデルのクラスタリング能力を強調します。

関連論文リスト

• Hierarchical Clustering for Conditional Diffusion in Image Generation [12.618079575423868]
  本稿では,階層クラスタ上で拡散モデルを用いて,高品質なクラスタ固有世代を得る,深層生成モデルであるTreeDiffusionを紹介する。 提案するパイプラインは,データの階層構造を学習するVAEベースのクラスタリングモデルと,クラスタ毎に現実的な画像を生成する条件拡散モデルである。
  論文  参考訳（メタデータ） (2024-10-22T11:35:36Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• Learning Coherent Clusters in Weakly-Connected Network Systems [7.766921168069532]
  本稿では,コンポーネントが密結合な大規模動的ネットワークのための構造保存モデル手法を提案する。 重みブロックモデルからネットワークグラフをランダムに生成する場合、近似誤差の上限を与える。
  論文  参考訳（メタデータ） (2022-11-28T13:32:25Z)
• Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
  エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。 本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。 損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2022-05-22T16:37:53Z)
• Enhancing Latent Space Clustering in Multi-filter Seq2Seq Model: A Reinforcement Learning Approach [0.0]
  クラスタリングアルゴリズムを用いて潜在空間表現を解析する潜時拡張型マルチフィルタセq2seqモデル (LMS2S) を設計する。 セマンティック解析と機械翻訳の実験により,クラスタリングの品質とモデルの性能の正の相関が示された。
  論文  参考訳（メタデータ） (2021-09-25T16:36:31Z)
• Deep adaptive fuzzy clustering for evolutionary unsupervised representation learning [2.8028128734158164]
  大規模で複雑な画像のクラスタ割り当ては、パターン認識とコンピュータビジョンにおいて重要かつ困難な作業です。 反復最適化による新しい進化的教師なし学習表現モデルを提案する。 ファジィメンバシップを利用して深層クラスタ割り当ての明確な構造を表現するディープリコンストラクションモデルに対して,共同でファジィクラスタリングを行った。
  論文  参考訳（メタデータ） (2021-03-31T13:58:10Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
  群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。 我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。 任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
  論文  参考訳（メタデータ） (2020-12-20T11:02:49Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• Hierarchical regularization networks for sparsification based learning on noisy datasets [0.0]
  階層は、連続的により微細なスケールで特定される近似空間から従う。 各スケールでのモデル一般化を促進するため,複数次元にわたる新規な射影型ペナルティ演算子も導入する。 その結果、合成データセットと実データセットの両方において、データ削減およびモデリング戦略としてのアプローチの性能が示された。
  論文  参考訳（メタデータ） (2020-06-09T18:32:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。