論文の概要: Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior

• arxiv url: http://arxiv.org/abs/2009.03714v2
• Date: Tue, 7 Sep 2021 09:08:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 20:46:19.610862
• Title: Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior
• Title（参考訳）: 強化プリエントを有する二重拘束型深層半教師付き結合因子化ネットワーク
• Authors: Yan Zhang, Zhao Zhang, Yang Wang, Zheng Zhang, Li Zhang, Shuicheng Yan, Meng Wang
• Abstract要約: 本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
• 参考スコア（独自算出の注目度）: 80.5637175255349
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nonnegative matrix factorization is usually powerful for learning the "shallow" parts-based representation, but it clearly fails to discover deep hierarchical information within both the basis and representation spaces. In this paper, we technically propose a new enriched prior based Dual-constrained Deep Semi-Supervised Coupled Factorization Network, called DS2CF-Net, for learning the hierarchical coupled representations. To ex-tract hidden deep features, DS2CF-Net is modeled as a deep-structure and geometrical structure-constrained neural network. Specifically, DS2CF-Net designs a deep coupled factorization architecture using multi-layers of linear transformations, which coupled updates the bases and new representations in each layer. To improve the discriminating ability of learned deep representations and deep coefficients, our network clearly considers enriching the supervised prior by the joint deep coefficients-regularized label prediction, and incorporates enriched prior information as additional label and structure constraints. The label constraint can enable the samples of the same label to have the same coordinate in the new feature space, while the structure constraint forces the coefficient matrices in each layer to be block-diagonal so that the enhanced prior using the self-expressive label propagation are more accurate. Our network also integrates the adaptive dual-graph learning to retain the local manifold structures of both the data manifold and feature manifold by minimizing the reconstruction errors in each layer. Extensive experiments on several real databases demonstrate that our DS2CF-Net can obtain state-of-the-art performance for representation learning and clustering.
• Abstract（参考訳）: 非負行列分解は、通常「浅み」部分に基づく表現を学ぶのに強力であるが、基底空間と表現空間の両方で深い階層的な情報を見つけるのに失敗する。 本稿では,階層的結合表現を学習するための新しい拡張型プリエント型深層半教師付き結合因子化ネットワークds2cf-netを提案する。 隠れた深い特徴を引き出すため、ds2cf-netは深い構造と幾何学的構造に制約されたニューラルネットワークとしてモデル化される。 具体的には、DS2CF-Netは線形変換の多層構造を用いて、基底と各層の新たな表現を結合した深い結合係数化アーキテクチャを設計する。 学習した深度表現と深度係数の識別能力を向上させるため,このネットワークでは,結合深度係数-正規化ラベル予測による教師付きラベルの強化を考慮し,強化された事前情報を付加ラベルおよび構造制約として組み込む。 ラベル制約は、新しい特徴空間において同一ラベルのサンプルが同じ座標を持つようにすることができ、一方、構造制約は、各層の係数行列をブロック対角線に強制し、自己表現ラベル伝搬を用いた拡張事前がより正確になる。 また,適応的デュアルグラフ学習を統合し,各層における再構成誤差を最小化することにより,データ多様体と特徴多様体の両方の局所多様体構造を保持する。 複数の実データベースに対する大規模な実験により、DS2CF-Netは表現学習とクラスタリングのための最先端のパフォーマンスを得ることができることが示された。

関連論文リスト

• On Characterizing the Evolution of Embedding Space of Neural Networks using Algebraic Topology [9.537910170141467]
  特徴埋め込み空間のトポロジがベッチ数を介してよく訓練されたディープニューラルネットワーク(DNN)の層を通過するとき、どのように変化するかを検討する。 深度が増加するにつれて、トポロジカルに複雑なデータセットが単純なデータセットに変換され、ベッチ数はその最小値に達することが示される。
  論文  参考訳（メタデータ） (2023-11-08T10:45:12Z)
• ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
  この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。 我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
  論文  参考訳（メタデータ） (2023-05-24T22:10:12Z)
• On the non-universality of deep learning: quantifying the cost of symmetry [24.86176236641865]
  雑音勾配降下法(GD)で学習したニューラルネットワークによる学習の計算限界を証明する。 我々は、完全接続ネットワークが二進ハイパーキューブと単位球上で弱学習できる機能の特徴付けを行う。 我々の手法は勾配降下(SGD)に拡張され、完全に接続されたネットワークで学習するための非自明な結果を示す。
  論文  参考訳（メタデータ） (2022-08-05T11:54:52Z)
• Modularity Optimization as a Training Criterion for Graph Neural Networks [2.903711704663904]
  グラフ畳み込みモデルにおけるネットワークのコミュニティ構造保存目的を組み込んだ学習表現の質に及ぼす効果について検討する。 2つの属性付きビビログラフィーネットワークの実験的評価により、コミュニティ保存目的の組み入れにより、スパースラベル方式における半教師付きノード分類精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-30T21:32:33Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures [179.66117325866585]
  我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。 この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。 画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
  論文  参考訳（メタデータ） (2020-06-29T17:59:26Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)
• Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
  我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。 正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。 ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
  論文  参考訳（メタデータ） (2020-02-22T21:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。