論文の概要: Learning Deep Representation with Energy-Based Self-Expressiveness for Subspace Clustering

• arxiv url: http://arxiv.org/abs/2110.15037v1
• Date: Thu, 28 Oct 2021 11:51:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-30 02:23:42.934100
• Title: Learning Deep Representation with Energy-Based Self-Expressiveness for Subspace Clustering
• Title（参考訳）: 部分空間クラスタリングのためのエネルギーに基づく自己表現による深部表現の学習
• Authors: Yanming Li, Changsheng Li, Shiye Wang, Ye Yuan, Guoren Wang
• Abstract要約: 本稿では,エネルギーモデルに基づく新しい深部サブスペースクラスタリングフレームワークを提案する。 最近普及している自己教師型学習の強力な表現能力を考えると、自己教師型表現学習を利用して辞書を学習しようとする。
• 参考スコア（独自算出の注目度）: 24.311754971064303
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep subspace clustering has attracted increasing attention in recent years. Almost all the existing works are required to load the whole training data into one batch for learning the self-expressive coefficients in the framework of deep learning. Although these methods achieve promising results, such a learning fashion severely prevents from the usage of deeper neural network architectures (e.g., ResNet), leading to the limited representation abilities of the models. In this paper, we propose a new deep subspace clustering framework, motivated by the energy-based models. In contrast to previous approaches taking the weights of a fully connected layer as the self-expressive coefficients, we propose to learn an energy-based network to obtain the self-expressive coefficients by mini-batch training. By this means, it is no longer necessary to load all data into one batch for learning, and it thus becomes a reality that we can utilize deeper neural network models for subspace clustering. Considering the powerful representation ability of the recently popular self-supervised learning, we attempt to leverage self-supervised representation learning to learn the dictionary. Finally, we propose a joint framework to learn both the self-expressive coefficients and dictionary simultaneously, and train the model in an end-to-end manner. The experiments are performed on three publicly available datasets, and extensive experimental results demonstrate our method can significantly outperform the other related approaches. For instance, on the three datasets, our method can averagely achieve $13.8\%$, $15.4\%$, $20.8\%$ improvements in terms of Accuracy, NMI, and ARI over SENet which is proposed very recently and obtains the second best results in the experiments.
• Abstract（参考訳）: 近年,ディープサブスペースクラスタリングが注目されている。 ディープラーニングのフレームワークで自己表現係数を学ぶために、トレーニングデータ全体をひとつのバッチにロードするには、既存の作業のほとんどすべてが必要になります。 これらの手法は有望な結果をもたらすが、そのような学習手法はより深いニューラルネットワークアーキテクチャ(例えばResNet)の使用を著しく妨げ、モデルの表現能力が制限される。 本稿では,エネルギーベースモデルに動機づけられた,新しい深部部分空間クラスタリングフレームワークを提案する。 自己表現係数として完全連結層の重みを取る従来のアプローチとは対照的に,ミニバッチ訓練により自己表現係数を得るためのエネルギーベースネットワークの学習を提案する。 これにより、学習のためにすべてのデータをひとつのバッチにロードする必要がなくなり、サブスペースクラスタリングにより深いニューラルネットワークモデルを使用することが現実になる。 近年普及している自己教師あり学習の強力な表現能力を考慮して,自己教師あり表現学習を用いて辞書の学習を試みる。 最後に,自己表現係数と辞書を同時に学習し,エンドツーエンドでモデルを訓練するための統合フレームワークを提案する。 実験は3つのデータセット上で実施され,本手法が他の手法を大きく上回ることを示す実験結果が得られた。 例えば、この3つのデータセットでは、非常に最近提案されたSENetよりも平均13.8.%、15.4.%、20.8.%の改善を達成でき、実験で2番目に良い結果が得られる。

関連論文リスト

• BEND: Bagging Deep Learning Training Based on Efficient Neural Network Diffusion [56.9358325168226]
  BEND(Efficient Neural Network Diffusion)に基づくバッグング深層学習学習アルゴリズムを提案する。 我々のアプローチは単純だが効果的であり、まず複数のトレーニングされたモデルの重みとバイアスを入力として、オートエンコーダと潜伏拡散モデルを訓練する。 提案したBENDアルゴリズムは,元のトレーニングモデルと拡散モデルの両方の平均および中央値の精度を一貫して向上させることができる。
  論文  参考訳（メタデータ） (2024-03-23T08:40:38Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• The Trifecta: Three simple techniques for training deeper Forward-Forward networks [0.0]
  本稿では,より深いネットワーク上でのフォワード・フォワードアルゴリズムを大幅に改善する3つの手法のコレクションを提案する。 我々の実験は、我々のモデルが、単純なデータセットのトレーニング速度とテスト精度の両方において、同様に構造化されたバックプロパゲーションベースのモデルと同等であることを示した。
  論文  参考訳（メタデータ） (2023-11-29T22:44:32Z)
• Reinforcement Learning Based Multi-modal Feature Fusion Network for Novel Class Discovery [47.28191501836041]
  本稿では,人間の認知過程をシミュレートするために強化学習フレームワークを用いる。 また,マルチモーダル情報から特徴を抽出・融合するマルチエージェントフレームワークをデプロイした。 我々は、OS-MN40、OS-MN40-Miss、Cifar10データセットを用いて、3Dドメインと2Dドメインの両方でのアプローチの性能を示す。
  論文  参考訳（メタデータ） (2023-08-26T07:55:32Z)
• Boosting Low-Data Instance Segmentation by Unsupervised Pre-training with Saliency Prompt [103.58323875748427]
  この研究は、低データ体制のための新しい教師なし事前学習ソリューションを提供する。 近年のPrompting技術の成功に触発されて,QEISモデルを強化した新しい事前学習手法を導入する。 実験結果から,本手法は3つのデータセット上でのいくつかのQEISモデルを大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2023-02-02T15:49:03Z)
• Deep Dependency Networks for Multi-Label Classification [24.24496964886951]
  マルコフ確率場とニューラルネットワークを組み合わせた従来の手法の性能は、わずかに改善できることを示す。 我々は、依存性ネットワークを拡張するディープ依存ネットワークと呼ばれる新しいモデリングフレームワークを提案する。 単純さにもかかわらず、この新しいアーキテクチャを共同学習することで、パフォーマンスが大幅に向上する。
  論文  参考訳（メタデータ） (2023-02-01T17:52:40Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• A Deep Dive into Deep Cluster [0.2578242050187029]
  DeepClusterは、ビジュアル表現のシンプルでスケーラブルな教師なし事前トレーニングである。 本稿では,DeepClusterの収束と性能が,畳み込み層のランダムフィルタの品質と選択されたクラスタ数の相互作用に依存することを示す。
  論文  参考訳（メタデータ） (2022-07-24T22:55:09Z)
• Learning a Self-Expressive Network for Subspace Clustering [15.096251922264281]
  本稿では,データ表現の自己表現を学習するために,適切に設計されたニューラルネットワークを用いた,自己表現型ネットワーク(SENet)と呼ばれる,サブスペースクラスタリングのための新しいフレームワークを提案する。 私たちのSENetは、トレーニングデータに望ましい特性を持つ自己表現係数を学習するだけでなく、サンプル外のデータも処理します。 特に、SENetはMNIST、Fashion MNIST、Extended MNISTで高い競争力を発揮し、CIFAR-10で最先端のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2021-10-08T18:06:06Z)
• Self-supervised Knowledge Distillation for Few-shot Learning [123.10294801296926]
  少数のサンプルだけで秩序分布から素早く学習できるため、ショットラーニングは有望な学習パラダイムである。 数ショットの学習タスクにおいて,深層ニューラルネットワークの表現能力を向上させるための簡単な手法を提案する。 実験により、第一段階においても、自己超越は現在の最先端手法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-17T11:27:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。