論文の概要: Improved Representation Learning Through Tensorized Autoencoders

• arxiv url: http://arxiv.org/abs/2212.01046v1
• Date: Fri, 2 Dec 2022 09:29:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 17:14:56.417893
• Title: Improved Representation Learning Through Tensorized Autoencoders
• Title（参考訳）: テンソル化オートエンコーダによる表現学習の改善
• Authors: Pascal Mattia Esser, Satyaki Mukherjee, Mahalakshmi Sabanayagam, Debarghya Ghoshdastidar
• Abstract要約: オートエンコーダ(AE)は、教師なし表現学習において広く使われている。 本稿では,任意のAEアーキテクチャをテンソル化バージョン(TAE)に拡張するメタアルゴリズムを提案する。 我々は,TAEが標準AEによって回収されたデータ全体の原理成分とは対照的に,異なるクラスタの原理成分を復元できることを証明した。
• 参考スコア（独自算出の注目度）: 7.056005298953332
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The central question in representation learning is what constitutes a good or meaningful representation. In this work we argue that if we consider data with inherent cluster structures, where clusters can be characterized through different means and covariances, those data structures should be represented in the embedding as well. While Autoencoders (AE) are widely used in practice for unsupervised representation learning, they do not fulfil the above condition on the embedding as they obtain a single representation of the data. To overcome this we propose a meta-algorithm that can be used to extend an arbitrary AE architecture to a tensorized version (TAE) that allows for learning cluster-specific embeddings while simultaneously learning the cluster assignment. For the linear setting we prove that TAE can recover the principle components of the different clusters in contrast to principle component of the entire data recovered by a standard AE. We validated this on planted models and for general, non-linear and convolutional AEs we empirically illustrate that tensorizing the AE is beneficial in clustering and de-noising tasks.
• Abstract（参考訳）: 表現学習における中心的な問題は、何が良いあるいは有意義な表現を構成するかである。 この研究で、異なる手段と共分散によってクラスタを特徴付けることのできる、固有のクラスタ構造を持つデータを考えると、それらのデータ構造も埋め込みで表現されるべきである、と論じる。 オートエンコーダ(AE)は、教師なし表現学習において広く使われているが、データの単一の表現を得るため、この条件を埋め込みに満たさない。 これを克服するために,任意のaeアーキテクチャをテンソル化バージョン(tae)に拡張して,クラスタ割り当てを同時に学習しながらクラスタ固有の組込みを学習可能にするメタアルゴリズムを提案する。 線形設定のために、TAEが標準AEによって回収されたデータ全体の原理成分とは対照的に、異なるクラスタの原理成分を復元できることを証明した。 我々は、これを植木モデルで検証し、一般に非線形および畳み込みAEは、AEのテンソル化がクラスタリングおよびデノイズ化タスクに有用であることを示す。

関連論文リスト

• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Class-Specific Semantic Reconstruction for Open Set Recognition [101.24781422480406]
  オープンセット認識により、ディープニューラルネットワーク(DNN)は未知のクラスのサンプルを識別できる。 本稿では,自動エンコーダ(AE)とプロトタイプ学習を統合したCSSR(Class-Specific Semantic Reconstruction)を提案する。 複数のデータセットで実験を行った結果,提案手法は閉集合認識と開集合認識の両方において優れた性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2022-07-05T16:25:34Z)
• Understanding Dynamics of Nonlinear Representation Learning and Its Application [12.697842097171119]
  暗黙的非線形表現学習のダイナミクスについて検討する。 我々は,データ構造アライメント条件がグローバル収束に十分であることを示す。 我々はデータ構造アライメント条件を満たす新しいトレーニングフレームワークを作成した。
  論文  参考訳（メタデータ） (2021-06-28T16:31:30Z)
• Integrating Auxiliary Information in Self-supervised Learning [94.11964997622435]
  まず、補助情報がデータ構造に関する有用な情報をもたらす可能性があることを観察する。 補助情報に基づいてデータクラスタを構築する。 我々はCl-InfoNCEがデータクラスタリング情報を活用するためのより良いアプローチであることを示した。
  論文  参考訳（メタデータ） (2021-06-05T11:01:15Z)
• You Never Cluster Alone [150.94921340034688]
  我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。 分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。 代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
  論文  参考訳（メタデータ） (2021-06-03T14:59:59Z)
• Towards Uncovering the Intrinsic Data Structures for Unsupervised Domain Adaptation using Structurally Regularized Deep Clustering [119.88565565454378]
  Unsupervised Domain Adapt (UDA) は、ターゲットドメイン上のラベルなしデータの予測を行う分類モデルを学ぶことである。 本稿では,対象データの正規化判別クラスタリングと生成クラスタリングを統合する構造的正規化深層クラスタリングのハイブリッドモデルを提案する。 提案するH-SRDCは, インダクティブ設定とトランスダクティブ設定の両方において, 既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-12-08T08:52:00Z)
• Deep Autoencoders: From Understanding to Generalization Guarantees [17.180863761413004]
  我々は、Deep Autoencoders(AE)の根底にある現象をよりよく理解するための一歩を踏み出した。 特に、連続的なアフィン構造を利用して、AEsがデータ多様体を近似する方法を解釈する。 AEsがデータ固有の対称性をキャプチャできる2つの新しい正規化を導出する。
  論文  参考訳（メタデータ） (2020-09-20T21:01:18Z)
• Dual Adversarial Auto-Encoders for Clustering [152.84443014554745]
  教師なしクラスタリングのためのDual-AAE(Dual-AAE)を提案する。 Dual-AAEの目的関数に対する変分推論を行うことで,一対のオートエンコーダをトレーニングすることで最適化可能な新たな再構成損失を導出する。 4つのベンチマーク実験により、Dual-AAEは最先端のクラスタリング手法よりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-08-23T13:16:34Z)
• Learning Diverse and Discriminative Representations via the Principle of Maximal Coding Rate Reduction [32.21975128854042]
  本稿では、データセット全体と各クラスの和との符号化レート差を最大化する情報理論尺度である最大符号化レート削減(textMCR2$)の原理を提案する。 我々は,クロスエントロピー,情報ボトルネック,情報ゲイン,契約的・コントラスト的学習など,既存のフレームワークとの関係を明らかにするとともに,多様かつ差別的な特徴を学習するための理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-06-15T17:23:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。