論文の概要: A manifold learning perspective on representation learning: Learning
decoder and representations without an encoder
- arxiv url: http://arxiv.org/abs/2108.13910v1
- Date: Tue, 31 Aug 2021 15:08:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-01 18:31:51.446404
- Title: A manifold learning perspective on representation learning: Learning
decoder and representations without an encoder
- Title（参考訳）: 表現学習における多様体学習の視点:デコーダとエンコーダのない表現を学習する
- Authors: Viktoria Schuster and Anders Krogh
- Abstract要約: オートエンコーダは表現学習で一般的に使用される。
多様体学習にインスパイアされて、トレーニングサンプルの表現を学習することで、デコーダを単独で訓練できることが示される。
デコーダのみを訓練する我々のアプローチは、小さなデータセットでも表現学習を容易にする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autoencoders are commonly used in representation learning. They consist of an
encoder and a decoder, which provide a straightforward way to map
$n$-dimensional data in input space to a lower $m$-dimensional representation
space and back. The decoder itself defines an $m$-dimensional manifold in input
space. Inspired by manifold learning, we show that the decoder can be trained
on its own by learning the representations of the training samples along with
the decoder weights using gradient descent. A sum-of-squares loss then
corresponds to optimizing the manifold to have the smallest Euclidean distance
to the training samples, and similarly for other loss functions. We derive
expressions for the number of samples needed to specify the encoder and decoder
and show that the decoder generally requires much less training samples to be
well-specified compared to the encoder. We discuss training of autoencoders in
this perspective and relate to previous work in the field that use noisy
training examples and other types of regularization. On the natural image data
sets MNIST and CIFAR10, we demonstrate that the decoder is much better suited
to learn a low-dimensional representation, especially when trained on small
data sets. Using simulated gene regulatory data, we further show that the
decoder alone leads to better generalization and meaningful representations.
Our approach of training the decoder alone facilitates representation learning
even on small data sets and can lead to improved training of autoencoders. We
hope that the simple analyses presented will also contribute to an improved
conceptual understanding of representation learning.
- Abstract（参考訳）: オートエンコーダは表現学習によく使われる。
それらはエンコーダとデコーダで構成されており、入力空間内の$n$次元データをより低い$m$次元の表現空間にマッピングする簡単な方法を提供する。
デコーダ自体は入力空間における$m$-次元多様体を定義する。
多様体学習に触発されて, 学習サンプルの表現と勾配降下を用いたデコーダ重みを学習することにより, デコーダを単独で学習できることを示した。
次に、二乗和損失は、トレーニングサンプルへの最小ユークリッド距離を持つ多様体を最適化することに対応し、他の損失関数も同様である。
エンコーダとデコーダを指定するのに必要なサンプル数を表す式を導出し、デコーダがエンコーダと比較した場合、一般的により少ないトレーニングサンプルを必要とすることを示す。
本稿では,この観点からのオートエンコーダのトレーニングについて論じるとともに,ノイズの多いトレーニング例やその他の正規化手法を用いた分野における過去の作業について述べる。
自然画像データセット MNIST と CIFAR10 では、デコーダが低次元表現、特に小さなデータセットで訓練された場合、より適していることを示す。
シミュレーションされた遺伝子制御データを用いて、デコーダのみがより良い一般化と有意義な表現をもたらすことを示す。
デコーダをトレーニングする我々のアプローチは、小さなデータセットでも表現学習を容易にし、オートエンコーダのトレーニングを改善することができる。
簡単な分析が表現学習の概念的理解の向上に寄与することを期待している。
関連論文リスト
- Regress Before Construct: Regress Autoencoder for Point Cloud
Self-supervised Learning [18.10704604275133]
Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。
我々は、ポイントクラウド自己教師型学習のための回帰オートエンコーダの新しいスキーム、Point Regress AutoEncoder (Point-RAE)を提案する。
本手法は, 各種下流タスクの事前学習において効率よく, 一般化可能である。
論文 参考訳（メタデータ） (2023-09-25T17:23:33Z) - Geometric Autoencoders -- What You See is What You Decode [12.139222986297263]
本稿では,デコーダ上での微分幾何学的視点を提案し,埋め込みの歪みに対する洞察力のある診断と,そのような歪みを緩和する新たな正規化器を提案する。
我々のGeometric Autoencoder'は埋め込みを急激に伸ばすのを避けるので、可視化はデータ構造をより忠実に捉えます。
論文 参考訳（メタデータ） (2023-06-30T13:24:31Z) - Transfer Learning for Segmentation Problems: Choose the Right Encoder
and Skip the Decoder [0.0]
ダウンストリームタスクのパフォーマンスを向上させるために、最初は異なるデータでトレーニングされたモデルを再利用するのが一般的です。
本研究では,画素単位の分類問題であるセグメンテーション問題に対する移動学習の影響について検討する。
デコーダのトランスファー学習は下流のセグメンテーションタスクに役立ちませんが、エンコーダのトランスファー学習は本当に有益です。
論文 参考訳（メタデータ） (2022-07-29T07:02:05Z) - KRNet: Towards Efficient Knowledge Replay [50.315451023983805]
知識再生技術は、継続的な学習や連続的なドメイン適応といった多くのタスクで広く使われている。
本稿では,任意のサンプル識別番号を直接対応するダタムにマッピングする,新規で効率的な知識記録ネットワーク(KRNet)を提案する。
我々のKRNetは、潜在コードに対するストレージコストを著しく削減し、エンコーダのサブネットワークを使わずにトレーニングできる。
論文 参考訳（メタデータ） (2022-05-23T08:34:17Z) - Toward a Geometrical Understanding of Self-supervised Contrastive
Learning [55.83778629498769]
自己教師付き学習(SSL)は、人間のアノテーションがなければ、伝達学習に有効なデータ表現を作成するための最重要技術の一つである。
メインストリームSSL技術は、エンコーダとプロジェクタという2つのカスケードニューラルネットワークを備えた、特定のディープニューラルネットワークアーキテクチャに依存している。
本稿では,データ拡張ポリシーの強みがデータ埋め込みに与える影響について検討する。
論文 参考訳（メタデータ） (2022-05-13T23:24:48Z) - Small Lesion Segmentation in Brain MRIs with Subpixel Embedding [105.1223735549524]
ヒト脳のMRIスキャンを虚血性脳梗塞と正常組織に分割する方法を提案する。
本稿では,空間展開埋め込みネットワークによって予測を導出する標準エンコーダデコーダの形式でニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-09-18T00:21:17Z) - EncoderMI: Membership Inference against Pre-trained Encoders in
Contrastive Learning [27.54202989524394]
コントラスト学習によって事前訓練された画像エンコーダに対する最初のメンバーシップ推論手法であるMIを提案する。
複数のデータセットで事前学習した画像エンコーダと、OpenAIが収集した4億(画像、テキスト)のペアで事前学習したContrastive Language- Image Pre-training (CLIP)画像エンコーダの評価を行った。
論文 参考訳（メタデータ） (2021-08-25T03:00:45Z) - Dynamic Neural Representational Decoders for High-Resolution Semantic
Segmentation [98.05643473345474]
動的ニューラル表現デコーダ(NRD)と呼ばれる新しいデコーダを提案する。
エンコーダの出力上の各位置がセマンティックラベルの局所的なパッチに対応するので、この研究では、これらの局所的なパッチをコンパクトなニューラルネットワークで表現する。
このニューラル表現により、意味ラベル空間に先行する滑らかさを活用することができ、デコーダをより効率的にすることができる。
論文 参考訳（メタデータ） (2021-07-30T04:50:56Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳（メタデータ） (2020-12-07T14:16:14Z) - BinPlay: A Binary Latent Autoencoder for Generative Replay Continual
Learning [11.367079056418957]
本稿では、ニューラルネットワークの連続学習のためのトレーニングサンプルをリハーサルするために、バイナリラテント空間オートエンコーダアーキテクチャを導入する。
BinPlayは、メモリに保持することなく、リハーサルされたサンプルのバイナリ埋め込みをオンザフライで計算できる。
論文 参考訳（メタデータ） (2020-11-25T08:50:58Z) - Simple and Effective VAE Training with Calibrated Decoders [123.08908889310258]
変分オートエンコーダ(VAE)は、複雑な分布をモデル化するための効果的で簡単な方法である。
復号分布の不確かさを学習する校正復号器の影響について検討する。
本稿では,一般的なガウス復号器の簡易かつ斬新な修正を提案し,その予測分散を解析的に計算する。
論文 参考訳（メタデータ） (2020-06-23T17:57:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。