論文の概要: Training Stacked Denoising Autoencoders for Representation Learning
- arxiv url: http://arxiv.org/abs/2102.08012v1
- Date: Tue, 16 Feb 2021 08:18:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-17 15:18:34.639946
- Title: Training Stacked Denoising Autoencoders for Representation Learning
- Title(参考訳): 表現学習のための積層型デノイングオートエンコーダの訓練
- Authors: Jason Liang, Keith Kelly
- Abstract要約: 高次元データの強力な表現を学習できるニューラルネットワークのクラスであるstacked autoencoderを実装した。
本稿では,自動エンコーダの教師なし学習のための勾配降下と,勾配情報を利用した新しい遺伝的アルゴリズムに基づくアプローチについて述べる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We implement stacked denoising autoencoders, a class of neural networks that
are capable of learning powerful representations of high dimensional data. We
describe stochastic gradient descent for unsupervised training of autoencoders,
as well as a novel genetic algorithm based approach that makes use of gradient
information. We analyze the performance of both optimization algorithms and
also the representation learning ability of the autoencoder when it is trained
on standard image classification datasets.
- Abstract(参考訳): 高次元データの強力な表現を学習できるニューラルネットワークのクラスである自動エンコーダのスタック化処理を実装します。
自動エンコーダの教師なしトレーニングのための確率勾配降下法と、勾配情報を利用した遺伝的アルゴリズムに基づく新しいアプローチについて述べる。
標準画像分類データセットでトレーニングされたときの最適化アルゴリズムとオートエンコーダの表現学習能力の両方のパフォーマンスを分析します。
関連論文リスト
- Denoising Diffusion Autoencoders are Unified Self-supervised Learners [58.85929791540584]
本稿では,拡散モデルにおけるネットワーク,すなわち拡散オートエンコーダ(DDAE)が,自己教師型学習者の統合であることを示す。
DDAEはすでに、補助エンコーダを使わずに、中間層で線形分離可能な表現を強く学習している。
CIFAR-10とTiny-ImageNetで95.9%,50.0%の線形プローブ精度を実現する。
論文 参考訳(メタデータ) (2023-03-17T04:20:47Z) - Fundamental Limits of Two-layer Autoencoders, and Achieving Them with
Gradient Methods [91.54785981649228]
本稿では,非線形二層型オートエンコーダについて述べる。
本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。
符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
論文 参考訳(メタデータ) (2022-12-27T12:37:34Z) - Correntropy-Based Logistic Regression with Automatic Relevance
Determination for Robust Sparse Brain Activity Decoding [18.327196310636864]
相関学習フレームワークを,自動関係決定に基づくスパース分類モデルに導入する。
人工的データセット,脳波(EEG)データセット,機能的磁気共鳴画像(fMRI)データセットで評価した。
論文 参考訳(メタデータ) (2022-07-20T06:49:23Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳(メタデータ) (2022-06-15T17:58:34Z) - The dynamics of representation learning in shallow, non-linear
autoencoders [3.1219977244201056]
非線形浅層オートエンコーダにおける特徴学習のダイナミクスについて検討する。
長時間のダイナミクスの分析では、シグモダルオートエンコーダが重みで学習できないことが説明されている。
本研究では,現実的なデータセット上での非線形オートエンコーダの一般化ダイナミクスを正確に記述する。
論文 参考訳(メタデータ) (2022-01-06T15:57:31Z) - Dynamic Neural Representational Decoders for High-Resolution Semantic
Segmentation [98.05643473345474]
動的ニューラル表現デコーダ(NRD)と呼ばれる新しいデコーダを提案する。
エンコーダの出力上の各位置がセマンティックラベルの局所的なパッチに対応するので、この研究では、これらの局所的なパッチをコンパクトなニューラルネットワークで表現する。
このニューラル表現により、意味ラベル空間に先行する滑らかさを活用することができ、デコーダをより効率的にすることができる。
論文 参考訳(メタデータ) (2021-07-30T04:50:56Z) - Implicit Greedy Rank Learning in Autoencoders via Overparameterized
Linear Networks [7.412225511828064]
勾配降下で訓練された深い線形ネットワークは、低階解を生成する。
オートエンコーダボトルネックにおいて,線形サブネットワークによって誘導される低ランク遅延符号の欲求学習を示す。
論文 参考訳(メタデータ) (2021-07-02T23:17:50Z) - Self-Adaptive Training: Bridging the Supervised and Self-Supervised
Learning [16.765461276790944]
自己適応型トレーニングは、追加の計算コストを課すことなく、モデル予測によってトレーニングプロセスを動的にキャリブレーションし、強化する統一型トレーニングアルゴリズムです。
ランダムノイズや敵対的な例など、破損したトレーニングデータの深層ネットワークのトレーニングダイナミクスを分析します。
分析の結果, モデル予測はデータ中の有用な情報量を拡大することが可能であり, 強調ラベル情報がない場合にも広く発生することがわかった。
論文 参考訳(メタデータ) (2021-01-21T17:17:30Z) - MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。
形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
論文 参考訳(メタデータ) (2020-06-17T05:14:53Z) - Ensemble Wrapper Subsampling for Deep Modulation Classification [70.91089216571035]
受信した無線信号のサブサンプリングは、ハードウェア要件と信号処理アルゴリズムの計算コストを緩和するために重要である。
本稿では,無線通信システムにおけるディープラーニングを用いた自動変調分類のためのサブサンプリング手法を提案する。
論文 参考訳(メタデータ) (2020-05-10T06:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。