論文の概要: Training Stacked Denoising Autoencoders for Representation Learning
- arxiv url: http://arxiv.org/abs/2102.08012v1
- Date: Tue, 16 Feb 2021 08:18:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-17 15:18:34.639946
- Title: Training Stacked Denoising Autoencoders for Representation Learning
- Title(参考訳): 表現学習のための積層型デノイングオートエンコーダの訓練
- Authors: Jason Liang, Keith Kelly
- Abstract要約: 高次元データの強力な表現を学習できるニューラルネットワークのクラスであるstacked autoencoderを実装した。
本稿では,自動エンコーダの教師なし学習のための勾配降下と,勾配情報を利用した新しい遺伝的アルゴリズムに基づくアプローチについて述べる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We implement stacked denoising autoencoders, a class of neural networks that
are capable of learning powerful representations of high dimensional data. We
describe stochastic gradient descent for unsupervised training of autoencoders,
as well as a novel genetic algorithm based approach that makes use of gradient
information. We analyze the performance of both optimization algorithms and
also the representation learning ability of the autoencoder when it is trained
on standard image classification datasets.
- Abstract(参考訳): 高次元データの強力な表現を学習できるニューラルネットワークのクラスである自動エンコーダのスタック化処理を実装します。
自動エンコーダの教師なしトレーニングのための確率勾配降下法と、勾配情報を利用した遺伝的アルゴリズムに基づく新しいアプローチについて述べる。
標準画像分類データセットでトレーニングされたときの最適化アルゴリズムとオートエンコーダの表現学習能力の両方のパフォーマンスを分析します。
関連論文リスト
- Pivotal Auto-Encoder via Self-Normalizing ReLU [20.76999663290342]
トランスフォーメーション学習問題として,単一の隠蔽層スパースオートエンコーダを定式化する。
本稿では,テスト時の騒音レベルに不変な予測モデルを実現する最適化問題を提案する。
実験結果から, 各種ノイズに対する安定性が向上することが示唆された。
論文 参考訳(メタデータ) (2024-06-23T09:06:52Z) - Denoising Diffusion Autoencoders are Unified Self-supervised Learners [58.194184241363175]
本稿では,拡散モデルにおけるネットワーク,すなわち拡散オートエンコーダ(DDAE)が,自己教師型学習者の統合であることを示す。
DDAEはすでに、補助エンコーダを使わずに、中間層内で線形分離可能な表現を強く学習している。
CIFAR-10 と Tiny-ImageNet の線形評価精度は95.9% と 50.0% である。
論文 参考訳(メタデータ) (2023-03-17T04:20:47Z) - Fundamental Limits of Two-layer Autoencoders, and Achieving Them with
Gradient Methods [91.54785981649228]
本稿では,非線形二層型オートエンコーダについて述べる。
本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。
符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
論文 参考訳(メタデータ) (2022-12-27T12:37:34Z) - Correntropy-Based Logistic Regression with Automatic Relevance
Determination for Robust Sparse Brain Activity Decoding [18.327196310636864]
相関学習フレームワークを,自動関係決定に基づくスパース分類モデルに導入する。
人工的データセット,脳波(EEG)データセット,機能的磁気共鳴画像(fMRI)データセットで評価した。
論文 参考訳(メタデータ) (2022-07-20T06:49:23Z) - The dynamics of representation learning in shallow, non-linear
autoencoders [3.1219977244201056]
非線形浅層オートエンコーダにおける特徴学習のダイナミクスについて検討する。
長時間のダイナミクスの分析では、シグモダルオートエンコーダが重みで学習できないことが説明されている。
本研究では,現実的なデータセット上での非線形オートエンコーダの一般化ダイナミクスを正確に記述する。
論文 参考訳(メタデータ) (2022-01-06T15:57:31Z) - Dynamic Neural Representational Decoders for High-Resolution Semantic
Segmentation [98.05643473345474]
動的ニューラル表現デコーダ(NRD)と呼ばれる新しいデコーダを提案する。
エンコーダの出力上の各位置がセマンティックラベルの局所的なパッチに対応するので、この研究では、これらの局所的なパッチをコンパクトなニューラルネットワークで表現する。
このニューラル表現により、意味ラベル空間に先行する滑らかさを活用することができ、デコーダをより効率的にすることができる。
論文 参考訳(メタデータ) (2021-07-30T04:50:56Z) - Implicit Greedy Rank Learning in Autoencoders via Overparameterized
Linear Networks [7.412225511828064]
勾配降下で訓練された深い線形ネットワークは、低階解を生成する。
オートエンコーダボトルネックにおいて,線形サブネットワークによって誘導される低ランク遅延符号の欲求学習を示す。
論文 参考訳(メタデータ) (2021-07-02T23:17:50Z) - Diffusion-Based Representation Learning [65.55681678004038]
教師付き信号のない表現学習を実現するために,デノナイズスコアマッチングフレームワークを拡張した。
対照的に、拡散に基づく表現学習は、デノナイジングスコアマッチング目的の新しい定式化に依存している。
同じ手法を用いて,半教師付き画像分類における最先端モデルの改善を実現する無限次元潜在符号の学習を提案する。
論文 参考訳(メタデータ) (2021-05-29T09:26:02Z) - MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。
形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
論文 参考訳(メタデータ) (2020-06-17T05:14:53Z) - Ensemble Wrapper Subsampling for Deep Modulation Classification [70.91089216571035]
受信した無線信号のサブサンプリングは、ハードウェア要件と信号処理アルゴリズムの計算コストを緩和するために重要である。
本稿では,無線通信システムにおけるディープラーニングを用いた自動変調分類のためのサブサンプリング手法を提案する。
論文 参考訳(メタデータ) (2020-05-10T06:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。