論文の概要: On a Mechanism Framework of Autoencoders
- arxiv url: http://arxiv.org/abs/2208.06995v1
- Date: Mon, 15 Aug 2022 03:51:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-16 13:21:33.408815
- Title: On a Mechanism Framework of Autoencoders
- Title（参考訳）: オートエンコーダのメカニズムフレームワークについて
- Authors: Changcun Huang
- Abstract要約: 本稿では,オートエンコーダの機構に関する理論的枠組みを提案する。
ReLUオートエンコーダの結果は、いくつかの非ReLUケースに一般化される。
PCAや決定木と比較して,次元の縮小と分類における(一般化された)オートエンコーダの利点が示された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a theoretical framework on the mechanism of autoencoders.
To the encoder part, under the main use of dimensionality reduction, we
investigate its two fundamental properties: bijective maps and data
disentangling. The general construction methods of an encoder that satisfies
either or both of the above two properties are given. To the decoder part, as a
consequence of the encoder constructions, we present a new basic principle of
the solution, without using affine transforms. The generalization mechanism of
autoencoders is modeled. The results of ReLU autoencoders are generalized to
some non-ReLU cases, particularly for the sigmoid-unit autoencoder. Based on
the theoretical framework above, we explain some experimental results of
variational autoencoders, denoising autoencoders, and linear-unit autoencoders,
with emphasis on the interpretation of the lower-dimensional representation of
data via encoders; and the mechanism of image restoration through autoencoders
is natural to be understood by those explanations. Compared to PCA and decision
trees, the advantages of (generalized) autoencoders on dimensionality reduction
and classification are demonstrated, respectively. Convolutional neural
networks and randomly weighted neural networks are also interpreted by this
framework.
- Abstract（参考訳）: 本稿では,オートエンコーダの機構に関する理論的枠組みを提案する。
エンコーダ部では,主用途として次元還元法を用い,その2つの基本特性について検討する。
上記の2つの特性のいずれかまたは両方を満たすエンコーダの一般的な構成法が与えられる。
エンコーダ構成の結果、デコーダ部分に対して、アフィン変換を使わずに解の新たな基本原理を提案する。
オートエンコーダの一般化機構をモデル化する。
ReLUオートエンコーダの結果は、いくつかの非ReLUケース、特にシグモイド単位オートエンコーダに一般化される。
上記の理論的枠組みに基づき, 変分オートエンコーダ, 雑音化オートエンコーダ, 線形単位オートエンコーダの実験結果を説明し, エンコーダによるデータの低次元表現の解釈に重点を置いている。
PCAと決定木と比較して,次元減少と分類における(一般化された)オートエンコーダの利点が示された。
畳み込みニューラルネットワークやランダム重み付けニューラルネットワークもこのフレームワークによって解釈される。
関連論文リスト
- $ε$-VAE: Denoising as Visual Decoding [61.29255979767292]
生成モデリングにおいて、トークン化は複雑なデータをコンパクトで構造化された表現に単純化し、より効率的で学習可能な空間を作り出す。
現在の視覚的トークン化手法は従来のオートエンコーダフレームワークに依存しており、エンコーダはデータを潜在表現に圧縮し、デコーダは元の入力を再構築する。
具体的には,デコーダを拡散処理に置き換え,ノイズを反復的に除去して元のイメージを復元し,エンコーダが提供する潜伏者によって誘導される。
再建(rFID)と生成品質(ジェネレーション品質)の両面からアプローチを評価する。
論文 参考訳（メタデータ） (2024-10-05T08:27:53Z) - Generalization Bounds for Neural Belief Propagation Decoders [10.96453955114324]
本稿では,ニューラルネットワークを用いたデコーダの一般化機能について検討する。
具体的には、デコーダの一般化ギャップは、経験的ビットエラーレートと期待ビットエラーレートの差である。
通常のパリティチェック行列と不規則なパリティチェック行列の両方について結果が提示される。
論文 参考訳（メタデータ） (2023-05-17T19:56:04Z) - Decoder-Only or Encoder-Decoder? Interpreting Language Model as a
Regularized Encoder-Decoder [75.03283861464365]
seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。
伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。
最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
論文 参考訳（メタデータ） (2023-04-08T15:44:29Z) - Fundamental Limits of Two-layer Autoencoders, and Achieving Them with
Gradient Methods [91.54785981649228]
本稿では,非線形二層型オートエンコーダについて述べる。
本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。
符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
論文 参考訳（メタデータ） (2022-12-27T12:37:34Z) - Disentangling Autoencoders (DAE) [0.0]
本稿では,グループ理論における対称性変換の原理に基づく,オートエンコーダのための新しいフレームワークを提案する。
我々は,このモデルが正規化不要なオートエンコーダに基づく非絡み合い学習の新たな分野を導くと信じている。
論文 参考訳（メタデータ） (2022-02-20T22:59:13Z) - Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。
本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。
我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
論文 参考訳（メタデータ） (2022-02-09T18:48:02Z) - Dynamic Neural Representational Decoders for High-Resolution Semantic
Segmentation [98.05643473345474]
動的ニューラル表現デコーダ(NRD)と呼ばれる新しいデコーダを提案する。
エンコーダの出力上の各位置がセマンティックラベルの局所的なパッチに対応するので、この研究では、これらの局所的なパッチをコンパクトなニューラルネットワークで表現する。
このニューラル表現により、意味ラベル空間に先行する滑らかさを活用することができ、デコーダをより効率的にすることができる。
論文 参考訳（メタデータ） (2021-07-30T04:50:56Z) - Cascade Decoders-Based Autoencoders for Image Reconstruction [2.924868086534434]
本稿では,カスケードデコーダを用いたオートエンコーダの画像再構成を目的とする。
提案したシリアルデコーダベースのオートエンコーダは、マルチレベルデコーダのアーキテクチャと関連する最適化アルゴリズムを含む。
提案するオートエンコーダは,画像再構成の性能において,従来のオートエンコーダよりも優れていた。
論文 参考訳（メタデータ） (2021-06-29T23:40:54Z) - A New Modal Autoencoder for Functionally Independent Feature Extraction [6.690183908967779]
新しいモーダルオートエンコーダ (MAE) は、読み出し重み行列の列をオトゴゴナライズすることによって提案される。
結果は、MNIST変異とUSPS分類ベンチマークスイートで検証された。
新しいMAEは、オートエンコーダのための非常にシンプルなトレーニング原則を導入し、ディープニューラルネットワークの事前トレーニングを約束できる。
論文 参考訳（メタデータ） (2020-06-25T13:25:10Z) - Learning Autoencoders with Relational Regularization [89.53065887608088]
データ分散のオートエンコーダを学習するための新しいフレームワークを提案する。
エンフレレーショナル正規化によるモデルと対象分布の差を最小限にする
我々はこのフレームワークを2つのスケーラブルアルゴリズムで実装し、確率的および決定論的オートエンコーダの両方に適用する。
論文 参考訳（メタデータ） (2020-02-07T17:27:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。