Fugu-MT 論文翻訳(概要): Implicit Rank-Minimizing Autoencoder

論文の概要: Implicit Rank-Minimizing Autoencoder

arxiv url: http://arxiv.org/abs/2010.00679v2
Date: Wed, 14 Oct 2020 15:36:27 GMT
ステータス: 処理完了
システム内更新日: 2022-10-12 07:08:21.068075
Title: Implicit Rank-Minimizing Autoencoder
Title（参考訳）: 暗黙的ランク最小オートエンコーダ
Authors: Li Jing, Jure Zbontar, Yann LeCun
Abstract要約: Implicit Rank-Minimizing Autoencoder (IRMAE) は単純で決定論的であり、コンパクトな潜在空間を学習する。いくつかの画像生成および表現学習タスクにおいて,本手法の有効性を示す。
参考スコア（独自算出の注目度）: 21.2045061949013
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: An important component of autoencoders is the method by which the information capacity of the latent representation is minimized or limited. In this work, the rank of the covariance matrix of the codes is implicitly minimized by relying on the fact that gradient descent learning in multi-layer linear networks leads to minimum-rank solutions. By inserting a number of extra linear layers between the encoder and the decoder, the system spontaneously learns representations with a low effective dimension. The model, dubbed Implicit Rank-Minimizing Autoencoder (IRMAE), is simple, deterministic, and learns compact latent spaces. We demonstrate the validity of the method on several image generation and representation learning tasks.
Abstract（参考訳）: オートエンコーダの重要な構成要素は、潜在表現の情報容量を最小化または制限する手法である。この研究において、符号の共分散行列のランクは、多層線形ネットワークにおける勾配降下学習が最小階解をもたらすという事実に依存して暗黙的に最小化される。エンコーダとデコーダの間に多くの余分な線形層を挿入することで、システムは、低有効次元の表現を自然に学習する。 Implicit Rank-Minimizing Autoencoder (IRMAE) と呼ばれるこのモデルは単純で決定論的であり、コンパクトな潜在空間を学習する。いくつかの画像生成および表現学習タスクにおいて,本手法の有効性を示す。

関連論文リスト

Learning Low-Rank Latent Spaces with Simple Deterministic Autoencoder: Theoretical and Empirical Insights [1.246305060872372]
Low-Rank Autoencoder (LoRAE) は低ランク遅延空間を学習する単純なオートエンコーダ拡張である。我々のモデルは画像生成や下流分類といった様々なタスクを通して優れている。
論文参考訳（メタデータ） (2023-10-24T21:24:27Z)
Divided Attention: Unsupervised Multi-Object Discovery with Contextually Separated Slots [78.23772771485635]
本研究では,視覚領域を独立した移動領域に分割し,基礎的な真実や監督を伴わずに訓練する手法を提案する。 Slot Attentionに基づく逆条件エンコーダ・デコーダアーキテクチャで構成されている。
論文参考訳（メタデータ） (2023-04-04T00:26:13Z)
Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods [91.54785981649228]
本稿では,非線形二層型オートエンコーダについて述べる。本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
論文参考訳（メタデータ） (2022-12-27T12:37:34Z)
Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
論文参考訳（メタデータ） (2022-02-09T18:48:02Z)
Closed-Loop Data Transcription to an LDR via Minimaxing Rate Reduction [27.020835928724775]
本研究では,実世界のデータセットに対する明示的な生成モデル学習のための新しい計算フレームワークを提案する。特に,多次元多次元データ分布と特徴空間における線形識別表現(LDR)の間の閉ループ転写を学習することを提案する。多くのベンチマークデータセットに対する実験は、この新しいクローズドループの定式化の可能性を示している。
論文参考訳（メタデータ） (2021-11-12T10:06:08Z)
Implicit Greedy Rank Learning in Autoencoders via Overparameterized Linear Networks [7.412225511828064]
勾配降下で訓練された深い線形ネットワークは、低階解を生成する。オートエンコーダボトルネックにおいて,線形サブネットワークによって誘導される低ランク遅延符号の欲求学習を示す。
論文参考訳（メタデータ） (2021-07-02T23:17:50Z)
Diffusion-Based Representation Learning [65.55681678004038]
教師付き信号のない表現学習を実現するために,デノナイズスコアマッチングフレームワークを拡張した。対照的に、拡散に基づく表現学習は、デノナイジングスコアマッチング目的の新しい定式化に依存している。同じ手法を用いて,半教師付き画像分類における最先端モデルの改善を実現する無限次元潜在符号の学習を提案する。
論文参考訳（メタデータ） (2021-05-29T09:26:02Z)
A New Modal Autoencoder for Functionally Independent Feature Extraction [6.690183908967779]
新しいモーダルオートエンコーダ (MAE) は、読み出し重み行列の列をオトゴゴナライズすることによって提案される。結果は、MNIST変異とUSPS分類ベンチマークスイートで検証された。新しいMAEは、オートエンコーダのための非常にシンプルなトレーニング原則を導入し、ディープニューラルネットワークの事前トレーニングを約束できる。
論文参考訳（メタデータ） (2020-06-25T13:25:10Z)
MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
論文参考訳（メタデータ） (2020-06-17T05:14:53Z)
Evolving Losses for Unsupervised Video Representation Learning [91.2683362199263]
大規模未ラベル映像データから映像表現を学習する新しい手法を提案する。提案した教師なし表現学習では,単一のRGBネットワークが実現し,従来の手法よりも優れていた。
論文参考訳（メタデータ） (2020-02-26T16:56:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。