Fugu-MT 論文翻訳(概要): Isometric Autoencoders

論文の概要: Isometric Autoencoders

arxiv url: http://arxiv.org/abs/2006.09289v2
Date: Sat, 3 Oct 2020 19:20:46 GMT
ステータス: 処理完了
システム内更新日: 2022-11-20 19:37:59.480100
Title: Isometric Autoencoders
Title（参考訳）: 等尺オートエンコーダ
Authors: Amos Gropp, Matan Atzmon, Yaron Lipman
Abstract要約: 我々はアイソメトリ(即ち局所距離保存)正則化を提唱する。我々の正規化器は、(つまりデコーダは等尺線、(ii)デコーダはデコーダの擬似逆、すなわち、エンコーダはプロジェクションによりデコーダの逆を周囲空間に拡張する。
参考スコア（独自算出の注目度）: 36.947436313489746
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: High dimensional data is often assumed to be concentrated on or near a low-dimensional manifold. Autoencoders (AE) is a popular technique to learn representations of such data by pushing it through a neural network with a low dimension bottleneck while minimizing a reconstruction error. Using high capacity AE often leads to a large collection of minimizers, many of which represent a low dimensional manifold that fits the data well but generalizes poorly. Two sources of bad generalization are: extrinsic, where the learned manifold possesses extraneous parts that are far from the data; and intrinsic, where the encoder and decoder introduce arbitrary distortion in the low dimensional parameterization. An approach taken to alleviate these issues is to add a regularizer that favors a particular solution; common regularizers promote sparsity, small derivatives, or robustness to noise. In this paper, we advocate an isometry (i.e., local distance preserving) regularizer. Specifically, our regularizer encourages: (i) the decoder to be an isometry; and (ii) the encoder to be the decoder's pseudo-inverse, that is, the encoder extends the inverse of the decoder to the ambient space by orthogonal projection. In a nutshell, (i) and (ii) fix both intrinsic and extrinsic degrees of freedom and provide a non-linear generalization to principal component analysis (PCA). Experimenting with the isometry regularizer on dimensionality reduction tasks produces useful low-dimensional data representations.
Abstract（参考訳）: 高次元データは、しばしば低次元多様体またはその近くに集中していると仮定される。オートエンコーダ(AE)は、リコンストラクションエラーを最小限に抑えながら、低次元のボトルネックを持つニューラルネットワークを通じて、そのようなデータの表現を学習する一般的なテクニックである。高容量AEを使用すると、多くの最小化器が集まり、その多くがデータによくフィットするが一般化が不十分な低次元多様体を表す。悪い一般化の2つの源は、学習された多様体がデータから遠く離れた外部部分を持つ extrinsic と、エンコーダとデコーダが低次元パラメタライゼーションにおいて任意の歪みを導入する intrinsic である。これらの問題を緩和するために取られたアプローチは、特定の解を好む正規化器を追加することである。本稿では,等尺性(局所的距離保存)正則化を提唱する。特に正規化剤は i) 等尺形となる復号器,及び (ii)デコーダの擬似逆元であるエンコーダ、すなわちエンコーダは直交射影によりデコーダの逆元を周囲空間に拡張する。ひと言で言えば、。 (i)および (二)本質的・外生的自由度を両立させ、主成分分析(PCA)への非線形一般化を提供する。次元減少タスクにおける等長正規化子の実験は、有用な低次元データ表現を生成する。

関連論文リスト

Rank Reduction Autoencoders -- Enhancing interpolation on nonlinear manifolds [3.180674374101366]
Rank Reduction Autoencoder (RRAE) は、拡張された潜在空間を持つオートエンコーダである。 2つの定式化(強式と弱式)が提示され、潜在空間を正確に表現する還元基底が構築される。タスクに使用し、結果を他のオートエンコーダと比較することにより、この定式化の効率性を示す。
論文参考訳（メタデータ） (2024-05-22T20:33:09Z)
Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
論文参考訳（メタデータ） (2024-02-07T16:32:29Z)
Learning Low-Rank Latent Spaces with Simple Deterministic Autoencoder: Theoretical and Empirical Insights [1.246305060872372]
Low-Rank Autoencoder (LoRAE) は低ランク遅延空間を学習する単純なオートエンコーダ拡張である。我々のモデルは画像生成や下流分類といった様々なタスクを通して優れている。
論文参考訳（メタデータ） (2023-10-24T21:24:27Z)
Geometric Autoencoders -- What You See is What You Decode [12.139222986297263]
本稿では,デコーダ上での微分幾何学的視点を提案し,埋め込みの歪みに対する洞察力のある診断と,そのような歪みを緩和する新たな正規化器を提案する。我々のGeometric Autoencoder'は埋め込みを急激に伸ばすのを避けるので、可視化はデータ構造をより忠実に捉えます。
論文参考訳（メタデータ） (2023-06-30T13:24:31Z)
Deep Nonparametric Estimation of Intrinsic Data Structures by Chart Autoencoders: Generalization Error and Robustness [11.441464617936173]
グラフの集合上の低次元の潜在特徴にデータをエンコードするために、チャートオートエンコーダを用いる。オートエンコーダを訓練することにより、チャートオートエンコーダは入力データを正常な雑音で効果的に識別できることを示す。特別な場合として、データ多様体が大域的パラメトリゼーションを持つ限り、我々の理論は古典的自己エンコーダにも当てはまる。
論文参考訳（メタデータ） (2023-03-17T10:01:32Z)
Convergent autoencoder approximation of low bending and low distortion manifold embeddings [5.5711773076846365]
オートエンコーダのエンコーダコンポーネントを学習するための新しい正規化を提案し,解析する。損失関数は、入力多様体上の点対に対する異なるサンプリング戦略とモンテカルロ積分を通じて計算される。我々の主定理は、埋め込み写像の損失汎函数をサンプリング依存損失汎函数の$Gamma$-極限として定義する。
論文参考訳（メタデータ） (2022-08-22T10:31:31Z)
Toward a Geometrical Understanding of Self-supervised Contrastive Learning [55.83778629498769]
自己教師付き学習(SSL)は、人間のアノテーションがなければ、伝達学習に有効なデータ表現を作成するための最重要技術の一つである。メインストリームSSL技術は、エンコーダとプロジェクタという2つのカスケードニューラルネットワークを備えた、特定のディープニューラルネットワークアーキテクチャに依存している。本稿では,データ拡張ポリシーの強みがデータ埋め込みに与える影響について検討する。
論文参考訳（メタデータ） (2022-05-13T23:24:48Z)
Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
論文参考訳（メタデータ） (2022-02-09T18:48:02Z)
A Local Similarity-Preserving Framework for Nonlinear Dimensionality Reduction with Neural Networks [56.068488417457935]
本稿では,Vec2vecという新しい局所非線形手法を提案する。ニューラルネットワークを訓練するために、マトリックスの近傍類似度グラフを構築し、データポイントのコンテキストを定義します。 8つの実データセットにおけるデータ分類とクラスタリングの実験により、Vec2vecは統計仮説テストにおける古典的な次元削減法よりも優れていることが示された。
論文参考訳（メタデータ） (2021-03-10T23:10:47Z)
Manifold Learning via Manifold Deflation [105.7418091051558]
次元削減法は、高次元データの可視化と解釈に有用な手段を提供する。多くの一般的な手法は単純な2次元のマニフォールドでも劇的に失敗する。本稿では,グローバルな構造を座標として組み込んだ,新しいインクリメンタルな空間推定器の埋め込み手法を提案する。実験により,本アルゴリズムは実世界および合成データセットに新規で興味深い埋め込みを復元することを示した。
論文参考訳（メタデータ） (2020-07-07T10:04:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。