論文の概要: A Mechanism for Producing Aligned Latent Spaces with Autoencoders
- arxiv url: http://arxiv.org/abs/2106.15456v1
- Date: Tue, 29 Jun 2021 14:43:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-30 15:43:08.885976
- Title: A Mechanism for Producing Aligned Latent Spaces with Autoencoders
- Title（参考訳）: オートエンコーダを用いた整列潜在空間の生成機構
- Authors: Saachi Jain, Adityanarayanan Radhakrishnan, Caroline Uhler
- Abstract要約: 調整された潜在空間は、教師なしクラスタリングやデータ計算のような下流タスクの成功に重要な役割を果たしている。
線形および非線形オートエンコーダは、データの左特異ベクトルに沿ってストレッチすることで、整列潜在空間を生成する。
- 参考スコア（独自算出の注目度）: 10.373127181919147
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Aligned latent spaces, where meaningful semantic shifts in the input space
correspond to a translation in the embedding space, play an important role in
the success of downstream tasks such as unsupervised clustering and data
imputation. In this work, we prove that linear and nonlinear autoencoders
produce aligned latent spaces by stretching along the left singular vectors of
the data. We fully characterize the amount of stretching in linear autoencoders
and provide an initialization scheme to arbitrarily stretch along the top
directions using these networks. We also quantify the amount of stretching in
nonlinear autoencoders in a simplified setting. We use our theoretical results
to align drug signatures across cell types in gene expression space and
semantic shifts in word embedding spaces.
- Abstract（参考訳）: 入力空間における意味的意味的シフトが埋め込み空間内の変換に対応するようなアライメント潜在空間は、教師なしクラスタリングやデータインプテーションのような下流タスクの成功において重要な役割を果たす。
本研究では、線形および非線形オートエンコーダが、データの左特異ベクトルに沿ってストレッチすることで、整列潜在空間を生成することを示す。
線形オートエンコーダにおけるストレッチの量を完全に特徴付け、これらのネットワークを用いて任意の方向に沿ってストレッチする初期化スキームを提供する。
また,非線形オートエンコーダのストレッチの量を簡易な設定で定量化する。
我々は、遺伝子発現空間における細胞タイプ間の薬物のシグネチャと、単語埋め込み空間における意味的変化の調整に、理論的な結果を用いる。
関連論文リスト
- Thinner Latent Spaces: Detecting dimension and imposing invariance through autoencoder gradient constraints [9.380902608139902]
ネットワークの潜在層内の直交関係を利用して、非線形多様体データセットの内在次元性を推定できることを示す。
微分幾何学に依拠する関係理論を概説し、対応する勾配偏光最適化アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2024-08-28T20:56:35Z) - Rank Reduction Autoencoders -- Enhancing interpolation on nonlinear manifolds [3.180674374101366]
Rank Reduction Autoencoder (RRAE) は、拡張された潜在空間を持つオートエンコーダである。
2つの定式化(強式と弱式)が提示され、潜在空間を正確に表現する還元基底が構築される。
タスクに使用し、結果を他のオートエンコーダと比較することにより、この定式化の効率性を示す。
論文 参考訳（メタデータ） (2024-05-22T20:33:09Z) - GeRA: Label-Efficient Geometrically Regularized Alignment [43.445924938844335]
事前訓練された単調エンコーダの埋め込み空間を整列させる半教師付き幾何正規化アライメント(GeRA)法を提案する。
本手法は,非ペアデータ(観測不能データ)の多様体幾何を利用してアライメント性能を向上させる。
音声・テキスト・画像・テキストアライメントの領域において,本手法の有効性を示す実証的証拠を提供する。
論文 参考訳（メタデータ） (2023-10-01T13:48:36Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳（メタデータ） (2023-05-28T06:30:29Z) - Fundamental Limits of Two-layer Autoencoders, and Achieving Them with
Gradient Methods [91.54785981649228]
本稿では,非線形二層型オートエンコーダについて述べる。
本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。
符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
論文 参考訳（メタデータ） (2022-12-27T12:37:34Z) - Intrinsic dimension estimation for discrete metrics [65.5438227932088]
本稿では,離散空間に埋め込まれたデータセットの内在次元(ID)を推定するアルゴリズムを提案する。
我々は,その精度をベンチマークデータセットで示すとともに,種鑑定のためのメダゲノミクスデータセットの分析に応用する。
このことは、列の空間の高次元性にもかかわらず、蒸発圧が低次元多様体に作用することを示唆している。
論文 参考訳（メタデータ） (2022-07-20T06:38:36Z) - Adaptive Machine Learning for Time-Varying Systems: Low Dimensional
Latent Space Tuning [91.3755431537592]
本稿では,時間変化システムを対象とした適応機械学習手法を提案する。
我々は,エンコーダデコーダCNNのエンコーダ部出力において,非常に高次元(N>100k)の入力を低次元(N2)潜在空間にマッピングする。
そこで本手法では,割り込みを伴わないフィードバックに基づいて,内部の相関関係を学習し,その進化をリアルタイムで追跡する。
論文 参考訳（メタデータ） (2021-07-13T16:05:28Z) - Implicit Greedy Rank Learning in Autoencoders via Overparameterized
Linear Networks [7.412225511828064]
勾配降下で訓練された深い線形ネットワークは、低階解を生成する。
オートエンコーダボトルネックにおいて,線形サブネットワークによって誘導される低ランク遅延符号の欲求学習を示す。
論文 参考訳（メタデータ） (2021-07-02T23:17:50Z) - Non-linear, Sparse Dimensionality Reduction via Path Lasso Penalized
Autoencoders [0.0]
我々は,複雑なデータ構造に対するパスラッソペナルテッドオートエンコーダを提案する。
アルゴリズムは,群ラスソペナルティと非負行列分解を用いて,スパースで非線形な潜在表現を構築する。
このアルゴリズムは,低次元表現のためのスパースPCAやパラメータワイドラッソ正規化オートエンコーダよりもはるかに低い再構成誤差を示す。
論文 参考訳（メタデータ） (2021-02-22T10:14:46Z) - Evidential Sparsification of Multimodal Latent Spaces in Conditional
Variational Autoencoders [63.46738617561255]
訓練された条件付き変分オートエンコーダの離散潜時空間をスパース化する問題を考察する。
顕在的理論を用いて、特定の入力条件から直接証拠を受け取る潜在クラスを特定し、そうでないクラスをフィルタリングする。
画像生成や人間の行動予測などの多様なタスクの実験により,提案手法の有効性を実証した。
論文 参考訳（メタデータ） (2020-10-19T01:27:21Z) - Improve Variational Autoencoder for Text Generationwith Discrete Latent
Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。
VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。
よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文 参考訳（メタデータ） (2020-04-22T14:41:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。