論文の概要: Adaptive Compression of the Latent Space in Variational Autoencoders
- arxiv url: http://arxiv.org/abs/2312.06280v1
- Date: Mon, 11 Dec 2023 10:35:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 16:06:42.789411
- Title: Adaptive Compression of the Latent Space in Variational Autoencoders
- Title(参考訳): 変分オートエンコーダにおける潜在空間の適応圧縮
- Authors: Gabriela Sejnova, Michal Vavrecka and Karla Stepanova
- Abstract要約: 本稿では,トレーニング過程における最適潜時空間サイズを自動決定するためのVAEの簡易拡張について述べる。
提案手法の最終的な性能は,スクラッチから最適潜伏サイズのトレーニングに匹敵するものであり,便利な代替品として機能する可能性が示唆された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Variational Autoencoders (VAEs) are powerful generative models that have been
widely used in various fields, including image and text generation. However,
one of the known challenges in using VAEs is the model's sensitivity to its
hyperparameters, such as the latent space size. This paper presents a simple
extension of VAEs for automatically determining the optimal latent space size
during the training process by gradually decreasing the latent size through
neuron removal and observing the model performance. The proposed method is
compared to traditional hyperparameter grid search and is shown to be
significantly faster while still achieving the best optimal dimensionality on
four image datasets. Furthermore, we show that the final performance of our
method is comparable to training on the optimal latent size from scratch, and
might thus serve as a convenient substitute.
- Abstract(参考訳): 可変オートエンコーダ(VAE)は画像やテキスト生成など様々な分野で広く使われている強力な生成モデルである。
しかしながら、VAEを使用する際の既知の課題の1つは、潜在空間サイズなどのハイパーパラメータに対するモデルの感度である。
本稿では、ニューロンの除去とモデル性能の観察により、学習過程における最適な潜在空間サイズを自動的に決定するためのvaesの簡単な拡張について述べる。
提案手法は従来のハイパーパラメータグリッド探索と比較し, 4つの画像データセットにおいて最適な最適次元を保ちながら, かなり高速であることが示されている。
さらに,本手法の最終性能は,スクラッチから最適潜伏サイズのトレーニングに匹敵するものであり,便利な代替品として機能する可能性が示唆された。
関連論文リスト
- Dual-Space Optimization: Improved Molecule Sequence Design by Latent
Prompt Transformer [78.47949363282868]
本稿では,遅延空間サンプリングとデータ空間選択を統合したDual-Space Optimization (DSO)法を提案する。
DSOは、生成モデルと合成データを所望のプロパティ値の領域にシフトさせる最適化プロセスにおいて、潜在空間生成モデルと合成データセットを反復的に更新する。
提案手法の有効性を実証し, 単一目的, 多目的, 制約された分子設計タスクにまたがる新しい性能ベンチマークを設定した。
論文 参考訳(メタデータ) (2024-02-27T03:33:23Z) - Variational Bayes image restoration with compressive autoencoders [5.514022022280169]
逆問題の正規化は、計算イメージングにおいて最重要となる。
最先端のプラグアンドプレイ法は、ニューラルデノイザによって提供される暗黙の正規化に依存している。
本稿では,潜時推定を行う変分ベイズ潜時推定(VBLE)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-29T15:49:31Z) - E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。
本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。
提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
論文 参考訳(メタデータ) (2023-07-25T19:03:21Z) - RENs: Relevance Encoding Networks [0.0]
本稿では,遅延空間に先行する自動相対性決定(ARD)を用いて,データ固有のボトルネック次元を学習する新しい確率的VOEベースのフレームワークであるrelevance encoding network (RENs)を提案する。
提案モデルは,サンプルの表現や生成品質を損なうことなく,関連性のあるボトルネック次元を学習することを示す。
論文 参考訳(メタデータ) (2022-05-25T21:53:48Z) - Learning the Effect of Registration Hyperparameters with HyperMorph [7.313453912494172]
我々は,学習に基づく変形可能な画像登録において,効率的なハイパーパラメータチューニングを容易にするHyperMorphを紹介した。
本研究では,高速かつ高分解能なハイパーパラメータ探索を実現することで,従来の手法の非効率性を低減できることを示す。
論文 参考訳(メタデータ) (2022-03-30T21:30:06Z) - Neural Data-Dependent Transform for Learned Image Compression [72.86505042102155]
ニューラルデータに依存した変換を構築し,各画像の符号化効率を最適化する連続オンラインモード決定機構を導入する。
実験の結果,提案したニューラルシンタクス設計と連続オンラインモード決定機構の有効性が示された。
論文 参考訳(メタデータ) (2022-03-09T14:56:48Z) - Discrete Auto-regressive Variational Attention Models for Text Modeling [53.38382932162732]
変分オートエンコーダ(VAE)はテキストモデリングに広く応用されている。
情報不足と後部崩壊という2つの課題に悩まされている。
本稿では,自己回帰変動注意モデル(DAVAM)を提案する。
論文 参考訳(メタデータ) (2021-06-16T06:36:26Z) - Efficient Semantic Image Synthesis via Class-Adaptive Normalization [116.63715955932174]
クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。
セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。
提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
論文 参考訳(メタデータ) (2020-12-08T18:59:32Z) - Deep Learning for Regularization Prediction in Diffeomorphic Image
Registration [8.781861951759948]
微分同相変換の滑らかさを制御するパラメータを自動的に決定する新しいフレームワークを導入する。
画像登録の正規化パラメータとペア画像間のマッピングを学習する深層畳み込みニューラルネットワーク(CNN)に基づく予測モデルを開発した。
実験結果から,本モデルは画像登録のための適切な正規化パラメータを予測できるだけでなく,時間とメモリ効率の面でネットワークトレーニングを改善することが示唆された。
論文 参考訳(メタデータ) (2020-11-28T22:56:44Z) - High-dimensional Bayesian Optimization of Personalized Cardiac Model
Parameters via an Embedded Generative Model [7.286540513944084]
ベイズ最適化の目的関数に生成的変分オートエンコーダ(VAE)を組み込む新しい概念を提案する。
生成コードに関するVAE符号化された知識は、探索空間の探索を導くために使用される。
本発明の方法は、心臓電気生理学的モデルにおける組織興奮性の推定に応用される。
論文 参考訳(メタデータ) (2020-05-15T22:14:16Z) - Improve Variational Autoencoder for Text Generationwith Discrete Latent
Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。
VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。
よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文 参考訳(メタデータ) (2020-04-22T14:41:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。