論文の概要: Dynamic Narrowing of VAE Bottlenecks Using GECO and L0 Regularization
- arxiv url: http://arxiv.org/abs/2003.10901v3
- Date: Tue, 13 Apr 2021 09:48:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 08:22:45.019625
- Title: Dynamic Narrowing of VAE Bottlenecks Using GECO and L0 Regularization
- Title（参考訳）: GECOとL0規則化を用いたVAEボトルネックの動的ナローイング
- Authors: Cedric De Boom, Samuel Wauthier, Tim Verbelen, Bart Dhoedt
- Abstract要約: 本研究では,VAEの潜伏空間次元を自動・オンザフライで縮小する手法を開発した。
本稿では,提案手法のアルゴリズムの詳細と5つの異なるデータセットに対する実験結果について述べる。
- 参考スコア（独自算出の注目度）: 5.57310999362848
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When designing variational autoencoders (VAEs) or other types of latent space
models, the dimensionality of the latent space is typically defined upfront. In
this process, it is possible that the number of dimensions is under- or
overprovisioned for the application at hand. In case the dimensionality is not
predefined, this parameter is usually determined using time- and
resource-consuming cross-validation. For these reasons we have developed a
technique to shrink the latent space dimensionality of VAEs automatically and
on-the-fly during training using Generalized ELBO with Constrained Optimization
(GECO) and the $L_0$-Augment-REINFORCE-Merge ($L_0$-ARM) gradient estimator.
The GECO optimizer ensures that we are not violating a predefined upper bound
on the reconstruction error. This paper presents the algorithmic details of our
method along with experimental results on five different datasets. We find that
our training procedure is stable and that the latent space can be pruned
effectively without violating the GECO constraints.
- Abstract（参考訳）: 変分自己エンコーダ(VAE)や他の潜在空間モデルを設計する場合、潜時空間の次元性は通常前もって定義される。
このプロセスでは、手前のアプリケーションに対して次元の数が過小評価されるか過小計画されている可能性がある。
次元が事前に定義されていない場合、このパラメータは通常、時間とリソース消費のクロスバリデーションを使って決定される。
そこで我々は,制約付き最適化 (geco) と$l_0$-augment-reinforce-merge (l_0$-arm) 勾配推定器を用いて,訓練中のvaesの潜在空間次元を自動およびオンザフライで縮小する手法を開発した。
GECOオプティマイザは、事前定義された上限を復元エラーに違反しないことを保証する。
本稿では,本手法のアルゴリズム的詳細と5つの異なるデータセットに関する実験結果について述べる。
トレーニング手順は安定しており,GECO制約に違反することなく潜伏空間を効果的に刈り取ることができる。
関連論文リスト
- FLoRA: Low-Rank Core Space for N-dimension [78.39310274926535]
さまざまな下流タスクに事前訓練された基礎モデルを適応させることは、人工知能において一般的である。
これを軽減するために、事前訓練されたモデルの重みをより資源効率の良い方法で更新するために、いくつかの微調整技術が開発されている。
本稿では,多次元パラメータ空間用に設計された一般化されたパラメータ効率きめ細調整フレームワークFLoRAを提案する。
論文 参考訳（メタデータ） (2024-05-23T16:04:42Z) - Curvature-Informed SGD via General Purpose Lie-Group Preconditioners [6.760212042305871]
曲率情報を利用して勾配降下(SGD)を加速する新しい手法を提案する。
提案手法は,行列フリープレコンディショナーと低ランクプレコンディショナーの2つのプレコンディショナーを含む。
プレコンディショニングされたSGD(PSGD)は、ビジョン、NLP、RLタスクにおいてSoTAよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-02-07T03:18:00Z) - History Matching for Geological Carbon Storage using Data-Space
Inversion with Spatio-Temporal Data Parameterization [0.0]
データ空間インバージョン(DSI)では、履歴にマッチした興味の量は、後続のジオモデルを構築することなく直接推測される。
これは、ベイズの設定内でのO(1000)事前シミュレーション結果、データパラメータ化、および後続サンプリングのセットを用いて効率よく達成される。
新たなパラメータ化では、次元縮小のための対向オートエンコーダ(AAE)と畳み込み長短期メモリ(convLSTM)ネットワークを使用して、圧力場と飽和場の空間分布と時間的進化を表す。
論文 参考訳（メタデータ） (2023-10-05T00:50:06Z) - SIGMA: Scale-Invariant Global Sparse Shape Matching [50.385414715675076]
非剛体形状の正確なスパース対応を生成するための新しい混合整数プログラミング(MIP)法を提案する。
いくつかの挑戦的な3Dデータセットに対して,スパースな非剛性マッチングの最先端結果を示す。
論文 参考訳（メタデータ） (2023-08-16T14:25:30Z) - Random Smoothing Regularization in Kernel Gradient Descent Learning [24.383121157277007]
古典的ソボレフ空間に属する幅広い基底真理関数を適応的に学習できるランダムなスムーズな正規化のための枠組みを提案する。
我々の推定器は、基礎となるデータの構造的仮定に適応し、次元の呪いを避けることができる。
論文 参考訳（メタデータ） (2023-05-05T13:37:34Z) - LD-GAN: Low-Dimensional Generative Adversarial Network for Spectral
Image Generation with Variance Regularization [72.4394510913927]
ディープラーニング法はスペクトル画像(SI)計算タスクの最先端技術である。
GANは、データ分散から学習およびサンプリングすることで、多様な拡張を可能にする。
この種のデータの高次元性は、GANトレーニングの収束を妨げるため、GANベースのSI生成は困難である。
本稿では, オートエンコーダ訓練における低次元表現分散を制御し, GANで生成されたサンプルの多様性を高めるための統計正則化を提案する。
論文 参考訳（メタデータ） (2023-04-29T00:25:02Z) - Combating Mode Collapse in GANs via Manifold Entropy Estimation [70.06639443446545]
Generative Adversarial Networks (GAN) は、様々なタスクやアプリケーションにおいて魅力的な結果を示している。
GANのモード崩壊問題に対処するための新しいトレーニングパイプラインを提案する。
論文 参考訳（メタデータ） (2022-08-25T12:33:31Z) - Intrinsic dimension estimation for discrete metrics [65.5438227932088]
本稿では,離散空間に埋め込まれたデータセットの内在次元(ID)を推定するアルゴリズムを提案する。
我々は,その精度をベンチマークデータセットで示すとともに,種鑑定のためのメダゲノミクスデータセットの分析に応用する。
このことは、列の空間の高次元性にもかかわらず、蒸発圧が低次元多様体に作用することを示唆している。
論文 参考訳（メタデータ） (2022-07-20T06:38:36Z) - RENs: Relevance Encoding Networks [0.0]
本稿では,遅延空間に先行する自動相対性決定(ARD)を用いて,データ固有のボトルネック次元を学習する新しい確率的VOEベースのフレームワークであるrelevance encoding network (RENs)を提案する。
提案モデルは,サンプルの表現や生成品質を損なうことなく,関連性のあるボトルネック次元を学習することを示す。
論文 参考訳（メタデータ） (2022-05-25T21:53:48Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳（メタデータ） (2021-03-23T17:15:53Z) - Bayesian Sparse learning with preconditioned stochastic gradient MCMC
and its applications [5.660384137948734]
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
論文 参考訳（メタデータ） (2020-06-29T20:57:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。