論文の概要: Optimizing Training Trajectories in Variational Autoencoders via Latent
Bayesian Optimization Approach
- arxiv url: http://arxiv.org/abs/2207.00128v1
- Date: Thu, 30 Jun 2022 23:41:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-05 03:00:31.814478
- Title: Optimizing Training Trajectories in Variational Autoencoders via Latent
Bayesian Optimization Approach
- Title(参考訳): ラテントベイズ最適化による変分オートエンコーダの学習軌道の最適化
- Authors: Arpan Biswas, Rama Vasudevan, Maxim Ziatdinov, Sergei V. Kalinin
- Abstract要約: 教師なしおよび半教師なしのML手法は、物理学、化学、材料科学の様々な分野に広く採用されている。
教師なしおよび半教師付きMLに対するハイパーパラメータ軌道最適化のための潜在ベイズ最適化(zBO)手法を提案する。
本手法の適用により,MNISTの離散的および連続的回転不変表現とプラズモンナノ粒子材料システムの実験データを求めることができる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unsupervised and semi-supervised ML methods such as variational autoencoders
(VAE) have become widely adopted across multiple areas of physics, chemistry,
and materials sciences due to their capability in disentangling representations
and ability to find latent manifolds for classification and regression of
complex experimental data. Like other ML problems, VAEs require hyperparameter
tuning, e.g., balancing the Kullback Leibler (KL) and reconstruction terms.
However, the training process and resulting manifold topology and connectivity
depend not only on hyperparameters, but also their evolution during training.
Because of the inefficiency of exhaustive search in a high-dimensional
hyperparameter space for the expensive to train models, here we explored a
latent Bayesian optimization (zBO) approach for the hyperparameter trajectory
optimization for the unsupervised and semi-supervised ML and demonstrate for
joint-VAE with rotational invariances. We demonstrate an application of this
method for finding joint discrete and continuous rotationally invariant
representations for MNIST and experimental data of a plasmonic nanoparticles
material system. The performance of the proposed approach has been discussed
extensively, where it allows for any high dimensional hyperparameter tuning or
trajectory optimization of other ML models.
- Abstract(参考訳): 変分オートエンコーダ(VAE)のような教師なしおよび半教師なしのML手法は、複雑な実験データの分類と回帰のための潜在多様体を見つける能力によって、物理学、化学、材料科学の様々な分野に広く採用されている。
他のML問題と同様に、VAEは超パラメータチューニング、例えばKL(Kulback Leibler)と再構成項のバランスを必要とする。
しかし、トレーニング過程と結果の多様体位相と接続性は、ハイパーパラメータだけでなく、トレーニング中の進化にも依存する。
本稿では,高次元ハイパーパラメータ空間における非効率性から,非教師付き半教師付きMLに対する超パラメータ軌道最適化のための潜時ベイズ最適化(zBO)手法を探索し,回転不変性のあるジョイントVAEの実証を行った。
本手法の適用により,MNISTの離散的および連続的回転不変表現とプラズモンナノ粒子材料システムの実験データを求めることができる。
提案手法の性能は広く議論されており、他のMLモデルの高次元ハイパーパラメータチューニングや軌道最適化が可能である。
関連論文リスト
- Dual-Space Optimization: Improved Molecule Sequence Design by Latent
Prompt Transformer [78.47949363282868]
本稿では,遅延空間サンプリングとデータ空間選択を統合したDual-Space Optimization (DSO)法を提案する。
DSOは、生成モデルと合成データを所望のプロパティ値の領域にシフトさせる最適化プロセスにおいて、潜在空間生成モデルと合成データセットを反復的に更新する。
提案手法の有効性を実証し, 単一目的, 多目的, 制約された分子設計タスクにまたがる新しい性能ベンチマークを設定した。
論文 参考訳(メタデータ) (2024-02-27T03:33:23Z) - Online Variational Sequential Monte Carlo [56.16884466478886]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳(メタデータ) (2023-12-19T21:45:38Z) - Subsurface Characterization using Ensemble-based Approaches with Deep
Generative Models [2.184775414778289]
逆モデリングは、計算コストとスパースデータセットによる予測精度の低下により、不適切な高次元アプリケーションに限られる。
Wasserstein Geneversarative Adrial Network と Gradient Penalty (WGAN-GP) と Ensemble Smoother を多重データ同化 (ES-MDA) と組み合わせる。
WGAN-GPは低次元の潜伏空間から高次元K場を生成するために訓練され、ES-MDAは利用可能な測定値を同化することにより潜伏変数を更新する。
論文 参考訳(メタデータ) (2023-10-02T01:27:10Z) - Active-Learning-Driven Surrogate Modeling for Efficient Simulation of
Parametric Nonlinear Systems [0.0]
支配方程式がなければ、パラメトリック還元次代理モデルを非侵襲的に構築する必要がある。
我々の研究は、パラメータのスナップショットを効率的に表示するための非侵入的最適性基準を提供する。
カーネルベースの浅層ニューラルネットワークを用いた能動的学習駆動サロゲートモデルを提案する。
論文 参考訳(メタデータ) (2023-06-09T18:01:14Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-04-03T13:13:19Z) - Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。
実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文 参考訳(メタデータ) (2022-05-26T12:51:32Z) - An Adaptive Alternating-direction-method-based Nonnegative Latent Factor
Model [2.857044909410376]
交互方向法に基づく非負潜在因子モデルにより、高次元および不完全行列への効率的な表現学習を行うことができる。
本稿では,超パラメータ適応を粒子群最適化の原理に従って実装した適応交互方向法に基づく非負遅延因子モデルを提案する。
産業応用によって生成される非負のHDI行列に関する実証的研究は、A2NLFが計算および記憶効率においていくつかの最先端モデルより優れており、HDI行列の欠落データに対する高い競合推定精度を維持していることを示している。
論文 参考訳(メタデータ) (2022-04-11T03:04:26Z) - Equivariant vector field network for many-body system modeling [65.22203086172019]
Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。
シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
論文 参考訳(メタデータ) (2021-10-26T14:26:25Z) - Spectral Tensor Train Parameterization of Deep Learning Layers [136.4761580842396]
重み行列の低ランクパラメータ化をDeep Learningコンテキストに埋め込まれたスペクトル特性を用いて検討する。
分類設定におけるニューラルネットワーク圧縮の効果と,生成的対角トレーニング設定における圧縮および安定性トレーニングの改善について述べる。
論文 参考訳(メタデータ) (2021-03-07T00:15:44Z) - Bayesian multiscale deep generative model for the solution of
high-dimensional inverse problems [0.0]
深層確率的生成モデルに基づく新しいマルチスケールベイズ推論手法が導入された。
この方法は、安定性、効率、精度を示しながら、高次元パラメータ推定を可能にする。
論文 参考訳(メタデータ) (2021-02-04T11:47:21Z) - VisEvol: Visual Analytics to Support Hyperparameter Search through
Evolutionary Optimization [5.890700712095962]
機械学習(ML)モデルのトレーニングフェーズでは、通常、いくつかのハイパーパラメータを設定する必要がある。
本稿では、ハイパーパラメータのインタラクティブな探索と、この進化過程への介入を支援するビジュアル分析ツールVisEvolを紹介する。
VisEvolの実用性と適用性は,2つのユースケースと,ツールの有効性を評価するML専門家へのインタビューで実証された。
論文 参考訳(メタデータ) (2020-12-02T13:43:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。