論文の概要: Optimizing Training Trajectories in Variational Autoencoders via Latent
Bayesian Optimization Approach
- arxiv url: http://arxiv.org/abs/2207.00128v1
- Date: Thu, 30 Jun 2022 23:41:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-05 03:00:31.814478
- Title: Optimizing Training Trajectories in Variational Autoencoders via Latent
Bayesian Optimization Approach
- Title（参考訳）: ラテントベイズ最適化による変分オートエンコーダの学習軌道の最適化
- Authors: Arpan Biswas, Rama Vasudevan, Maxim Ziatdinov, Sergei V. Kalinin
- Abstract要約: 教師なしおよび半教師なしのML手法は、物理学、化学、材料科学の様々な分野に広く採用されている。
教師なしおよび半教師付きMLに対するハイパーパラメータ軌道最適化のための潜在ベイズ最適化(zBO)手法を提案する。
本手法の適用により,MNISTの離散的および連続的回転不変表現とプラズモンナノ粒子材料システムの実験データを求めることができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unsupervised and semi-supervised ML methods such as variational autoencoders
(VAE) have become widely adopted across multiple areas of physics, chemistry,
and materials sciences due to their capability in disentangling representations
and ability to find latent manifolds for classification and regression of
complex experimental data. Like other ML problems, VAEs require hyperparameter
tuning, e.g., balancing the Kullback Leibler (KL) and reconstruction terms.
However, the training process and resulting manifold topology and connectivity
depend not only on hyperparameters, but also their evolution during training.
Because of the inefficiency of exhaustive search in a high-dimensional
hyperparameter space for the expensive to train models, here we explored a
latent Bayesian optimization (zBO) approach for the hyperparameter trajectory
optimization for the unsupervised and semi-supervised ML and demonstrate for
joint-VAE with rotational invariances. We demonstrate an application of this
method for finding joint discrete and continuous rotationally invariant
representations for MNIST and experimental data of a plasmonic nanoparticles
material system. The performance of the proposed approach has been discussed
extensively, where it allows for any high dimensional hyperparameter tuning or
trajectory optimization of other ML models.
- Abstract（参考訳）: 変分オートエンコーダ(VAE)のような教師なしおよび半教師なしのML手法は、複雑な実験データの分類と回帰のための潜在多様体を見つける能力によって、物理学、化学、材料科学の様々な分野に広く採用されている。
他のML問題と同様に、VAEは超パラメータチューニング、例えばKL(Kulback Leibler)と再構成項のバランスを必要とする。
しかし、トレーニング過程と結果の多様体位相と接続性は、ハイパーパラメータだけでなく、トレーニング中の進化にも依存する。
本稿では,高次元ハイパーパラメータ空間における非効率性から,非教師付き半教師付きMLに対する超パラメータ軌道最適化のための潜時ベイズ最適化(zBO)手法を探索し,回転不変性のあるジョイントVAEの実証を行った。
本手法の適用により,MNISTの離散的および連続的回転不変表現とプラズモンナノ粒子材料システムの実験データを求めることができる。
提案手法の性能は広く議論されており、他のMLモデルの高次元ハイパーパラメータチューニングや軌道最適化が可能である。
関連論文リスト
- A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。
SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。
画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-19T17:32:15Z) - Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。
シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。
実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-08-13T08:09:05Z) - Fully Bayesian Differential Gaussian Processes through Stochastic Differential Equations [7.439555720106548]
本稿では、カーネルハイパーパラメータを確率変数として扱い、結合微分方程式(SDE)を構築して、その後部分布と誘導点を学習する完全ベイズ的手法を提案する。
提案手法は,SDE法による結合変数による時間変化,包括的,現実的な後部近似を提供する。
我々の研究はベイズ的推論を推し進めるためのエキサイティングな研究の道を開き、継続的なガウス的プロセスのための強力なモデリングツールを提供する。
論文 参考訳（メタデータ） (2024-08-12T11:41:07Z) - Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
生成モデルのための新しいスペクトル対応適応フレームワークを提案する。
本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。
本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
論文 参考訳（メタデータ） (2024-05-31T17:43:35Z) - Active-Learning-Driven Surrogate Modeling for Efficient Simulation of
Parametric Nonlinear Systems [0.0]
支配方程式がなければ、パラメトリック還元次代理モデルを非侵襲的に構築する必要がある。
我々の研究は、パラメータのスナップショットを効率的に表示するための非侵入的最適性基準を提供する。
カーネルベースの浅層ニューラルネットワークを用いた能動的学習駆動サロゲートモデルを提案する。
論文 参考訳（メタデータ） (2023-06-09T18:01:14Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2023-04-03T13:13:19Z) - Equivariant vector field network for many-body system modeling [65.22203086172019]
Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。
シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
論文 参考訳（メタデータ） (2021-10-26T14:26:25Z) - Spectral Tensor Train Parameterization of Deep Learning Layers [136.4761580842396]
重み行列の低ランクパラメータ化をDeep Learningコンテキストに埋め込まれたスペクトル特性を用いて検討する。
分類設定におけるニューラルネットワーク圧縮の効果と,生成的対角トレーニング設定における圧縮および安定性トレーニングの改善について述べる。
論文 参考訳（メタデータ） (2021-03-07T00:15:44Z) - Bayesian multiscale deep generative model for the solution of
high-dimensional inverse problems [0.0]
深層確率的生成モデルに基づく新しいマルチスケールベイズ推論手法が導入された。
この方法は、安定性、効率、精度を示しながら、高次元パラメータ推定を可能にする。
論文 参考訳（メタデータ） (2021-02-04T11:47:21Z) - VisEvol: Visual Analytics to Support Hyperparameter Search through Evolutionary Optimization [4.237343083490243]
機械学習(ML)モデルのトレーニングフェーズでは、通常、いくつかのハイパーパラメータを設定する必要がある。
本稿では、ハイパーパラメータのインタラクティブな探索と、この進化過程への介入を支援するビジュアル分析ツールVisEvolを紹介する。
VisEvolの実用性と適用性は,2つのユースケースと,ツールの有効性を評価するML専門家へのインタビューで実証された。
論文 参考訳（メタデータ） (2020-12-02T13:43:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。