論文の概要: Improving black-box optimization in VAE latent space using decoder uncertainty

• arxiv url: http://arxiv.org/abs/2107.00096v1
• Date: Wed, 30 Jun 2021 20:46:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-03 03:31:17.483163
• Title: Improving black-box optimization in VAE latent space using decoder uncertainty
• Title（参考訳）: デコーダの不確かさを用いたvae潜時空間におけるブラックボックス最適化の改善
• Authors: Pascal Notin, Jos\'e Miguel Hern\'andez-Lobato, Yarin Gal
• Abstract要約: 我々は、より堅牢な不確実性推定を提供する重要サンプリングベース推定器を導入する。 ブラックボックスの目的と生成されたサンプルの妥当性のトレードオフが良くなり、時には両者を同時に改善する。 これらの利点は、数値生成、算術式近似、薬物設計のための分子生成におけるいくつかの実験的な設定にまたがって説明される。
• 参考スコア（独自算出の注目度）: 25.15359244726929
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optimization in the latent space of variational autoencoders is a promising approach to generate high-dimensional discrete objects that maximize an expensive black-box property (e.g., drug-likeness in molecular generation, function approximation with arithmetic expressions). However, existing methods lack robustness as they may decide to explore areas of the latent space for which no data was available during training and where the decoder can be unreliable, leading to the generation of unrealistic or invalid objects. We propose to leverage the epistemic uncertainty of the decoder to guide the optimization process. This is not trivial though, as a naive estimation of uncertainty in the high-dimensional and structured settings we consider would result in high estimator variance. To solve this problem, we introduce an importance sampling-based estimator that provides more robust estimates of epistemic uncertainty. Our uncertainty-guided optimization approach does not require modifications of the model architecture nor the training process. It produces samples with a better trade-off between black-box objective and validity of the generated samples, sometimes improving both simultaneously. We illustrate these advantages across several experimental settings in digit generation, arithmetic expression approximation and molecule generation for drug design.
• Abstract（参考訳）: 変分オートエンコーダの潜在空間における最適化は、高価なブラックボックス特性(例えば分子生成における薬物類似性、算術式による関数近似)を最大化する高次元離散オブジェクトを生成するための有望なアプローチである。 しかし、既存のメソッドは、トレーニング中にデータが入手できず、デコーダが信頼できない領域を探索することに決め、非現実的または無効なオブジェクトの生成につながるため、堅牢性に欠ける。 本稿では,デコーダのエピステミック不確実性を利用して最適化プロセスを導くことを提案する。 しかし、これは自明なものではなく、高次元および構造化された設定の不確かさの素直な推定は、高い推定値の分散をもたらす。 この問題を解決するために,より頑健なてんかん不確実性評価を行う重要サンプリングベース推定器を提案する。 我々の不確実性誘導最適化アプローチは、モデルアーキテクチャの変更やトレーニングプロセスを必要としない。 ブラックボックスの目的と生成されたサンプルの妥当性のトレードオフが良くなり、時には両者を同時に改善する。 本稿では, 数値生成, 算術式近似, 分子生成のいくつかの実験的設定において, これらの利点について述べる。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• End-to-End Conformal Calibration for Optimization Under Uncertainty [32.844953018302874]
  本稿では,条件最適化のための不確実性推定を学習するためのエンドツーエンドフレームワークを開発する。 さらに,部分凸ニューラルネットワークを用いた任意の凸不確実性集合の表現を提案する。 我々のアプローチは2段階最適化によって一貫して改善される。
  論文  参考訳（メタデータ） (2024-09-30T17:38:27Z)
• Latent Energy-Based Odyssey: Black-Box Optimization via Expanded Exploration in the Energy-Based Latent Space [65.44449711359724]
  ブラックボックス関数の高次元かつ高マルチモーダルな入力設計空間は、既存の手法に固有の課題をもたらす。 設計値の結合空間の圧縮的かつ正確な表現として機能する潜在空間の発見を検討する。 本稿では, 高精度潜時空間モデルの変分学習のための雑音強調型テレスコープ密度比推定法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T00:11:53Z)
• Diffusion Model for Data-Driven Black-Box Optimization [54.25693582870226]
  我々は、強力な生成AI技術である拡散モデルに注目し、ブラックボックス最適化の可能性について検討する。 本研究では,1)実数値報酬関数のノイズ測定と,2)対比較に基づく人間の嗜好の2種類のラベルについて検討する。 提案手法は,設計最適化問題を条件付きサンプリング問題に再構成し,拡散モデルのパワーを有効活用する。
  論文  参考訳（メタデータ） (2024-03-20T00:41:12Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Fine-Tuning Adaptive Stochastic Optimizers: Determining the Optimal Hyperparameter $ε$ via Gradient Magnitude Histogram Analysis [0.7366405857677226]
  我々は、損失の大きさの経験的確率密度関数に基づく新しい枠組みを導入し、これを「緩やかな等級ヒストグラム」と呼ぶ。 そこで本稿では, 最適安全のための精密かつ高精度な探索空間を自動推定するために, 勾配等級ヒストグラムを用いた新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-20T04:34:19Z)
• Efficient Robust Bayesian Optimization for Arbitrary Uncertain Inputs [13.578262325229161]
  本稿では,任意の入力不確実性の下で一貫して動作するロバストな最適化アルゴリズムであるAIRBOを提案する。 提案手法は,最大平均離散度(MMD)を用いてガウス過程を有効化することにより任意の分布の不確実な入力を直接モデル化し,さらにNystrom近似による後部推論を高速化する。 MMD推定誤差と合成関数および実問題に関する広範な実験により,本手法が様々な入力不確実性に対処し,最先端の性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2023-10-31T03:29:31Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
  我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。 このアプローチは多くの実装と最適化の課題をもたらします。 提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
  論文  参考訳（メタデータ） (2021-03-18T14:26:26Z)
• Data-Driven Robust Optimization using Unsupervised Deep Learning [0.0]
  逆問題に対して凸混合整数プログラムとして定式化することにより、トレーニングされたニューラルネットワークをロバストな最適化モデルに統合できることを示す。 このアプローチは、カーネルベースのサポートベクターセットを用いて、同様のアプローチより優れていることが判明した。
  論文  参考訳（メタデータ） (2020-11-19T11:06:54Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。