論文の概要: Improving black-box optimization in VAE latent space using decoder
uncertainty
- arxiv url: http://arxiv.org/abs/2107.00096v1
- Date: Wed, 30 Jun 2021 20:46:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-03 03:31:17.483163
- Title: Improving black-box optimization in VAE latent space using decoder
uncertainty
- Title(参考訳): デコーダの不確かさを用いたvae潜時空間におけるブラックボックス最適化の改善
- Authors: Pascal Notin, Jos\'e Miguel Hern\'andez-Lobato, Yarin Gal
- Abstract要約: 我々は、より堅牢な不確実性推定を提供する重要サンプリングベース推定器を導入する。
ブラックボックスの目的と生成されたサンプルの妥当性のトレードオフが良くなり、時には両者を同時に改善する。
これらの利点は、数値生成、算術式近似、薬物設計のための分子生成におけるいくつかの実験的な設定にまたがって説明される。
- 参考スコア(独自算出の注目度): 25.15359244726929
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Optimization in the latent space of variational autoencoders is a promising
approach to generate high-dimensional discrete objects that maximize an
expensive black-box property (e.g., drug-likeness in molecular generation,
function approximation with arithmetic expressions). However, existing methods
lack robustness as they may decide to explore areas of the latent space for
which no data was available during training and where the decoder can be
unreliable, leading to the generation of unrealistic or invalid objects. We
propose to leverage the epistemic uncertainty of the decoder to guide the
optimization process. This is not trivial though, as a naive estimation of
uncertainty in the high-dimensional and structured settings we consider would
result in high estimator variance. To solve this problem, we introduce an
importance sampling-based estimator that provides more robust estimates of
epistemic uncertainty. Our uncertainty-guided optimization approach does not
require modifications of the model architecture nor the training process. It
produces samples with a better trade-off between black-box objective and
validity of the generated samples, sometimes improving both simultaneously. We
illustrate these advantages across several experimental settings in digit
generation, arithmetic expression approximation and molecule generation for
drug design.
- Abstract(参考訳): 変分オートエンコーダの潜在空間における最適化は、高価なブラックボックス特性(例えば分子生成における薬物類似性、算術式による関数近似)を最大化する高次元離散オブジェクトを生成するための有望なアプローチである。
しかし、既存のメソッドは、トレーニング中にデータが入手できず、デコーダが信頼できない領域を探索することに決め、非現実的または無効なオブジェクトの生成につながるため、堅牢性に欠ける。
本稿では,デコーダのエピステミック不確実性を利用して最適化プロセスを導くことを提案する。
しかし、これは自明なものではなく、高次元および構造化された設定の不確かさの素直な推定は、高い推定値の分散をもたらす。
この問題を解決するために,より頑健なてんかん不確実性評価を行う重要サンプリングベース推定器を提案する。
我々の不確実性誘導最適化アプローチは、モデルアーキテクチャの変更やトレーニングプロセスを必要としない。
ブラックボックスの目的と生成されたサンプルの妥当性のトレードオフが良くなり、時には両者を同時に改善する。
本稿では, 数値生成, 算術式近似, 分子生成のいくつかの実験的設定において, これらの利点について述べる。
関連論文リスト
- Uncertainty Quantification for Forward and Inverse Problems of PDEs via
Latent Global Evolution [110.99891169486366]
本稿では,効率的かつ高精度な不確実性定量化を深層学習に基づく代理モデルに統合する手法を提案する。
本手法は,フォワード問題と逆問題の両方に対して,堅牢かつ効率的な不確実性定量化機能を備えたディープラーニングに基づく代理モデルを提案する。
提案手法は, 長期予測を含むシナリオに適合し, 拡張された自己回帰ロールアウトに対する不確かさの伝播に優れる。
論文 参考訳(メタデータ) (2024-02-13T11:22:59Z) - End-to-End Learning for Fair Multiobjective Optimization Under
Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。
本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。
この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文 参考訳(メタデータ) (2024-02-12T16:33:35Z) - Efficient Robust Bayesian Optimization for Arbitrary Uncertain Inputs [13.578262325229161]
本稿では,任意の入力不確実性の下で一貫して動作するロバストな最適化アルゴリズムであるAIRBOを提案する。
提案手法は,最大平均離散度(MMD)を用いてガウス過程を有効化することにより任意の分布の不確実な入力を直接モデル化し,さらにNystrom近似による後部推論を高速化する。
MMD推定誤差と合成関数および実問題に関する広範な実験により,本手法が様々な入力不確実性に対処し,最先端の性能を実現することができることを示す。
論文 参考訳(メタデータ) (2023-10-31T03:29:31Z) - Scalable method for Bayesian experimental design without integrating
over posterior distribution [0.0]
実験問題のA-最適ベイズ設計における計算効率について検討する。
A-最適性はベイズの実験設計に広く用いられ、容易に解釈できる基準である。
本研究は, A-Optimal 実験設計における新しい可能性のないアプローチを提案する。
論文 参考訳(メタデータ) (2023-06-30T12:40:43Z) - Sampling from Gaussian Process Posteriors using Stochastic Gradient
Descent [43.097493761380186]
勾配アルゴリズムは線形系を解くのに有効な方法である。
最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。
実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
論文 参考訳(メタデータ) (2023-06-20T15:07:37Z) - Lightweight, Uncertainty-Aware Conformalized Visual Odometry [2.429910016019183]
データ駆動型ビジュアルオドメトリー(VO)は、自律エッジロボティクスにとって重要なサブルーチンである。
昆虫スケールドローンや外科ロボットのような最先端ロボットデバイスは、VOの予測の不確実性を推定する計算的に効率的な枠組みを欠いている。
本稿では,共形推論(CI)を利用してVOの不確実な帯域を抽出する,新しい,軽量で統計的に堅牢なフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-03T20:37:55Z) - DEBOSH: Deep Bayesian Shape Optimization [48.80431740983095]
形状最適化に適した不確実性に基づく新しい手法を提案する。
効果的なBOを可能にし、その結果の形状の質を最先端のアプローチを超えて向上させる。
論文 参考訳(メタデータ) (2021-09-28T11:01:42Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳(メタデータ) (2021-03-18T14:26:26Z) - Attribute-Guided Adversarial Training for Robustness to Natural
Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。
我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文 参考訳(メタデータ) (2020-12-03T10:17:30Z) - Data-Driven Robust Optimization using Unsupervised Deep Learning [0.0]
逆問題に対して凸混合整数プログラムとして定式化することにより、トレーニングされたニューラルネットワークをロバストな最適化モデルに統合できることを示す。
このアプローチは、カーネルベースのサポートベクターセットを用いて、同様のアプローチより優れていることが判明した。
論文 参考訳(メタデータ) (2020-11-19T11:06:54Z) - Efficient Ensemble Model Generation for Uncertainty Estimation with
Bayesian Approximation in Segmentation [74.06904875527556]
アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。
提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。
また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
論文 参考訳(メタデータ) (2020-05-21T16:08:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。