論文の概要: Evolutionary Variational Optimization of Generative Models
- arxiv url: http://arxiv.org/abs/2012.12294v2
- Date: Fri, 16 Apr 2021 19:44:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-26 10:35:21.639126
- Title: Evolutionary Variational Optimization of Generative Models
- Title（参考訳）: 生成モデルの進化的変分最適化
- Authors: Jakob Drefs, Enrico Guiraud, J\"org L\"ucke
- Abstract要約: 分散最適化と進化的アルゴリズムの2つの一般的な最適化アプローチをジェネレーションモデルのための学習アルゴリズムの導出に組み合わせます。
進化的アルゴリズムは変動境界を効果的かつ効率的に最適化できることを示す。
ゼロショット」学習のカテゴリでは、多くのベンチマーク設定で最先端の技術を大幅に改善するために進化的変動アルゴリズムを観察しました。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We combine two popular optimization approaches to derive learning algorithms
for generative models: variational optimization and evolutionary algorithms.
The combination is realized for generative models with discrete latents by
using truncated posteriors as the family of variational distributions. The
variational parameters of truncated posteriors are sets of latent states. By
interpreting these states as genomes of individuals and by using the
variational lower bound to define a fitness, we can apply evolutionary
algorithms to realize the variational loop. The used variational distributions
are very flexible and we show that evolutionary algorithms can effectively and
efficiently optimize the variational bound. Furthermore, the variational loop
is generally applicable ("black box") with no analytical derivations required.
To show general applicability, we apply the approach to three generative models
(we use noisy-OR Bayes Nets, Binary Sparse Coding, and Spike-and-Slab Sparse
Coding). To demonstrate effectiveness and efficiency of the novel variational
approach, we use the standard competitive benchmarks of image denoising and
inpainting. The benchmarks allow quantitative comparisons to a wide range of
methods including probabilistic approaches, deep deterministic and generative
networks, and non-local image processing methods. In the category of
"zero-shot" learning (when only the corrupted image is used for training), we
observed the evolutionary variational algorithm to significantly improve the
state-of-the-art in many benchmark settings. For one well-known inpainting
benchmark, we also observed state-of-the-art performance across all categories
of algorithms although we only train on the corrupted image. In general, our
investigations highlight the importance of research on optimization methods for
generative models to achieve performance improvements.
- Abstract（参考訳）: 生成モデルのための学習アルゴリズムを導出するための一般的な2つの最適化手法である変分最適化と進化的アルゴリズムを組み合わせる。
この組み合わせは、乱れ後部を変動分布の族として用いて、離散潜伏子を持つ生成モデルに対して実現される。
切り刻まれた後部の変分パラメータは潜在状態の集合である。
これらの状態を個人のゲノムとして解釈し、適応性を定義するために変分下界を用いて、進化的アルゴリズムを適用し、変分ループを実現する。
使用した変分分布は非常に柔軟であり、進化的アルゴリズムが変分境界を効果的に効率的に最適化できることを示す。
さらに、変分ループは一般に適用され(ブラックボックス)、解析的な導出は必要ない。
一般的な適用性を示すために、このアプローチを3つの生成モデルに適用する(ノイズやベイズネット、バイナリスパース符号化、スパイク・アンド・スラブスパース符号化)。
新しい変分法の有効性と効率を示すために,画像のデノイジングとインパインティングの標準競合ベンチマークを用いる。
このベンチマークは、確率的アプローチ、深い決定論的および生成的ネットワーク、非局所的な画像処理方法を含む幅広い手法と定量的に比較することができる。
ゼロショット学習(破損した画像のみをトレーニングに使用する場合)のカテゴリでは、多くのベンチマーク設定で最先端を著しく改善するために進化的変分アルゴリズムを観察した。
有名なインペインティングベンチマークでは、破損したイメージのみをトレーニングしながら、すべてのアルゴリズムのカテゴリで最先端のパフォーマンスも観察しました。
本研究は, 性能向上のための生成モデルの最適化手法に関する研究の重要性を強調した。
関連論文リスト
- MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.47014540413659]
Adam、Adam、およびそれらの変種のような大規模な勾配アルゴリズムは、この種のトレーニングの開発の中心となっている。
本稿では,事前条件付き勾配最適化手法と,スケールドモーメント手法による分散低減を両立させる枠組みを提案する。
論文 参考訳（メタデータ） (2024-11-15T18:57:39Z) - Sample-efficient Bayesian Optimisation Using Known Invariances [56.34916328814857]
バニラと制約付きBOアルゴリズムは、不変目的を最適化する際の非効率性を示す。
我々はこれらの不変カーネルの最大情報ゲインを導出する。
核融合炉用電流駆動システムの設計に本手法を用い, 高性能溶液の探索を行った。
論文 参考訳（メタデータ） (2024-10-22T12:51:46Z) - Model Uncertainty in Evolutionary Optimization and Bayesian Optimization: A Comparative Analysis [5.6787965501364335]
ブラックボックス最適化問題は、多くの現実世界のアプリケーションで一般的な問題である。
これらの問題はインプット・アウトプット・インタラクションを通じて内部動作へのアクセスなしに最適化する必要がある。
このような問題に対処するために2つの広く使われている勾配のない最適化手法が用いられている。
本稿では,2つの手法間のモデル不確実性の類似点と相違点を明らかにすることを目的とする。
論文 参考訳（メタデータ） (2024-03-21T13:59:19Z) - Distributed Evolution Strategies for Black-box Stochastic Optimization [42.90600124972943]
この研究は、分散ブラックボックス最適化への進化的アプローチに関するものである。
各作業者は、アルゴリズムによる問題の近似を個別に解くことができる。
問題のロバスト性を大幅に改善する2つの代替シミュレーション手法を提案する。
論文 参考訳（メタデータ） (2022-04-09T11:18:41Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z) - Polygonal Unadjusted Langevin Algorithms: Creating stable and efficient
adaptive algorithms for neural networks [0.0]
本稿では,Langevinベースのアルゴリズムを新たに導入し,一般的な適応的消滅アルゴリズムの欠点の多くを克服する。
特に、この新しいクラスのアルゴリズムの収束性についての漸近解析と完全な理論的保証を提供し、TH$varepsilon$O POULA(あるいは単にTheoPouLa)と名付けた。
論文 参考訳（メタデータ） (2021-05-28T15:58:48Z) - Optimizing the Parameters of A Physical Exercise Dose-Response Model: An
Algorithmic Comparison [1.0152838128195467]
本研究の目的は,運動生理学の分野で用いられる一般的な非線形線量応答モデルのパラメータを適合させるタスクを与えられたとき,局所的および大域的最適化アルゴリズムの堅牢性と性能を比較することである。
また,1000回以上の実験結果から,局所探索アルゴリズムと比較してモデル適合性とホールドアウト性能が向上することを示す。
論文 参考訳（メタデータ） (2020-12-16T22:06:35Z) - AdaLead: A simple and robust adaptive greedy search algorithm for
sequence design [55.41644538483948]
我々は、容易で、拡張性があり、堅牢な進化的欲求アルゴリズム(AdaLead)を開発した。
AdaLeadは、様々な生物学的に動機づけられたシーケンスデザインの課題において、アートアプローチのより複雑な状態を克服する、驚くほど強力なベンチマークである。
論文 参考訳（メタデータ） (2020-10-05T16:40:38Z) - Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。
これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
論文 参考訳（メタデータ） (2020-09-01T19:12:11Z) - Stochastic batch size for adaptive regularization in deep network
optimization [63.68104397173262]
ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。
一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
論文 参考訳（メタデータ） (2020-04-14T07:54:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。