論文の概要: Zero-Inflated Gaussian Distributions Enable Parameter-Space Sparsity in Estimation-of-Distribution Algorithms
- arxiv url: http://arxiv.org/abs/2606.19369v1
- Date: Thu, 11 Jun 2026 18:43:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-19 18:23:39.402897
- Title: Zero-Inflated Gaussian Distributions Enable Parameter-Space Sparsity in Estimation-of-Distribution Algorithms
- Title（参考訳）: 分布推定アルゴリズムにおけるパラメータ空間の分散を可能にするゼロ膨張ガウス分布
- Authors: Andreas Faust, Sven Nitzsche, Juergen Becker,
- Abstract要約: 分布推定アルゴリズム(EDAs)はブラックボックス最適化のための進化的手法の強力なクラスである。
異なる指標と値次元を持つ潜在ガウスモデルが、空間パターン、アクティブパラメータ間の相関、および両者の相互作用を示すことを示す。
本研究では,本モデルの潜在パラメータが観測データから同定可能であることを示す。
- 参考スコア（独自算出の注目度）: 0.24469484645516834
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Estimation-of-distribution algorithms (EDAs) are a powerful class of evolutionary methods for black-box optimization, especially when little is known about the structure of the objective. Whereas classical evolutionary algorithms rely on hand-designed mutation and crossover operators, hard to devise for unknown problem structures, and a source of bias, EDAs sidestep operator design entirely: they fit a probability distribution to the best individuals and sample the next generation from it. EDAs are well established on continuous parameter spaces, but they have not previously been generalized to sparse ones, in which most coefficients of a good solution are exactly zero. Existing sparse black-box optimizers therefore reintroduce exactly what EDAs were designed to avoid: hand-crafted sparsity operators, bi-level schemes alternating between support set and active values, zeroing thresholds, and other baked-in assumptions. We close this gap by proposing multivariate zero-inflated Gaussian (ZIG) distributions as EDA sampling laws. A latent Gaussian model with separate indicator and value dimensions represents sparsity patterns, correlations among active parameters, and the interactions between the two, so sparsity patterns and active values are optimized jointly, hierarchy-free. We show that the latent parameters of this model are identifiable from observed samples, unlike in the missing-data settings where related constructions originate, and introduce practical amortized inversion-based estimators for them. The estimators accurately recover latent correlation structures, and on the Lunar Lander benchmark the resulting ZIG-EDA converges faster and reaches higher final returns than a dense Gaussian EDA, a hand-crafted sparse evolutionary algorithm, and an ad-hoc sparse EDA, while finding controllers with only a small fraction of parameters active.
- Abstract（参考訳）: 推定分布アルゴリズム(EDAs)はブラックボックス最適化のための進化的手法の強力なクラスであり、特に目的の構造についてはほとんど知られていない。
古典的な進化的アルゴリズムは、手書きの突然変異とクロスオーバー演算子、未知の問題構造やバイアスの源を考案するのは難しいが、EDAのサイドステップ演算子は完全に設計されており、それらは最高の個人に確率分布を適合させ、そこから次の世代をサンプリングする。
EDAは連続パラメータ空間上で十分に確立されているが、良い解のほとんどの係数がちょうど 0 であるようなスパース空間に以前は一般化されていなかった。
既存のスパースブラックボックスオプティマイザは、手作りのスパーシティ演算子、サポートセットとアクティブ値の交互化するバイレベルスキーム、ゼロ化しきい値など、EDAが避けるべきものを再導入する。
EDAサンプリング法則として多変量ゼロインフレードガウス分布(ZIG)を提案することにより、このギャップを埋める。
異なる指標と値次元を持つ潜在ガウスモデルは、スパーシティパターン、アクティブパラメータ間の相関、および2つの相互作用を表す。
本研究では,本モデルの潜伏パラメータが観測データから同定可能であることを示す。
推定器は遅延相関構造を正確に復元し、Lunar Landerベンチマークでは、結果のZIG-EDAはより早く収束し、高密度のガウスEDA、手作りのスパース進化アルゴリズム、アドホックスパースEDAよりも高い最終結果に達する。
関連論文リスト
- Discrete Adjoint Matching [43.00097192213681]
本稿では, 離散生成モデルの微調整を行うために, 共役マッチング (AM) の離散変種を提案する。
DAMの中核は、元の問題に対する最適解の離散随伴推定器の導入である。
合成および数学的推論タスクにおけるDAMの有効性を示す。
論文 参考訳（メタデータ） (2026-02-06T19:12:40Z) - On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。
本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
論文 参考訳（メタデータ） (2025-10-22T18:25:43Z) - Improved Anomaly Detection through Conditional Latent Space VAE Ensembles [49.1574468325115]
条件付きラテント空間変分オートエンコーダ(CL-VAE)は、既知の不整形クラスと未知の不整形クラスを持つデータに対する異常検出のための前処理を改善した。
モデルでは異常検出の精度が向上し、MNISTデータセットで97.4%のAUCが達成された。
さらに、CL-VAEは、アンサンブルの利点、より解釈可能な潜在空間、モデルサイズに制限のある複雑なデータでパターンを学習する能力の増大を示す。
論文 参考訳（メタデータ） (2024-10-16T07:48:53Z) - Distributionally Robust Optimization as a Scalable Framework to Characterize Extreme Value Distributions [22.765095010254118]
本研究の目的は分散ロバストな最適化 (DRO) 推定器の開発であり、特に多次元極値理論 (EVT) の統計量についてである。
点過程の空間における半パラメトリックな最大安定制約によって予測されるDRO推定器について検討した。
両手法は, 合成データを用いて検証し, 所定の特性を回復し, 提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2024-07-31T19:45:27Z) - Distributionally and Adversarially Robust Logistic Regression via Intersecting Wasserstein Balls [8.720733751119994]
提案手法は,提案手法が標準データセットのベンチマーク手法よりも優れていることを示す。
前者からインスピレーションを得て、ロジスティック回帰のためにAROのワッサーシュタイン DR について検討し、トラクタブル凸最適化の修正が認められることを示す。
論文 参考訳（メタデータ） (2024-07-18T15:59:37Z) - A Unified Momentum-based Paradigm of Decentralized SGD for Non-Convex
Models and Heterogeneous Data [0.261072980439312]
非汎用目的に対する収束保証を提供するU.MP,D-MP,GT-Dという統一パラダイムを提案する。
理論的には、これらの非MPアルゴリズムに対して収束解析目的を2つのアプローチで提供する。
論文 参考訳（メタデータ） (2023-03-01T02:13:22Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳（メタデータ） (2022-09-27T07:58:25Z) - Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。
ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。
ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
論文 参考訳（メタデータ） (2021-04-12T16:23:37Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳（メタデータ） (2021-01-06T17:36:26Z) - ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。
我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。
有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
論文 参考訳（メタデータ） (2020-08-28T14:46:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。