論文の概要: A Memetic Algorithm based on Variational Autoencoder for Black-Box Discrete Optimization with Epistasis among Parameters
- arxiv url: http://arxiv.org/abs/2504.21338v1
- Date: Wed, 30 Apr 2025 05:56:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-09 22:14:28.430979
- Title: A Memetic Algorithm based on Variational Autoencoder for Black-Box Discrete Optimization with Epistasis among Parameters
- Title（参考訳）: パラメータ間のエピスタシスを考慮したブラックボックス離散最適化のための変分オートエンコーダに基づくメメティックアルゴリズム
- Authors: Aoi Kato, Kenta Kojima, Masahiro Nomura, Isao Ono,
- Abstract要約: ブラックボックス離散最適化(BB-DO)問題は、多くの現実世界のアプリケーションで発生する。
BB-DOの主な課題は、複数の変数を同時に修正しなければならないパラメータ間のエピスタシスである。
本稿では,VAEに基づくサンプリングと局所探索を組み合わせた新しいメメティックアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 2.6774008509841005
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Black-box discrete optimization (BB-DO) problems arise in many real-world applications, such as neural architecture search and mathematical model estimation. A key challenge in BB-DO is epistasis among parameters where multiple variables must be modified simultaneously to effectively improve the objective function. Estimation of Distribution Algorithms (EDAs) provide a powerful framework for tackling BB-DO problems. In particular, an EDA leveraging a Variational Autoencoder (VAE) has demonstrated strong performance on relatively low-dimensional problems with epistasis while reducing computational cost. Meanwhile, evolutionary algorithms such as DSMGA-II and P3, which integrate bit-flip-based local search with linkage learning, have shown excellent performance on high-dimensional problems. In this study, we propose a new memetic algorithm that combines VAE-based sampling with local search. The proposed method inherits the strengths of both VAE-based EDAs and local search-based approaches: it effectively handles high-dimensional problems with epistasis among parameters without incurring excessive computational overhead. Experiments on NK landscapes -- a challenging benchmark for BB-DO involving epistasis among parameters -- demonstrate that our method outperforms state-of-the-art VAE-based EDA methods, as well as leading approaches such as P3 and DSMGA-II.
- Abstract（参考訳）: ブラックボックス離散最適化(BB-DO)問題は、ニューラルネットワーク探索や数学的モデル推定など、現実の多くのアプリケーションで発生する。
BB-DOの重要な課題は、目的関数を効果的に改善するために複数の変数を同時に修正する必要があるパラメータ間のエピスタシスである。
分散アルゴリズム(EDAs)の推定は,BB-DO問題に対処するための強力なフレームワークを提供する。
特に,変分オートエンコーダ(VAE)を利用したEDAは,比較的低次元のエピスタシス問題に対して高い性能を示し,計算コストを低減した。
一方、ビットフリップに基づく局所探索とリンク学習を統合したDSMGA-IIやP3のような進化的アルゴリズムは、高次元問題に対して優れた性能を示している。
本研究では,VAEに基づくサンプリングと局所探索を組み合わせた新しいメメティックアルゴリズムを提案する。
提案手法はVAEベースのEDAと局所探索に基づくアプローチの両方の長所を継承し,過剰な計算オーバーヘッドを伴わずにパラメータ間のエピスタシスを伴う高次元問題を効果的に処理する。
NKランドスケープ(パラメータ間のエピスタシスを含むBB-DOの挑戦的なベンチマーク)の実験は、我々の手法が最先端のVAEベースのEDA法よりも優れており、P3やDSMGA-IIのような先進的なアプローチが優れていることを実証している。
関連論文リスト
- HyperArm Bandit Optimization: A Novel approach to Hyperparameter Optimization and an Analysis of Bandit Algorithms in Stochastic and Adversarial Settings [0.0]
本稿では,機械学習モデルにおけるハイパーパラメータチューニングに EXP3 を適用した新しいフレームワークである HyperArm Bandit Optimization (HABO) を提案する。
HABOは、個々のハイパーパラメータをスーパーアームとして扱い、潜在的な構成をサブアームとして扱い、動的リソース割り当てと効率的な探索を可能にする。
論文 参考訳（メタデータ） (2025-03-13T11:50:28Z) - Constrained Hybrid Metaheuristic Algorithm for Probabilistic Neural Networks Learning [0.3686808512438362]
本研究では、確率論的ニューラルネットワーク(PNN)のトレーニングを強化するためのハイブリッドメタヒューリスティックアルゴリズムの可能性について検討する。
勾配に基づくアプローチのような伝統的な学習手法は、しばしば高次元で不確実な環境を最適化するのに苦労する。
本稿では,複数の個体群に基づく最適化手法を組み合わせた制約付きハイブリッドメタヒューリスティック(cHM)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-01-26T19:49:16Z) - A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。
EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。
得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
論文 参考訳（メタデータ） (2023-12-10T15:22:30Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳（メタデータ） (2023-06-10T08:25:16Z) - Exploring the effectiveness of surrogate-assisted evolutionary
algorithms on the batch processing problem [0.0]
本稿では,文献におけるよく知られたバッチ処理問題のシミュレーションを紹介する。
遺伝的アルゴリズム(GA)や微分進化(DE)といった進化的アルゴリズムを用いてシミュレーションの最適なスケジュールを見つける。
次に、サロゲート支援されたアルゴリズムによって得られる解の質を、ベースラインアルゴリズムと比較する。
論文 参考訳（メタデータ） (2022-10-31T09:00:39Z) - Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。
木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。
3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
論文 参考訳（メタデータ） (2022-09-09T14:58:43Z) - Tree ensemble kernels for Bayesian optimization with known constraints
over mixed-feature spaces [54.58348769621782]
木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。
ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。
我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
論文 参考訳（メタデータ） (2022-07-02T16:59:37Z) - A Convergent ADMM Framework for Efficient Neural Network Training [17.764095204676973]
乗算器の交互方向法(ADMM)は多くの分類と回帰の応用において大きな成功を収めた。
本稿では,ADMM (dlADMM) を用いてニューラルネットワークの一般的なトレーニング問題を同時に解くための新しい枠組みを提案する。
提案したdlADMMアルゴリズムの収束, 効率, 有効性を示す7つのベンチマークデータセットの実験を行った。
論文 参考訳（メタデータ） (2021-12-22T01:55:24Z) - Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。
我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。
すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文 参考訳（メタデータ） (2020-10-01T18:14:11Z) - An Asymptotically Optimal Multi-Armed Bandit Algorithm and
Hyperparameter Optimization [48.5614138038673]
本稿では,高パラメータ探索評価のシナリオにおいて,SS (Sub-Sampling) と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。
また,BOSSと呼ばれる新しいパラメータ最適化アルゴリズムを開発した。
実験的な研究は、SSの理論的議論を検証し、多くのアプリケーションにおけるBOSSの優れた性能を実証する。
論文 参考訳（メタデータ） (2020-07-11T03:15:21Z) - Objective-Sensitive Principal Component Analysis for High-Dimensional
Inverse Problems [0.0]
本稿では,大規模乱数場の適応的,微分可能なパラメータ化手法を提案する。
開発した手法は主成分分析(PCA)に基づくが,目的関数の振る舞いを考慮した主成分の純粋にデータ駆動に基づく基礎を変更する。
最適パラメータ分解のための3つのアルゴリズムを2次元合成履歴マッチングの目的に適用した。
論文 参考訳（メタデータ） (2020-06-02T18:51:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。